DE102022201342A1

DE102022201342A1 - Untersuchung von Falschklassifikationen eines Bildklassifikators

Info

Publication number: DE102022201342A1
Application number: DE102022201342.5A
Authority: DE
Inventors: William Harris Beluch; Laura Beggel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-02-09
Filing date: 2022-02-09
Publication date: 2023-08-10

Abstract

Verfahren (100) zur Prüfung, inwieweit Falschklassifikationen eines Bildklassifikators (1) sporadischer oder systematischer Natur sind, mit den Schritten:• es werden Test-Bilder (2) bereitgestellt (110), für die Soll-Klassifikations-Scores (2a) in Bezug auf eine oder mehrere Klassen bekannt sind;• die Test-Bilder (2) werden dem Bildklassifikator (1) zugeführt und vom Bildklassifikator (1) auf Klassifikations-Scores (3) abgebildet (120);• Test-Bilder (2), für die die vom Bildklassifikator (1) gelieferten Klassifikations-Scores (3) nach Maßgabe eines vorgegebenen Kriteriums von den Soll-Klassifikations-Scores (2a) abweichen (130), werden als Fehler-Test-Bilder (2#) einem weiteren Klassifikator (5) zugeführt, der Anteile (2b#) der Fehler-Test-Bilder (2#) auf Klassifikations-Scores (6) abbildet (140);• aus der Ausgabe (5a) des weiteren Klassifikators (5) werden diejenigen Anteile (2b#), die für die Abweichungen von den Soll-Klassifikations-Scores (2a) verantwortlich sind, als Fehler-Anteile (2*) des jeweiligen Fehler-Test-Bildes (2#) ermittelt (150);• aus den Fehler-Anteilen (2*) aller Fehler-Test-Bilder (2#) wird ausgewertet (160), inwieweit die Abweichungen von den Soll-Klassifikations-Scores (2a) sporadischer oder systematischer Natur sind (N).

Description

Die vorliegende Erfindung betrifft die Prüfung von Bildklassifikatoren, die beispielsweise für die Qualitätskontrolle gefertigter Produkte genutzt werden können.
Stand der Technik
Die Qualitätskontrolle von in Serie gefertigten Produkten erfolgt vielfach anhand von Bildern dieser Produkte, die mit Bildklassifikatoren ausgewertet werden. Beispielsweise kann das Produkt anhand der Bilder in eine der Qualitätsklassen „OK“ und „nicht OK = NOK“ einsortiert werden. Hierbei ist es wünschenswert, das Verhalten des Bildklassifikators dahingehend überprüfen zu können, inwieweit diese Zuordnung plausibel ist oder nicht.
Die DE 10 2020 207 323 A1 offenbart ein Verfahren, mit dem die Empfindlichkeit eines Bildklassifikators gegen Veränderungen des Eingabebildes gemessen werden kann. Hieraus kann wiederum darauf geschlossen werden, ob die vom Bildklassifikator gelieferte Klassenzuordnung für das Eingabebild plausibel ist oder nicht.
Offenbarung der Erfindung
Die Erfindung stellt ein Verfahren zur Prüfung bereit, inwieweit Falschklassifikationen eines Bildklassifikators sporadischer oder systematischer Natur sind.
Im Rahmen dieses Verfahrens werden Test-Bilder bereitgestellt, für die Soll-Klassifikations-Scores in Bezug auf eine oder mehrere Klassen bekannt sind. Die Test-Bilder werden dem Bildklassifikator zugeführt und vom Bildklassifikator auf Klassifikations-Scores abgebildet.
Idealerweise sollten diese Klassifikations-Scores den Soll-Klassifikations-Scores entsprechen. In der Praxis wird es jedoch Test-Bilder geben, die die vom Bildklassifikator gelieferten Klassifikations-Scores nach Maßgabe eines vorgegebenen Kriteriums von den Soll-Klassifikations-Scores abweichen. Diese Test-Bilder werden als Fehler-Test-Bilder identifiziert und näher untersucht.+
Die Fehler-Test-Bilder werden einem weiteren Klassifikator zugeführt, der Anteile der Fehler-Test-Bilder auf Klassifikations-Scores abbildet. Das heißt, diese Klassifikations-Scores beziehen sich nicht mehr auf das Fehler-Test-Bild als Ganzes, sondern auf kleinere Anteile dieses Fehler-Test-Bildes. Aus der Ausgabe des weiteren Klassifikators werden diejenigen Anteile, die für die Abweichungen von den Soll-Klassifikations-Scores verantwortlich sind, als Fehler-Anteile des jeweiligen Fehler-Test-Bildes ermittelt.
Aus den Fehler-Anteilen aller Fehler-Test-Bilder wird schließlich ausgewertet, inwieweit die Abweichungen von den Soll-Klassifikations-Scores sporadischer oder systematischer Natur sind.
Der Grundgedanke hierhinter ist, dass sich in einer realen Anwendung eines Bildklassifikators sporadische Falschklassifikationen kaum vermeiden lassen. Eine gewisse Rate an zufällig, nicht wiederkehrend auftretenden Fehlern muss genauso akzeptiert werden wie etwa eine Ausschussrate bei der Fertigung von Produkten. Systematische Fehler jedoch, die unter bestimmten Bedingungen immer wieder auftreten, sind an eine konkrete Ursache gebunden. Sie können daher abgestellt werden und müssen auch abgestellt werden, damit das konkrete System, in dem der Bildklassifikator eingesetzt wird, vom Kunden als verlässlich akzeptiert wird.
Die Zergliederung der Fehler-Test-Bilder in Anteile kann beliebig fein gewählt werden, je nachdem, wie dies für die Zwecke der konkreten Anwendung sinnvoll ist. Besonders vorteilhaft bildet der weitere Klassifikator einzelne Pixel als Anteile der Fehler-Text-Bilder auf Klassifikations-Scores ab. Hiermit lässt sich beispielsweise besonders gut untersuchen, ob zusammenhängende Bereiche der Fehler-Test-Bilder für die Abweichung von den Soll-Klassifikations-Scores verantwortlich sind und wie sich diese Bereiche von einem Fehler-Test-Bild zum nächsten ändern.
In einer weiteren vorteilhaften Ausgestaltung wird eine Abweichung der Klassifikations-Scores von den Soll-Klassifikations-Scores als umso größer gewertet, je stärker die Klasse mit dem höchsten Klassifikations-Score von der Klasse mit dem höchsten Soll-Klassifikations-Score abweicht. Welche Abweichungen als stark bzw. weniger stark gewertet werden, richtet sich hierbei nach den Erfordernissen der jeweiligen Anwendung. Wenn die Klassen beispielsweise Qualitätsstufen repräsentieren, die sich auf einer quantitativen Skala anordnen lassen, kann ein Unterschied zwischen Klassen anhand dieser Skala quantifiziert werden. Es kann auch beispielsweise eine Abweichung als umso stärker gewertet werden, je nachteiliger sie sich in der jeweiligen Anwendung auswirkt. Beispielsweise kann in der Qualitätskontrolle eine fälschliche Einteilung eines defekten Produkts in die Klasse „OK“ nachteiliger sein als eine fälschliche Einteilung eines mangelfreien Produkts in die Klasse „nicht OK = NOK“, weil durch die Verwendung des defekten Produkts Folgeschäden entstehen können.
In einer weiteren vorteilhaften Ausgestaltung wird für Anteile der Fehler-Test-Bilder anhand der Abweichung ihrer Klassifikations-Scores von den Soll-Klassifikations-Scores, und/oder anhand der Unsicherheiten ihrer Klassifikations-Scores, entschieden, ob diese Anteile als Fehler-Anteile gewertet werden. Wenn beispielsweise im Rahmen der Qualitätskontrolle ein Bild fälschlicherweise in die Klasse „NOK“ statt „OK“ einsortiert, sind hierfür Anteile verantwortlich, die als „NOK“ klassifiziert werden. Umgekehrt kann jedoch der Fall auftreten, dass zwar alle Anteile eines Fehler-Test-Bildes für sich genommen vom weiteren Klassifikator als „NOK“ eingestuft werden, aber das Fehler-Test-Bild als Ganzes fälschlicherweise als „OK“ eingestuft worden ist. Hier kann stattdessen die Unsicherheit der Klassifikations-Scores für die Entscheidung herangezogen werden, ob ein Anteil als Fehler-Anteil gewertet wird. Beispielsweise kann der Bildklassifikator durchaus etwas über Bildbereiche gelernt haben, die eher für die Klasse „OK“ als für die Klasse „NOK“ einschlägig sind, aber dieses Signal kann beim Training durch die Verwendung „harter“ Labels in Verbindung mit einer Kostenfunktion (Loss-Funktion) auf der Basis der Kreuzentropie verlorengegangen sein. Das Signal kann sich aber beispielsweise noch dahingehend manifestieren, dass die Unsicherheit der Klassifikation für bestimmte Anteile des Fehler-Test-Bildes größer ist als für andere Anteile, und/oder dass die Klassifikations-Scores für bestimmte Anteile des Fehler-Test-Bildes kleiner sind als für andere Anteile des Fehler-Test-Bildes.
Die Entscheidung, ob ein Anteil als Fehler-Anteil gewertet wird, kann insbesondere beispielsweise davon abhängig gemacht werden, ob Klassifikations-Scores und/oder Unsicherheiten mindestens einen vorgegebenen Schwellwert überschreiten oder unterschreiten. Alternativ oder auch in Kombination hierzu kann aber auch beispielsweise ein festgelegtes Quantum („Top-N“) von Anteilen mit größten Abweichungen der Klassifikations-Scores von den Soll-Klassifikations-Scores, und/oder mit größten oder kleinsten Unsicherheiten der Klassifikations-Scores, als Fehler-Anteile gewertet werden. Dies entbindet von der Notwendigkeit, Schwellwerte in hinreichend motivierter Weise festlegen zu müssen.
In einer besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass Fehler-Anteile verschiedener Fehler-Test-Bilder zueinander ähnlich sind und/oder sich zumindest teilweise überlappen, festgestellt, dass die Abweichungen von den Soll-Klassifikations-Scores systematischer Natur sind. Derartige systematische Fehler können verschiedene Ursachen haben. Beispielsweise können beim Training des Bildklassifikators in Bezug auf bestimmte Bildbereiche Defizite entstanden sein. Wenn sich etwa die Trainingsbilder untereinander in den fraglichen Bildbereichen wenig bis gar nicht geändert haben, hat beim Training möglicherweise die nötige Variabilität gefehlt. Es ist auch beispielsweise denkbar, dass eine Netzwerkarchitektur des Bildklassifikators zu klein gewählt wurde, um alle Bildbereiche komplett zu erfassen.
Beispielsweise können die Fehler-Anteile aggregiert werden, etwa durch Summation. In Antwort darauf, dass diese Aggregation zumindest lokal einen vorgegebenen Schwellwert überschreitet, kann dann festgestellt werden, dass die Abweichungen von den Soll-Klassifikations-Scores systematischer Natur sind. In der Aggregation kann es insbesondere beispielsweise dann Bereiche mit einem erhöhten Signal geben, wenn viele Fehler-Test-Bilder ähnliche oder zumindest teilweise überlappende Fehler-Anteile haben.
In einer weiteren vorteilhaften Ausgestaltung werden die Fehler-Anteile der Fehler-Test-Bilder anhand einer semantischen Segmentierung der Fehler-Test-Bilder Objekten zugeordnet. In Antwort darauf, dass die Fehler-Anteile mit bestimmten Objekten korreliert sind, wird dann festgestellt, dass die Abweichungen von den Soll-Klassifikations-Scores systematischer Natur sind. Beispielsweise kann der Bildklassifikator speziell bei der Erkennung bestimmter Objekte Schwächen aufweisen. Es kann auch beispielsweise das bloße Vorhanden von Objekten, die der Bildklassifikator im Training nicht gesehen hat, den Bildklassifikator bei seiner Klassifikationsaufgabe stören. Dies kann sogar dann passieren, wenn diese unbekannten Objekte nichts mit der eigentlichen Klassifikationsaufgabe zu tun haben.
Wie zuvor erläutert, können insbesondere beispielsweise Bilder von in Serie gefertigten Produkten als Test-Bilder gewählt werden. Die Klassen können dann zu Qualitätsbewertungen für diese Produkte korrespondieren. Derartige Klassen können neben den bereits erwähnten Klassen „OK“ und „NOK“ noch weitere Qualitätsabstufungen enthalten. Beispielsweise kann es analog zu Schulnoten sechs Klassen geben, wobei die Klassen 1-4 Feinabstufungen der groben Klasse „OK“ bilden und die Klassen 5-6 Feinabstufungen der groben Klasse „NOK“ bilden.
Die Erfindung bezieht sich auch auf ein Verfahren zum Trainieren eines weiteren Klassifikators für den Einsatz in dem zuvor beschriebenen Verfahren. Im Rahmen dieses Verfahrens wird der weitere Klassifikator zunächst anhand einer ersten Menge von Trainings-Bildern ohne Ansehung eventueller Soll-Klassifikations-Scores für diese Trainings-Bilder unüberwacht trainiert. Sodann wird der weitere Klassifikator anhand einer zweiten Menge von Trainings-Bildern, für deren Anteile jeweils Soll-Klassifikations-Scores bekannt sind, überwacht weitertrainiert.
Es wurde erkannt, dass der weitere Klassifikator mit dem unüberwachten Training bereits einen großen Teil der Fertigkeiten lernen kann, die er für die zutreffende Klassifikation von Bildanteilen (wie etwa Pixeln) benötigt. Es ist nur noch eine vergleichsweise kleine Menge an Trainings-Bildern erforderlich, für die jeweils Anteile mit Soll-Klassifikations-Scores gelabelt sind.
Für das unüberwachte Training können neben ungelabelten Trainings-Bildern, für die keinerlei Soll-Klassifikations-Scores bekannt sind, auch gelabelte Trainings-Bilder verwendet werden, für die Soll-Klassifikations-Scores bekannt sind. Derartige Soll-Klassifikations-Scores beziehen sich dann auf das jeweilige Trainings-Bild als Ganzes. Gemäß dem hier beschriebenen Trainingsverfahren werden diese Soll-Klassifikations-Scores nicht verwendet, obwohl es auf den ersten Blick naheliegend ist, sie zumindest als Anhaltspunkte für die Klassifikation von Anteilen des Trainings-Bildes zu verwenden. Durch die Nutzung dieser Soll-Klassifikations-Scores könnte der weitere Klassifikator dazu „verleitet“ werden, schwächere Repräsentationen von Merkmalen zu lernen, die sich lediglich auf wenige Anteile des Trainings-Bildes beziehen. Um ein Trainings-Bild als Ganzes einer oder mehreren Klassen zuzuordnen, genügt es häufig, wenige eng begrenzte Anteile dieses Trainings-Bildes zu berücksichtigen.
Das unüberwachte Training kann mit beliebigen geeigneten Verfahren durchgeführt werden. In einer vorteilhaften Ausgestaltung umfasst das unüberwachte Training ein Clustern der Trainings-Bilder in eine vorgegebene Anzahl von Clustern. Beispielsweise kann die Anzahl der Cluster der Anzahl der Klassen entsprechen. Insbesondere bei der binären Klassifikation in Klassen „OK“ und „NOK“ im Rahmen der Qualitätskontrolle kann aber auch beispielsweise das Bilden eines einzigen Clusters ausreichen. Bei der Qualitätskontrolle ist eine Einteilung in die Klasse „OK“ der Normalfall und eine Einteilung in die Klasse „OK“ der Ausnahmefall. Somit werden sich in einem einzigen Cluster voraussichtlich diejenigen Bildanteile zusammenballen, die der Klasse „OK“ zuzuordnen sind. Weiterhin können beispielsweise unüberwachte Methoden aus dem Bereich des „contrastive learning“ verwendet werden.
In einer weiteren vorteilhaften Ausgestaltung wird beim unüberwachten Training mindestens ein Trainings-Bild mit Veränderungen beaufschlagt, für die bekannt ist, dass sie die Klassifikations-Scores der Anteile dieses Trainings-Bildes nicht ändern sollte. Insoweit sich daraufhin dennoch Veränderungen von Klassifikations-Scores von Anteilen des Trainings-Bildes einstellen, werden diese als Teil des im Training zu minimierenden Fehlers gewertet. Auf diese Weise kann ohne physische Aufnahme zusätzlicher Trainings-Bilder das Vorwissen, dass bestimmte Veränderungen die Klassifikations-Scores nicht ändern sollten, in das Training eingebracht werden. Es lassen sich also bereits ohne Ansehung konkreter Klassen Invarianzen trainieren.
In einer weiteren vorteilhaften Ausgestaltung umfasst der weitere Klassifikator Bestandteile des zu untersuchenden Bildklassifikators. Parameter, die das Verhalten dieser Bestandteile charakterisieren, bleiben beim Training des weiteren Klassifikators unverändert. Wenn der zu untersuchende Bildklassifikator beispielsweise ein neuronales Netzwerk umfasst, kann im weiteren Klassifikator mindestens ein Teil der Architektur dieses neuronalen Netzwerks übernommen werden. Die Parameter, die diesen Teil der Architektur charakterisieren, können dann insbesondere beispielsweise Gewichte des neuronalen Netzwerks sein. Nur Parameter in dem bei der Erweiterung zum weiteren Klassifikator hinzugefügten Bereich werden dann beim Training des weiteren Klassifikators noch verändert.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zur Prüfung des Verhaltens eines Bildklassifikators 1;
2 Ausführungsbeispiel des Verfahrens 200 zum Trainieren eines weiteren Klassifikators 5;
3 Beispielhafte Aggregation A der Fehler-Anteile 2* mehrere Fehler-Test-Bilder 2#.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Prüfung, inwieweit Falschklassifikationen eines Bildklassifikators 1 sporadischer oder systematischer Natur sind.
In Schritt 110 werden Test-Bilder 2 bereitgestellt, für die Soll-Klassifikations-Scores 2a in Bezug auf eine oder mehrere Klassen bekannt sind.
In Schritt 120 werden die Test-Bilder 2 werden dem Bildklassifikator 1 zugeführt und vom Bildklassifikator 1 auf Klassifikations-Scores 3 abgebildet.
In Schritt 130 wird geprüft, ob die vom Bildklassifikator 1 gelieferten Klassifikations-Scores 3 nach Maßgabe eines vorgegebenen Kriteriums von den Soll-Klassifikations-Scores 2a abweichen. Hierbei kann insbesondere gemäß Block 131 eine Abweichung der Klassifikations-Scores 3 von den Soll-Klassifikations-Scores 2a als umso größer gewertet werden, je stärker die Klasse mit dem höchsten Klassifikations-Score 3 von der Klasse mit dem höchsten Soll-Klassifikations-Score 2a abweicht.
Wenn gemäß dem vorgegebenen Kriterium eine signifikante Abweichung vorliegt (Wahrheitswert 1), werden die jeweils betroffenen Test-Bilder in Schritt 140 als Fehler-Test-Bilder 2# einem weiteren Klassifikator 5 zugeführt, der Anteile 2b# der Fehler-Test-Bilder 2# auf Klassifikations-Scores 6 abbildet.
Aus der Ausgabe 5a des weiteren Klassifikators 5, die insbesondere die Klassifikations-Scores 6 sowie beispielsweise deren Unsicherheiten umfassen kann, werden in Schritt 150 diejenigen Anteile 2b# der Fehler-Test-Bilder 2#, die für die Abweichungen von den Soll-Klassifikations-Scores 2a verantwortlich sind, als Fehler-Anteile 2* des jeweiligen Fehler-Test-Bildes 2# ermittelt.
Gemäß Block 151 kann für Anteile 2b# der Fehler-Test-Bilder 2# anhand der Abweichung ihrer Klassifikations-Scores 6 von den Soll-Klassifikations-Scores 2a, und/oder anhand der Unsicherheiten ihrer Klassifikations-Scores 6, entschieden werden, ob diese Anteile 2b# als Fehler-Anteile 2* gewertet werden.
Hierbei kann insbesondere gemäß Block 151a die Entscheidung, ob ein Anteil 2b# als Fehler-Anteil 2* gewertet wird, davon abhängig gemacht werden, ob Klassifikations-Scores 6 und/oder Unsicherheiten mindestens einen vorgegebenen Schwellwert überschreiten oder unterschreiten.
Alternativ oder in Kombination hierzu kann gemäß Block 151b ein festgelegtes Quantum von Anteilen 2b# mit größten Abweichungen der Klassifikations-Scores 6 von den Soll-Klassifikations-Scores 2a, und/oder mit größten oder kleinsten Unsicherheiten der Klassifikations-Scores 6, als Fehler-Anteile 2* gewertet werden.
In Schritt 160 wird aus den Fehler-Anteilen 2* aller Fehler-Test-Bilder 2# ausgewertet, inwieweit die Abweichungen von den Soll-Klassifikations-Scores 2a sporadischer oder systematischer Natur sind. Das Ergebnis ist mit dem Bezugszeichen N bezeichnet.
Gemäß Block 161 kann geprüft werden, ob Fehler-Anteile 2* verschiedener Fehler-Test-Bilder 2# zueinander ähnlich sind und/oder sich zumindest teilweise überlappen. Ist dies der Fall (Wahrheitswert 1), kann gemäß Block 162 festgestellt werden, dass die Abweichungen von den Soll-Klassifikations-Scores 2a systematischer Natur sind.
Gemäß Block 163 können die Fehler-Anteile 2* verschiedener Fehler-Test-Bilder 2# aggregiert werden. Es kann dann gemäß Block 164 geprüft werden, ob die so gebildete Aggregation A zumindest lokal einen vorgegebenen Schwellwert überschreitet. Ist dies der Fall (Wahrheitswert 1), kann gemäß Block 165 festgestellt werden, dass die Abweichungen von den Soll-Klassifikations-Scores 2a systematischer Natur sind.
Gemäß Block 166 können die Fehler-Anteile 2* der Fehler-Test-Bilder 2# anhand einer semantischen Segmentierung der Fehler-Test-Bilder Objekten zugeordnet werden. Es kann dann gemäß 167 geprüft werden, ob die Fehler-Anteile 2* mit bestimmten Objekten korreliert sind. Ist dies der Fall (Wahrheitswert 1), kann gemäß Block 168 festgestellt werden, dass die Abweichungen von den Soll-Klassifikations-Scores 2a systematischer Natur sind.
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren eines weiteren Klassifikators 5 für den Einsatz in dem zuvor beschriebenen Verfahren 100.
In Schritt 210 wird dieser weitere Klassifikator 5 anhand einer ersten Menge von Trainings-Bildern 7, die Anteile 7b umfassen, ohne Ansehung eventueller Soll-Klassifikations-Scores 2a für diese Trainings-Bilder 7 unüberwacht trainiert. Der Zustand des weiteren Klassifikators nach diesem unüberwachten Training ist mit dem Bezugszeichen 5* bezeichnet.
Gemäß Block 211 kann dieses unüberwachte Training ein Clustern der Trainings-Bilder 7 in eine vorgegebene Anzahl von Clustern umfassen.
Gemäß Block 212 kann mindestens ein Trainings-Bild 7 mit Veränderungen beaufschlagt werden, für die bekannt ist, dass sie die Klassifikations-Scores 6 der Anteile 7b dieses Trainings-Bildes 7 nicht ändern sollte. Es können dann gemäß Block 213 sich daraufhin einstellende Veränderungen von Klassifikations-Scores 6 von Anteilen 7b des Trainings-Bildes 7 als Teil des im Training zu minimierenden Fehlers gewertet werden.
In Schritt 220 wird der weitere Klassifikator 5 anhand einer zweiten Menge von Trainings-Bildern 8, für deren Anteile 8b jeweils Soll-Klassifikations-Scores 2a bekannt sind, überwacht weitertrainiert. Der Zustand des weiteren Klassifikators 5 nach diesem weiteren überwachten Training ist mit dem Bezugszeichen 5** bezeichnet.
Gemäß Block 205 kann der weitere Klassifikator 5 Bestandteile des zu untersuchenden Bildklassifikators 1 umfassen. Gemäß den Blöcken 214 und 221 können dann Parameter, die das Verhalten dieser Bestandteile charakterisieren, beim Training des weiteren Klassifikators 5 unverändert bleiben.
3 zeigt beispielhaft, wie Fehler-Anteile 2* mehrerer verschiedener Fehler-Test-Bilder 2# zu einer Aggregation A zusammengeführt werden können. Die Aggregation A umfasst in diesem Beispiel drei Signalanteile A₁, A₂ und A₃.
Die Signalanteile A₁ und A₂ gehen lediglich auf Fehler-Anteile 2* zurück, die jeweils nur in einem der Fehler-Test-Bilder 2# vorkommen. Der Signalanteil A₃ umfasst jedoch Fehler-Anteile 2*, die jeweils in zweien der Fehler-Test-Bilder 2# vorkommen. Daher ist dieser Signalanteil A₃ doppelt so stark ausgeprägt. Dies kann dahingehend gewertet werden, dass die dem Signalanteil A₃ zu Grunde liegenden Fehler-Anteile 2* von systematischen Fehlern herrühren.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102020207323 A1 [0003]

Claims

Verfahren (100) zur Prüfung, inwieweit Falschklassifikationen eines Bildklassifikators (1) sporadischer oder systematischer Natur sind, mit den Schritten: • es werden Test-Bilder (2) bereitgestellt (110), für die Soll-Klassifikations-Scores (2a) in Bezug auf eine oder mehrere Klassen bekannt sind; • die Test-Bilder (2) werden dem Bildklassifikator (1) zugeführt und vom Bildklassifikator (1) auf Klassifikations-Scores (3) abgebildet (120); • Test-Bilder (2), für die die vom Bildklassifikator (1) gelieferten Klassifikations-Scores (3) nach Maßgabe eines vorgegebenen Kriteriums von den Soll-Klassifikations-Scores (2a) abweichen (130), werden als Fehler-Test-Bilder (2#) einem weiteren Klassifikator (5) zugeführt, der Anteile (2b#) der Fehler-Test-Bilder (2#) auf Klassifikations-Scores (6) abbildet (140); • aus der Ausgabe (5a) des weiteren Klassifikators (5) werden diejenigen Anteile (2b#), die für die Abweichungen von den Soll-Klassifikations-Scores (2a) verantwortlich sind, als Fehler-Anteile (2*) des jeweiligen Fehler-Test-Bildes (2#) ermittelt (150); • aus den Fehler-Anteilen (2*) aller Fehler-Test-Bilder (2#) wird ausgewertet (160), inwieweit die Abweichungen von den Soll-Klassifikations-Scores (2a) sporadischer oder systematischer Natur sind (N).
Verfahren (100) nach Anspruch 1, wobei der weitere Klassifikator (5) einzelne Pixel als Anteile (2b#) der Fehler-Test-Bilder (2#) auf Klassifikations-Scores (6) abbildet.
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei eine Abweichung der Klassifikations-Scores (3) von den Soll-Klassifikations-Scores (2a) als umso größer gewertet wird (131), je stärker die Klasse mit dem höchsten Klassifikations-Score (3) von der Klasse mit dem höchsten Soll-Klassifikations-Score (2a) abweicht.
Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei für Anteile (2b#) der Fehler-Test-Bilder (2#) anhand der Abweichung ihrer Klassifikations-Scores (6) von den Soll-Klassifikations-Scores (2a), und/oder anhand der Unsicherheiten ihrer Klassifikations-Scores (6), entschieden wird (151), ob diese Anteile (2b#) als Fehler-Anteile (2*) gewertet werden.
Verfahren (100) nach Anspruch 4, wobei die Entscheidung, ob ein Anteil (2b#) als Fehler-Anteil (2*) gewertet wird, davon abhängig gemacht wird (151a), ob Klassifikations-Scores (6) und/oder Unsicherheiten mindestens einen vorgegebenen Schwellwert überschreiten oder unterschreiten.
Verfahren (100) nach einem der Ansprüche 4 bis 5, wobei ein festgelegtes Quantum von Anteilen (2b#) mit größten Abweichungen der Klassifikations-Scores (6) von den Soll-Klassifikations-Scores (2a), und/oder mit größten oder kleinsten Unsicherheiten der Klassifikations-Scores (6), als Fehler-Anteile (2*) gewertet wird (151b).
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei in Antwort darauf, dass Fehler-Anteile (2*) verschiedener Fehler-Test-Bilder (2#) zueinander ähnlich sind und/oder sich zumindest teilweise überlappen (161), festgestellt wird (162), dass die Abweichungen von den Soll-Klassifikations-Scores (2a) systematischer Natur sind.
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei die Fehler-Anteile (2*) verschiedener Fehler-Test-Bilder (2#) aggregiert werden (163) und in Antwort darauf, dass diese Aggregation (A) zumindest lokal einen vorgegebenen Schwellwert überschreitet (164), festgestellt wird (165), dass die Abweichungen von den Soll-Klassifikations-Scores (2a) systematischer Natur sind.
Verfahren (100) nach einem der Ansprüche 1 bis 8, wobei die Fehler-Anteile (2*) der Fehler-Test-Bilder (2#) anhand einer semantischen Segmentierung der Fehler-Test-Bilder Objekten zugeordnet werden (166) und wobei in Antwort darauf, dass die Fehler-Anteile (2*) mit bestimmten Objekten korreliert sind (167), festgestellt wird (168), dass die Abweichungen von den Soll-Klassifikations-Scores (2a) systematischer Natur sind.
Verfahren (100) nach einem der Ansprüche 1 bis 9, wobei Bilder von in Serie gefertigten Produkten als Test-Bilder (2) gewählt werden und wobei die Klassen zu Qualitätsbewertungen für diese Produkte korrespondieren.
Verfahren (200) zum Trainieren eines weiteren Klassifikators (5) für den Einsatz in dem Verfahren nach einem der Ansprüche 1 bis 10, mit den Schritten: • der weitere Klassifikator (5) wird anhand einer ersten Menge von Trainings-Bildern (7) ohne Ansehung eventueller Soll-Klassifikations-Scores (2a) für diese Trainings-Bilder (7) unüberwacht trainiert (210); • der weitere Klassifikator (5) wird anhand einer zweiten Menge von Trainings-Bildern (8), für deren Anteile (8b) jeweils Soll-Klassifikations-Scores (2a) bekannt sind, überwacht weitertrainiert (220).
Verfahren (200) nach Anspruch 11, wobei das unüberwachte Training (210) ein Clustern der Trainings-Bilder (7) in eine vorgegebene Anzahl von Clustern umfasst (211).
Verfahren (200) nach einem der Ansprüche 11 bis 12, wobei beim unüberwachten Training (210) • mindestens ein Trainings-Bild (7) mit Veränderungen beaufschlagt wird (212), für die bekannt ist, dass sie die Klassifikations-Scores (6) der Anteile (7b) dieses Trainings-Bildes (7) nicht ändern sollte, und • sich daraufhin einstellende Veränderungen von Klassifikations-Scores (6) von Anteilen (7b) des Trainings-Bildes (7) als Teil des im Training zu minimierenden Fehlers gewertet werden (213).
Verfahren (200) nach einem der Ansprüche 11 bis 13, wobei der weitere Klassifikator (5) Bestandteile des zu untersuchenden Bildklassifikators (1) umfasst (205) und wobei Parameter, die das Verhalten dieser Bestandteile charakterisieren, beim Training des weiteren Klassifikators (5) unverändert bleiben (214, 221).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 14 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 15.
Ein oder mehrere Computer mit dem Computerprogramm nach Anspruch 15, und/oder mit dem maschinenlesbaren Datenträger nach Anspruch 16.