-
Die vorliegende Erfindung betrifft die Charakterisierung, das Training und insbesondere die Anwendung von Bildklassifikatoren auf der Basis künstlicher neuronaler Netzwerke, beispielsweise für die Qualitätskontrolle von in Serie gefertigten Produkten.
-
Stand der Technik
-
Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.
-
Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die
WO 2018/197 074 A1 offenbart eine Prüfvorrichtung, in der ein Objekt einer Vielzahl von Beleuchtungssituationen ausgesetzt werden kann, wobei in jeder dieser Beleuchtungssituationen mit einer Kamera Bilder des Objekts aufgezeichnet werden. Aus diesen Bildern wird die Topographie des Objekts ausgewertet.
-
Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/ „nicht OK“).
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein Verfahren zum Ermitteln von Veränderungen eines digitalen Bildes, die dazu führen, dass ein Bildklassifikator das so veränderte digitale Bild einer anderen Klasse zuordnet, entwickelt. Der Bildklassifikator umfasst ein künstliches neuronales Netzwerk, KNN.
-
Digitale Bilder können insbesondere mit beliebigen physikalischen Abbildungsmodalitäten aufgenommen worden sein. Es können insbesondere beispielsweise Kamerabilder, Videobilder, Radarbilder, LIDAR-Bilder und Ultraschallbilder verwendet werden.
-
Der Begriff „Klassifikation“ umfasst ausdrücklich beispielsweise auch eine semantische Segmentierung des digitalen Bildes, die als pixel- oder bereichsweise Klassifikation anzusehen ist. Auch die Detektion von Objekten ist als Klassifikation dahingehend zu verstehen, ob das Objekt erkannt wurde oder nicht.
-
Das KNN umfasst einen Faltungsteil, der aus mehreren Faltungsschichten gebildet ist und zusätzlich zu Faltungsschichten beispielsweise noch Pooling-Schichten enthalten kann. Die ersten Faltungsschichten des Faltungsteils können beispielsweise grundlegende Merkmale im digitalen Bild erkennen, während spätere Faltungsschichten komplexere Merkmale erkennen können, die aus den grundlegenden Merkmalen zusammengesetzt sind. Die Dimensionalität, also die Pixel- oder Voxel-Auflösung, eines digitalen Bildes vermindert sich bei der Verarbeitung durch jede Faltungsschicht. Ein von dem Faltungsteil letztendlich ermitteltes Arbeitsergebnis kann also beispielsweise nur noch einen geringen Bruchteil der ursprünglichen Dimensionalität des digitalen Bildes haben.
-
Das KNN umfasst weiterhin einen aus einen oder mehreren Schichten gebildeten Entscheider, der ein durch den Faltungsteil aus dem digitalen Bild ermitteltes Arbeitsergebnis auf eine Zuordnung des digitalen Bildes zu einer oder mehreren Klassen abbildet. Diese Zuordnung kann beispielsweise ein „Softmax-Score“ sein, bei dem sich mehrere von Null verschiedene Wahrscheinlichkeiten oder Konfidenzen für die Zugehörigkeit zu Klassen insgesamt zu 1 addieren. Die Zuordnung kann aber auch beispielsweise ein „One-Hot-Vektor“ sein, der das digitale Bild nur genau einer Klasse der vorgegebenen Klassifikation zuordnet. Der Entscheider kann insbesondere beispielsweise eine oder mehrere vollvernetzte Schichten umfassen.
-
Ausgehend von dem digitalen Bild wird eine Veränderung dieses digitalen Bildes, die dazu führt, dass der Bildklassifikator das digitale Bild dann einer anderen Klasse zuordnet, in zwei Schritten ermittelt.
-
Zunächst wird ausgehend von dem Arbeitsergebnis ein verändertes Soll-Arbeitsergebnis ermittelt, das vom Entscheider auf eine nach Maßgabe eines vorgegebenen Kriteriums veränderte Zuordnung abgebildet wird. Dies kann mit beliebigen Methoden erfolgen. Da der Raum der Arbeitsergebnisse eine viel geringere Dimensionalität hat als der Raum der digitalen Bilder, ist im Rahmen des Rechenzeitbudgets eine Vielzahl von Verfahren praktikabel.
-
Es wird ausgehend von dem digitalen Bild ein verändertes digitales Bild optimiert mit dem Ziel, dass der Faltungsteil dieses veränderte digitale Bild auf das Soll-Arbeitsergebnis abbildet.
-
Hierzu kann beispielsweise ein beliebiger parametrisierter Ansatz für die Veränderung des digitalen Bildes gemacht werden, und die Parameter dieses Ansatzes können dann so optimiert werden, dass eine Gütefunktion, die die Übereinstimmung des vom Faltungsteil aus dem veränderten digitalen Bild ermittelten Arbeitsergebnisses mit dem Soll-Arbeitsergebnis misst, ein Extremum annimmt. Beispielsweise können sich die Parameter unmittelbar auf Veränderungen einzelner Intensitätswerte von Pixeln beziehen. Die Parameter können aber auch beliebige andere Operationen steuern, wie beispielsweise das Ausblenden oder Weichzeichnen von Bildbereichen.
-
Das von dem Verfahren gelieferte veränderte digitale Bild gibt Aufschluss darüber, von welchen Teilen des digitalen Bildes der Bildklassifikator bei seinem aktuellen Trainingsstand die Entscheidung über die eine oder die andere Klasse abhängig macht. Diese Information liegt im gleichen Raum vor, dem auch ursprüngliche digitale Bild angehört, und ist daher besonders einfach interpretierbar. Dies verbessert die Erklärbarkeit von Entscheidungen, die der Bildklassifikator getroffen hat. Sollte sich beispielsweise herausstellen, dass der Bildklassifikator die Entscheidung für eine bestimmte Klasse gar nicht auf Grund der eigentlich dafür vorgesehenen Bildmerkmale getroffen hat, sondern auf Grund ganz anderer Bildmerkmale, wird das Auffinden von Gegenmaßnahmen deutlich erleichtert.
-
In einem anschaulichen Beispiel sei der Bildklassifikator dazu ausgebildet, anhand der Gesichtsausdrücke in Bewerbungsfotos vorteilhafte Eigenschaften der Bewerber vorherzusagen, so dass in großer Zahl eingehende Bewerbungen entsprechend maschinell vorsortiert werden können und die Personalabteilung nur noch einen kleinen Bruchteil der Bewerbungen manuell bearbeiten muss. Wenn das Verfahren nun die Information liefert, dass bei einem bestimmten Bewerbungsfoto das Weichzeichnen der Schulterpartie die Klassifikation von „5 Sterne“ auf „3 Sterne“ verändert, beruhte die ursprüngliche Einstufung „5 Sterne“ offensichtlich nicht auf dem intelligenten Gesichtsausdruck, sondern auf der Kunst des Fotografen, der dem Bewerber beim Fotoshooting ein Paar Schulterpolster gereicht hat. Der Bildklassifikator kann dann entsprechend angepasst werden, so dass er sich künftig nicht mehr in dieser Weise „täuschen“ lässt.
-
Im Rahmen des Verfahrens kann insbesondere beispielsweise nach Veränderungen des digitalen Bildes gefragt werden, die eine Neuzuordnung von einer konkreten Klasse zu einer anderen konkreten Klasse bewirken. Bei der Analyse des Verhaltens des Bildklassifikators und bei der Planung von Verbesserungsmaßnahmen kann also insbesondere beispielsweise berücksichtigt werden, dass manche Neuzuordnungen sich weniger nachteilig auf die vorgesehene Anwendung auswirken als andere.
-
Wenn beispielsweise in Serie gefertigte Produkte in Qualitätsstufen A, B, C und Ausschuss klassifiziert werden, so bewirkt eine Neuzuordnung von A zu B oder gar C, dass das Produkt zu einem günstigeren Preis verkauft werden muss und der Gewinn entsprechend geschmälert wird. Eine Neuzuordnung von C zu Ausschuss hingegen bewirkt, dass das Produkt entsorgt werden muss, so dass überhaupt kein Gewinn mehr damit gemacht wird, sondern Verlust.
-
Auch beim zumindest teilweise automatisierten Führen von Fahrzeugen im Straßenverkehr gibt es große Unterschiede dahingehend, wie sich verschiedene Neuzuordnungen auswirken. Wird ein „Tempo 30“-Schild als „Tempo 50“-Schild erkennt, kann dies die Unfallgefahr erhöhen und eine Sanktion für einen Tempoverstoß zur Folge haben. Wesentlich drastischer fällt die Steigerung der Unfallgefahr aus, wenn etwa ein Stoppschild als „Tempo 50“-Schild erkannt wird.
-
Die Optimierung der Veränderung am digitalen Bild selbst hat den besonderen Vorteil, dass für die Rückkopplung, ob denn nun die gesuchte Wirkung auf die Zuordnung erzielt wird, das KNN des Bildklassifikators in der Vorwärtsrichtung durchlaufen wird. Es ist also für das Funktionieren des Verfahrens unerheblich, wie stark der Faltungsteil des KNN die ursprüngliche Dimensionalität des digitalen Bildes bei der Verarbeitung zu dem Arbeitsergebnis reduziert. In einer besonders vorteilhaften Ausgestaltung umfasst das Arbeitsergebnis mindestens eine Merkmalskarte, deren Pixelanzahl je Koordinatenrichtung gegenüber dem digitalen Bild um mindestens einen Faktor von 100 reduziert ist. Hatte beispielsweise das digitale Bild ursprünglich 1024x1024 Pixel, können die Merkmalskarten noch 8x8 oder gar nur 4x4 Pixel aufweisen. Ein Zurückrechnen von einer so kleinen Merkmalskarte auf das veränderte digitale Bild durch Rückpropagation durch den Faltungsteil wäre deutlich schwieriger.
-
In einer besonders vorteilhaften Ausgestaltung wird die Optimierung mittels einer Gütefunktion durchgeführt, die mindestens zwei Terme enthält. Der erste Term hängt von der Übereinstimmung des Arbeitsergebnisses, das der Faltungsteil aus dem veränderten digitalen Bild ermittelt, mit dem Soll-Arbeitsergebnis ab. Der zweite Term hängt von der Veränderung des digitalen Bildes gegenüber dem ursprünglichen digitalen Bild ab. Dieser zweite Term kann insbesondere beispielsweise eine Regularisierung beinhalten, die beispielsweise mehr oder weniger gleichförmige Lösungen bevorzugen oder Lösungen, die auf Grund von beliebigem Vorwissen über gültige digitale Bilder ungültig sind, „bestrafen“ kann. So kann beispielsweise eine Randbedingung sein, dass Bildpixel, die den maximal möglichen oder minimal möglichen Intensitätswert haben, nicht geändert werden sollen. Alternativ oder auch in Kombination hierzu kann die Regularisierung beispielsweise messen, wie realistisch das geänderte digitale Bild noch ist. Realistische Lösungen können dann gegenüber Lösungen, die sichtbare Artefakte zeigen, bevorzugt werden.
-
Die Übereinstimmung mit dem Soll-Arbeitsergebnis sowie die Veränderung gegenüber dem ursprünglichen digitalen Bild können mit beliebigen Metriken gemessen werden, wie beispielsweise Normen oder Korrelationen.
-
Für die Suche nach einem Extremum der Gütefunktion kann ein beliebiges Optimierungsverfahren verwendet werden, wie beispielsweise ein stochastisches Gradientenabstiegsverfahren oder der ADAM-Algorithmus. Im Bereich des Machine Learning ist es üblich, dass Gütefunktionen als „Kostenfunktionen“ (loss functions) formuliert werden. Dann sind niedrige Werte besser, und ein Optimum liegt dort, wo die Gütefunktion ein Minimum annimmt.
-
Beispielsweise kann die Gütefunktion eine anhand eines linearen Hyperparameters gewichtete Summe des ersten Terms und des zweiten Terms beinhalten. Mit diesem Hyperparameter lässt sich dann stufenlos ein Kompromiss zwischen den beiden Zielen, einerseits die Klassifikation zu verändern und andererseits das digitale Bild möglichst wenig zu verändern, einstellen.
-
In einer besonders vorteilhaften Ausgestaltung wird der Hyperparameter ausgehend von einem Startwert, bei dem die Optimierung noch auf das ursprüngliche digitale Bild konvergiert, zu einem Wert verändert, bei dem die Optimierung erstmals auf ein anderes Ergebnis als das ursprüngliche digitale Bild konvergiert. Dieser Wert wird als kritischer Wert des Hyperparameters festgelegt. Hierbei handelt es sich um einen für das jeweilige digitale Bild spezifischen Wert, der dann wiederum zum Optimieren des veränderten digitalen Bildes genutzt werden kann.
-
Darüber hinaus kann der kritische Wert des Hyperparameters auch genutzt werden, um eine Vielzahl digitaler Bilder ohne tiefere Analyse des Bildinhalts in Gruppen zu sortieren. Hierhinter steckt die Überlegung, dass Bilder mit ähnlichen kritischen Werten des Hyperparameters mit hoher Wahrscheinlichkeit irgendetwas gemeinsam haben, ohne dass diese Gemeinsamkeit im Einzelnen bekannt sein muss. Daher wird in einer besonders vorteilhaften Ausgestaltung für eine Vielzahl digitaler Bilder jeweils der kritische Wert des Hyperparameters ermittelt. Die digitalen Bilder werden anhand dieser kritischen Werte der Hyperparameter geclustert. Auf diese Weise können insbesondere Gemeinsamkeiten zwischen digitalen Bildern, die vorher weder bekannt waren noch vermutet wurden, identifiziert werden.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird der Unterschied zwischen dem veränderten digitalen Bild und dem ursprünglichen digitalen Bild mit einer vorgegebenen Metrik zu einer Maßzahl für die Anfälligkeit des Bildklassifikators gegenüber Veränderungen zusammengefasst. Auf diese Weise kann insbesondere beispielsweise quantifiziert werden, inwieweit sich die Anfälligkeit für verschiedene Bilder unterscheidet. Dies erleichtert die Suche nach Ursachen für die Anfälligkeit und entsprechenden Gegenmaßnahmen.
-
So kann sich beispielsweise herausstellen, dass verrauschte oder bei schlechten Lichtverhältnissen aufgenommene Bilder bereits nach einer sehr kleinen Veränderung anders klassifiziert werden, während die Klassifikation qualitativ höherwertiger Bilder nur mit einer sehr starken Veränderung zu erschüttern ist.
-
Die vorgegebene Metrik kann beispielsweise die Anzahl der Pixel, die Stärke der Änderung je Pixel, und/oder eine euklidische Distanz zwischen dem veränderten digitalen Bild und dem ursprünglichen digitalen Bild, umfassen.
-
Die Erkenntnis, welche Veränderungen digitaler Bilder die Zuordnung dieser Bilder zu Klassen durch den Bildklassifikator besonders einfach beeinflussen können, kann insbesondere beispielsweise genutzt werden, um das Training eines derartigen Bildklassifikators anzupassen. Das Training kann insbesondere beispielsweise auf Bilder, die auf Grund einer Veränderung falsch klassifiziert werden, und hierzu ähnliche Bilder fokussiert werden. Der Bildklassifikator lernt dann gezielt das, was er noch nicht so gut kann, statt lediglich Themen zu wiederholen, die er schon sehr gut beherrscht.
-
Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren eines Bildklassifikators für digitale Bilder.
-
Bei diesem Verfahren werden ausgehend von vorgegebenen Lern-Bildern und zugehörigen Lern-Zuordnungen Parameter, die das Verhalten des Bildklassifikators charakterisieren, dahingehend optimiert, dass die Lern-Bilder im Mittel auf die zugehörigen Lern-Zuordnungen abgebildet werden.
-
Für mindestens ein digitales Bild wird mit dem zuvor beschriebenen Verfahren ein verändertes digitales Bild ermittelt, für das sich die vom Bildklassifikator ermittelte Zuordnung in vorgegebener Weise ändert. Anhand des veränderten digitalen Bildes wird mindestens ein weiteres Lern-Bild ermittelt und/oder ausgewählt, und es wird eine zu diesem Lern-Bild zugehörige Lern-Zuordnung beschafft, auf die der Bildklassifikator dieses weitere Lern-Bild abbilden soll.
-
Unter Heranziehung dieses weiteren Lern-Bildes und dieser weiteren Lern-Zuordnung werden die Parameter, die das Verhalten des Bildklassifikators charakterisieren, weiter optimiert. Hierzu kann beispielsweise der Bildklassifikator speziell auf derartigen neu gewonnenen Lern-Bildern weiter trainiert werden. Bei einem derartigen weiteren Training können die neu gewonnenen Lern-Bilder aber auch mit den ursprünglichen Lern-Bildern vermengt sein.
-
Hierbei kann nicht nur das veränderte digitale Bild selbst als zusätzliches Lern-Bild verwendet werden. Es können insbesondere beispielsweise auch weitere Lern-Bilder anhand ihrer nach einer vorgegebenen Metrik bestimmten Ähnlichkeit zu dem veränderten digitalen Bild ermittelt und/oder ausgewählt werden. Alternativ oder auch in Kombination hierzu kann das weitere Lern-Bild als synthetisches Bild mit einem Generative Adversarial Network, GAN, erzeugt werden.
-
Die Fokussierung der zusätzlicher Lern-Bilder auf das Umfeld veränderter digitaler Bilder, die die Klassifikation ändern, ist insbesondere in Anwendungen vorteilhaft, in denen die Beschaffung von Lern-Zuordnungen besonders aufwändig und/oder besonders teuer ist. Dies ist beispielsweise bei der Qualitätskontrolle von in Serie gefertigten Produkten der Fall. Digitale Bilder derartiger Produkte sind schnell erstellt, aber um die Lern-Zuordnung zu beschaffen, muss man die Qualität des jeweiligen Produkts eingehend untersuchen. Dies kann beispielsweise bedeuten, eine Funktionsprüfung des Produkts auf einem Teststand vorzunehmen oder sogar das Produkt durchzusägen und sein Inneres zu analysieren. Das Erzeugen synthetischer Bilder mit einem GAN hat hier den Vorteil, dass Bilder entstehen, für die die zugehörige Lern-Zuordnung bereits bekannt ist.
-
Besonders vorteilhaft kann also in beiden zuvor beschriebenen Verfahren mindestens ein mit einem Sensor, der Teil eines Systems für die Qualitätskontrolle von in Serie gefertigten Produkten, aufgenommenes Bild mindestens eines Teils eines in Fertigung befindlichen oder gefertigten Produkts als digitales Bild gewählt werden.
-
Analog ist es vorteilhaft, mindestens ein mit einem Sensor, der Teil eines Systems für die Überwachung eines Bereichs ist, aufgenommenes Bild mindestens eines Teils des überwachten Bereichs als digitales Bild zu wählen. Wenn beispielsweise klassifiziert werden soll, ob in dem Bereich ein Sicherheitsrisiko durch einen Eindringling vorliegt, dann sind Lern-Bilder echter Einbruchsversuche schwer erhältlich.
-
Ähnliches gilt für bestimmte Verkehrssituationen, von denen Bilder mit mindestens einem von einem Fahrzeug getragenen Sensor aufgenommen werden. Bilder sogenannter „corner cases“, die sich auf Beinahe-Unfälle oder andere seltene und potentiell gefährliche Situationen beziehen, sind ebenfalls schwer erhältlich. Dies gilt insbesondere beispielsweise dann, wenn bestimmte widrige Wetterbedingungen, wie etwa Starkregen, Schneetreiben oder Glatteis, Teil der Situation sind.
-
Das zuvor diskutierte Beispiel einer Qualitätskontrolle von in Serie gefertigten Produkten, bei der digitale Bilder der in Fertigung befindlichen oder gefertigten Produkte mit mindestens einem Sensor aufgenommen werden, die digitalen Bilder werden einem Bildklassifikator zugeführt werden und anhand einer vom Bildklassifikator ermittelten Zuordnung werden die Produkte in Qualitätsklassen eingeteilt werden, lässt sich noch vorteilhaft erweitern. Ein mit dem eingangs beschriebenen Verfahren ermitteltes verändertes digitales Bild lässt sich in zweierlei Hinsicht nutzen, um die Ausbeute der Fertigung zu verbessern.
-
In Antwort darauf, dass ein im Rahmen der Qualitätskontrolle aufgenommenes weiteres digitales Bild nach Maßgabe eines vorgegebenen Kriteriums ähnlich zu dem veränderten digitalen Bild ist, kann das Produkt, an dem dieses weitere digitale Bild aufgenommen wurde, für eine Nachkontrolle ausgesondert werden. Die Ähnlichkeit zeigt an, dass die Klassifikation dieses konkreten Produkts „auf Messers Schneide“ steht. Die manuelle Nachkontrolle im Einzelfall kann dann weniger kosten als das Produkt vorsichtshalber als Ausschuss zu entsorgen.
-
Alternativ oder in Kombination hierzu kann das veränderte digitale Bild mit einer räumlichen Verteilung von an dem Produkt vorgenommenen physikalischen Bearbeitungen korreliert werden. Mängel und Schäden am Produkt zeigen sich bevorzugt an den Orten, an denen aktiv durch physikalische Bearbeitung auf das Produkt eingewirkt wird. Wenn diese Bereiche gut mit dem veränderten digitalen Bild korrelieren, liefert das die Rückmeldung, dass der Bildklassifikator seine Entscheidung genau von den Bildbereichen abhängig macht, die für die Beurteilung der Qualität tatsächlich wichtig sind.
-
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel des Verfahrens 100 zum Ermitteln von Veränderungen eines digitalen Bildes;
- 2 Veranschaulichung der Feedback-Schleife beim Verfahren 100;
- 3 Ausführungsbeispiel des Verfahrens 200 zum Trainieren eines Bildklassifikators;
- 4 Ausführungsbeispiel des Verfahrens 300 für die Qualitätskontrolle von in Serie gefertigten Produkten.
-
1 zeigt ein Ausführungsbeispiel des Verfahrens 100 zum Ermitteln solcher Veränderungen eines digitalen Bildes 1, die dazu führen, dass ein Bildklassifikator 2 das so veränderte digitale Bild 1* einer anderen Klasse 3a-3c einer vorgegebenen zuordnet als der, der er zuvor das ursprüngliche Bild 1 zugeordnet hat.
-
Der in 2 näher erläuterte Bildklassifikator 2 umfasst ein künstliches neuronales Netzwerk, KNN, mit einem Faltungsteil 21 und einem Entscheider 22. In Schritt 110 wird ausgehend von einem Arbeitsergebnis 21a des Faltungsteils 21 ein verändertes Soll-Arbeitsergebnis 21a* ermittelt, das vom Entscheider 22 nicht wie das bisherige Arbeitsergebnis 21a auf eine bisherige Zuordnung 3, sondern auf eine neue Zuordnung 3* zu Klassen 3a-3c abgebildet wird. In Schritt 120 wird dann ausgehend von dem ursprünglichen digitalen Bild 1 ein verändertes digitales Bild 1* optimiert mit dem Ziel, dass der Faltungsteil 21 des Bildklassifikators 2 dieses veränderte digitale Bild 1* auf das neue Soll-Arbeitsergebnis 21a* abbildet.
-
Da das Soll-Arbeitsergebnis 21a* genau so bestimmt wurde, dass es vom Entscheider 22 auf die neue Zuordnung 3* abgebildet wird, wird somit das veränderte digitale Bild 1* vom Bildklassifikator 2 als Ganzes auf die neue Zuordnung 3* abgebildet.
-
Gemäß Block 121 kann die Optimierung insbesondere mittels einer Gütefunktion 4 erfolgen. Diese Gütefunktion 4 hat einen ersten Term, der von der Übereinstimmung des Arbeitsergebnisses 21a', das der Faltungsteil 21 aus dem veränderten digitalen Bild 1* ermittelt, mit dem Soll-Arbeitsergebnis 21a* abhängt. Die Gütefunktion 4 hat einen zweiten Term, der von der Veränderung des digitalen Bildes 1* gegenüber dem ursprünglichen digitalen Bild 1 abhängt.
-
Gemäß Block 121a kann die Gütefunktion 4 insbesondere eine anhand eines linearen Hyperparameters gewichtete Summe der besagten beiden Terme beinhalten. Dieser Hyperparameter kann gemäß Block 121b ausgehend von einem Startwert, bei dem die Optimierung 120 noch auf das ursprüngliche digitale Bild 1 konvergiert bzw. sich hiervon erst gar nicht wegbewegt, zu einem Wert verändert werden, bei dem die Optimierung 120 erstmals auf ein anderes Ergebnis als das ursprüngliche digitale Bild 1 konvergiert. Dieser Wert kann gemäß Block 121c als kritischer Wert des Hyperparameters festgelegt werden. Es ist dann möglich, in Schritt 140 diesen kritischen Wert des Hyperparameters für eine Vielzahl digitaler Bilder 1 zu ermitteln und die digitalen Bilder 1 in Schritt 150 anhand dieser kritischen Werte zu clustern.
-
Optional kann in Schritt 130 der Unterschied zwischen dem veränderten digitalen Bild 1* und dem ursprünglichen digitalen Bild 1 mit einer beliebigen Metrik zu einer Maßzahl 2* für die Anfälligkeit des Bildklassifikators gegenüber Veränderungen zusammengefasst werden.
-
Die zweistufige Bestimmung des veränderten digitalen Bildes 1* ist in 2 noch einmal im Detail veranschaulicht.
-
Im normalen Betrieb des Bildklassifikators 2 wird das digitale Bild 1 durch die Faltungsschichten a, b, c des Faltungsteils 21 zu einem Arbeitsergebnis 21a verarbeitet, das dann von der vollvernetzten Schicht d im Entscheider 22 auf die Zuordnung 3 zu einer oder mehreren Klassen 3a-3c der vorgegebenen Klassifikation abgebildet wird. Ausgehend von dieser Situation ist der Wunsch, dass das veränderte digitale Bild 1* nicht mehr auf die Zuordnung 3, sondern auf eine neue Zuordnung 3* abgebildet wird, also etwa der Klasse 3b statt der Klasse 3a zugeordnet wird.
-
Zu diesem Zweck wird in Schritt 110 des Verfahrens 100 zunächst ausgehend von dem bisherigen Arbeitsergebnis 21a ein neues Arbeitsergebnis 21a* ermittelt, das vom Entscheider 22 auf die gewünschte neue Zuordnung 3* abgebildet wird. Anschließend wird mit der Optimierung 120 ein verändertes digitales Bild 1* gesucht, das vom Faltungsteil 21 auf das gesuchte Arbeitsergebnis 21a* abgebildet wird. Im Zuge dieser Optimierung 120 wird das tatsächlich vom Faltungsteil 21 ermittelte Arbeitsergebnis 21a' mit dem Soll-Arbeitsergebnis 21a* verglichen, und die Abweichung wird als Feedback genutzt, um das veränderte digitale Bild 1* anzupassen.
-
Die Optimierung 120 kann beispielsweise laufen, bis die Abweichung zwischen dem tatsächlichen Arbeitsergebnis 21a' und dem Soll-Arbeitsergebnis 21a* unter einen Schwellwert gesunken ist, die Optimierung 120 konvergiert, und/oder eine maximale Anzahl Optimierungsschritte abgearbeitet ist. Wenn die Optimierung 120 beendet ist, aber die Abweichung noch oberhalb eines Schwellwerts ist, kann beispielsweise auch eine Warnung ausgegeben werden, dass eventuell der Hyperparameter anders einzustellen ist.
-
Wie durch die gestrichtelte Verbindung angedeutet ist, bedeutet eine Übereinstimmung des tatsächlichen Arbeitsergebnisses 21a' mit dem Soll-Arbeitsergebnis 21a*, dass das veränderte digitale Bild 1* durch den Bildklassifikator 2 insgesamt auf die gewünschte neue Zuordnung 3* zu Klassen 3a-3c abgebildet wird.
-
3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren eines Bildklassifikators 2. In Schritt 210 werden ausgehend von vorgegebenen Lern-Bildern 1' und zugehörigen Lern-Zuordnungen 3' werden Parameter 2a, die das Verhalten des Bildklassifikators 2 charakterisieren, dahingehend optimiert, dass die Lern-Bilder 1' im Mittel auf die zugehörigen Lern-Zuordnungen 3' abgebildet werden.
-
In Schritt 220 wird mit dem zuvor beschriebenen Verfahren 100 ein verändertes digitales Bild 1* ermittelt, für das sich die vom Bildklassifikator 2 ermittelte Zuordnung 3 zu einer neuen Zuordnung 3* ändert. Anhand des veränderten digitalen Bildes 1* wird in Schritt 230 mindestens ein weiteres Lern-Bild 1' ermittelt.
-
Gemäß Block 231 kann das weitere Lern-Bild 1' anhand seiner nach einer vorgegebenen Metrik bestimmten Ähnlichkeit zu dem veränderten digitalen Bild 1* ermittelt und/oder ausgewählt werden. Gemäß Block 232 kann das weitere Lern-Bild 1' als synthetisches Bild mit einem Generative Adversarial Network, GAN, erzeugt werden.
-
In Schritt 240 wird eine zu dem weiteren Lern-Bild 1' zugehörige Lern-Zuordnung 3' beschafft. Wenn beispielsweise das weitere Lern-Bild 1' mit einem „conditional GAN“ erzeugt worden ist, ist es gezielt so erzeugt worden, dass es von anderen Lern-Bildern 1' mit einer bestimmten Lern-Zuordnung 3' schwer unterscheidbar ist. Daher ist diese Lern-Zuordnung 3' auch für dieses weitere Lern-Bild 1' gültig. Wird hingegen ein neues physisch aufgenommenes Lern-Bild 1' ausgewählt, muss die Lern-Zuordnung 3' (etwa Klasse „OK“ / „nicht OK“) möglicherweise durch physikalische Prüfung des Produkts 5, auf das sich dieses weitere Lern-Bild 1' bezieht, erworben werden.
-
Das weitere Lern-Bild 1' und die hierzu gehörige Lern-Zuordnung 3' werden in die Optimierung 210 der Parameter 2a zurückgespielt. Diese Optimierung kann bis zu einem beliebigen Abbruchkriterium fortgesetzt werden, was in 3 der Übersichtlichkeit halber nicht eingezeichnet ist.
-
4 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 300 für die Qualitätskontrolle von in Serie gefertigten Produkten 5. In Schritt 310 des Verfahrens 300 werden digitale Bilder 1 der in Fertigung befindlichen oder gefertigten Produkte 5 mit mindestens einem Sensor aufgenommen. In Schritt 320 werden die digitalen Bilder 1 einem Bildklassifikator 2 zugeführt.
-
In Schritt 330 wird mit dem eingangs beschriebenen Verfahren 100 zu mindestens einem digitalen Bild 1 ein verändertes digitales Bild 1* ermittelt, das die Klassifikation durch den Bildklassifikator 2 beeinflusst. Das heißt, der Bildklassifikator 2 bildet dieses veränderte digitale Bild 1* auf eine neue Zuordnung 3* zu Klassen 3a-3c ab.
-
In Schritt 340 kann geprüft werden, ob ein weiteres digitales Bild 1, das im Zuge der Qualitätskontrolle anfällt, nach Maßgabe eines vorgegebenen Kriteriums ähnlich zu dem veränderten digitalen Bild 1* ist. Wenn dies der Fall ist (Wahrheitswert 1), kann daraus gefolgert werden, dass die Klassifikation dieses weiteren digitalen Bildes 1 „auf Messers Schneide“ steht, und das Produkt 5, auf das sich dieses weitere digitale Bild 1 bezieht, kann in Schritt 350 für eine Nachkontrolle ausgesondert werden.
-
In Schritt 360 kann das veränderte digitale Bild 1* mit einer räumlichen Verteilung 6 von an dem Produkt 5 vorgenommenen physikalischen Bearbeitungen korreliert werden. Wie zuvor erläutert, kann eine hohe Korrelation darauf hindeuten, dass der Bildklassifikator 2 für seine Entscheidung genau die Bildbereiche heranzieht, in denen das Produkt physikalisch bearbeitet wird und somit Fehler bevorzugt auftreten können.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
