DE102022103844B3

DE102022103844B3 - Verfahren zur Optimierung eines Produktionsprozesses auf Basis visueller Informationen und Vorrichtung zur Durchführung des Verfahrens

Info

Publication number: DE102022103844B3
Application number: DE102022103844.0A
Authority: DE
Inventors: Nico Engelmann
Original assignee: Synsor Ai GmbH; SynsorAi GmbH
Current assignee: SynsorAi De GmbH
Priority date: 2022-02-17
Filing date: 2022-02-17
Publication date: 2023-06-22
Anticipated expiration: 2042-02-18

Abstract

Die Erfindung betrifft ein Verfahren zur Optimierung eines Produktionsprozesses auf Basis visueller Sensorinformationen, umfassend Aufnahme eines Bildes (1) eines Produktes zu einem Zeitpunkt t mittels eines visuellen Sensors, Verarbeitung des Bildes (1) in einem Prozess zur Bildanomalie-Verarbeitung mittels eines Bildanomalie-Detektors und Ermittlung einer Anomaliebewertung (3), wobei die Anomaliebewertung (3) Bewertungszahlen für jedes Pixel des Bildes (1) und eine Bewertungszahl (28) für das gesamte Bild (1) umfasst, Weiterverarbeitung des Bildes (1) und der in dem Prozess zur Bildanomalie-Verarbeitung ermittelten Anomaliebewertung (3) in einem Prozess zur Verarbeitung von Zeitreihenanomalien zur Ermittlung abnormaler Ereignisse mittels eines Zeitreihenanomalie-Detektors, wobei dem Zeitreihenanomalie-Detektor als Input Zeitreihen-Daten (5) für den Zeitpunkt t sowie für vergangene Zeitpunkte t-1 bis t-n übergeben werden, wobei die Zeitreihen-Daten (5) durch einen Prozess der Merkmalsextraktion (4) erzeugt wurden, und Optimierung und Anpassung des Produktionsprozesses in einem Prozess zur Anpassung und Verbesserung des Produktionsprozesses mittels eines Empfehlungssystems auf Grundlage der in dem Prozess zur Verarbeitung von Zeitreihenanomalien ermittelten abnormalen Ereignisse. Ein Verfahren zur Optimierung eines Produktionsprozesses, welches flexibel und kostengünstig in einer Produktionsanlage angewendet werden kann, wird dadurch geschaffen, dass der Prozess der Merkmalsextraktion (4) eine Reduktion der Datenmenge des Bildes (1) zum Zeitpunkt t und der Anomaliebewertung (3) umfasst.

Description

Die Erfindung betrifft ein Verfahren zur Optimierung eines Produktionsprozesses auf Basis visueller Informationen und eine Vorrichtung zur Durchführung des Verfahrens zur Optimierung eines Produktionsprozesses.
Aus der Praxis sind Verfahren zur Optimierung von Produktionsprozessen, insbesondere für die automatisierte Herstellung von Produkten in einer entsprechenden Produktionsanlage bekannt, welche dazu dienen, die in der Produktionsanlage vorhandenen Maschinen zu überwachen und beispielsweise rechtzeitig zu erkennen, ob eine Maschine fehlerhaft ist oder einer zeitnahen Wartung durch Austauschen von Maschinenteilen bedarf. In diesem Zusammenhang ist es aus der Praxis bekannt, auch neuronale Netzwerke zu verwenden, welche es ermöglichen, im Rahmen eines sogenannten „Predictive Maintenance“ notwendige Wartungshandlungen vorzeitig aufgrund einer Abweichung von einem Sollzustand innerhalb der Produktionsanlage vorzunehmen oder beispielsweise durch einfache Ausgabe auf einem Ausgabegerät dem in der Produktionsanlage tätigen Personal mitzuteilen oder einer in der Produktionsanlage vorhandenen Steuereinheit entsprechende Steuersignale zu übermitteln.
WO 2018 / 181 837 A1 zeigt ein Verfahren zur Anomaliedetektion in Anlagen bzw. Verfahrensumgebungen, bei der kamerabasierte Lösungen zur Erkennung von Anomalien innerhalb der Industrieanlage verwendet werden. Weiter ist die Verarbeitung des Bildes und die Verarbeitung der Bilddaten oder Pixeldaten mittels eines neuronalen Netzwerkes gezeigt, welches zuvor auf die Identifikation von Anomalien trainiert wurde. Das neuronale Netzwerk verarbeitet die Bildinformationen derart, dass ein Zuverlässigkeitsgrad ausgegeben wird, welcher die Wahrscheinlichkeit angibt, dass die Bildinformationen einem bestimmten Anomalie-Ereignis oder einer Anomalie entspricht. Soweit ein bestimmtes aufgenommenes Bild eine Anomalie enthält, wird dieses Bild auf einer Anzeigevorrichtung wiedergegeben, wobei optional die entsprechende Anomalieregion gekennzeichnet wird. Weiter wird mittels einer ersten Kamera ein erster Satz Bilddaten der Verfahrensumgebung aufgenommen, wobei dieser erste Satz Bilddaten auf das Vorhandensein von Anomalien untersucht wird und soweit eine Anomalie in dem ersten Satz Bilddaten vorhanden ist, mittels einer zweiten Kamera ein zweiter Satz Bilddaten aufgenommen, welcher ebenso auf das Vorhandensein von einer Anomalie untersucht wird. Dabei basiert die Auswahl des zweiten Satzes Bilddaten insbesondere auf Zeitstempeln, welche dem ersten Satz Bilddaten und den zweiten Satz Bilddaten zugeordnet sind. Die Analyse sowohl des ersten Satzes Bilddaten als auch des zweiten Satzes Bilddaten umfasst dabei das Analysieren von Pixelinformationen innerhalb einer Vielzahl von Unterregionen innerhalb des Bildframes und das Erzeugen eines „Pixelaktivitätswertes“ der Vielzahl von Unterregionen. Die Pixelaktivitätswerte sind beispielsweise Maße für die Änderungsgeschwindigkeit der Pixel bzw. von einer Bewegung von Pixeln, auf welchem die Entscheidung, ob eine Anomalie vorliegt, basiert.
WO 2020 / 049 087 A1 zeigt ein computer-implementiertes Verfahren nebst entsprechendem System zu Anomaliedetektion und/oder vorausschauender Instandhaltung, wobei insbesondere die Detektion von Ausreißern in strukturierten und unstrukturierten Daten ermöglicht wird. Unter unstrukturierten Daten, welche durch ein neuronales Netzwerk verarbeitet werden, werden hierbei neben Audiodaten, Videos, Sensordaten und Texten auch Bilder verstanden. Dabei können diese Daten sowohl Rohdaten als auch vorverarbeitete Daten umfassen, welche beispielsweise durch Zuschneiden, Kontrastverbesserung, Normalisierung, Rauschunterdrückung und weiteren bekannten Datenverarbeitungsprozessen vorverarbeitet wurden. Weiter ist ein Convolution Neural Network (CNN) gezeigt, welches ausgebildet ist, Bilder als Input zu analysieren und diese Bilder bestimmen Kategorien zuzuordnen. Das CNN umfasst dabei mehrere Layer, wobei die als Input eingegebenen Bilddaten innerhalb des CNN insbesondere daraufhin untersucht wird, ob ein Bild im Vergleich zu zuvor in einem Training gelernten Bildern einen Ausreißer darstellt.
Dabei werden auch mögliche Bildgrößen zur Verarbeitung im CNN angegeben, wobei offenbart wird, dass es zwar grundsätzlich keine Beschränkung der Bildgröße gibt, jedoch immer eine Abwägung erfolgen soll zwischen der gewünschten Auflösung und dem mit der Auflösung steigendem Rechenaufwand der Auswertung.
EP 3 407 598 A1 zeigt eine Bildaufnahmevorrichtung, wobei die Bildaufnahmevorrichtung dazu ausgebildet ist, Bilder zu verarbeiten, um einen Merkmalswert aus den Bilddaten zu erhalten. Weiter wird eine Lösung für das Problem angegeben, dass die Datenmengen, welche insbesondere bei Verwendung von Bilddaten benötigt werden, insbesondere bei drahtlosen Kommunikationsnetzwerken, zu Engpässen der verfügbaren Bandbreiten oder Kanälen führen kann. Die Lösung basiert darauf, dass die Übertragung der Daten zeitlich so optimiert wird, dass die Aufnahme der Bilddaten und die Übertragung der zuvor aufgenommenen Bilddaten nicht gleichzeitig passiert, sondern versetzt.
US 2019 / 0 379 589 A1 zeigt Systeme und Verfahren zur Detektion von Mustern in Daten aus einer Zeitserie. Dabei werden Daten in Zeitserie aufgenommen und in eindimensionalen oder multidimensionalen Fenstern von Zeitseriendaten dargestellt. Das gezeigte Verfahren umfasst zudem ein neuronales Netzwerk unter Verwendung historischer oder simulierter Daten zur Detektion von einem oder mehrerer Muster einer bestimmten Kategorie. Dabei werden die in Zeitserie aufgenommene Daten in ein Bild umgewandelt, beispielsweise eine Merkmalskarte oder Farbkarte, welche dann durch Bilderkennung auf Muster untersucht wird.
WO 99 / 16 010 A1 zeigt ein automatisierte Inspektionssystem zur Detektion und Klassifizierung von Defekten. Das Inspektionssystem umfasst ein Bilderfassungssystem, welches mit einem Präzisionspositionssystem gekoppelt ist. Die mit dem Bilderfassungssystem aufgenommenen Bilder werden mittels einer Softwareengine zur Detektion von Defekten und deren Klassifizierung analysiert. Die Softwareengine verbindet einen Zuverlässigkeitsgrad mit seiner Entscheidung, dass es sich um einen bestimmten Defekt handelt.
WO 2019 / 219 955 A1 zeigt ein System zur Inspektion eines Rohrs, wobei das System eine Vorverarbeitungseinheit zur Verarbeitung von Bilddaten einer Oberfläche eines Rohrs umfasst, wobei Defekte in Unterregionen der Region der Oberfläche des Rohrs identifiziert und katalogisiert werden. Das System umfasst eine Nachbearbeitungseinheit, welche den Daten oder dem detektierten Defekt eine Charakteristik zuordnet und eine Benachrichtigung basierend auf dem identifizierten und katalogisierten Defekt ausgibt. Das System umfasst auch eine Datenverarbeitungseinheit, welche bevorzugt als Convolution Neural Network (CNN) ausgebildet ist. Das CNN ist dazu ausgebildet, Defekte zu erlernen und von unkritischen Merkmalen zu unterscheiden und zudem präzise die Klassifizierung von Defekten vorherzusagen.
WO 2021 / 191 908 A1 zeigt ein Verfahren und ein System zur Anomaliedetektion in Bildern, wobei das Verfahren, welches in dem System ausgeführt wird, darauf basiert, dass ein Vergleich zwischen einem Trainingsbild, welches einen Sollzustand repräsentiert, und einem aktuellen Zielbild vorgenommen wird, wobei der Abstand zwischen extrahierten Merkmalen der beiden Bilder oberhalb eines bestimmten Grenzwertes als Maß für die Entscheidung herangezogen wird, ob das Zielbild als anomal gilt oder nicht. Dabei wird ein Anomaliewert ermittelt, welcher unter anderem den Abstand zwischen den relevanten Pixeln in dem Zielbild und den nächstliegenden Pixeln in dem Trainingsbild repräsentiert.
In dem Artikel „Explainable Defect Detection using Convolutional Neural Networks: Case Study.“ von Olga Chernytska. (URL: https://pub.towardsai.net/explainable-defect-detection-using-convolutional-neural-networks-case-study-2c1 b5b987cd) wird ein Verfahren zum Erkennen von Anomalien in Bildern von Produkten offenbart, welche mittels eines visuellen Sensors aufgenommen wurden. Die Bilder wurden mittels eines Bildanomalie-Detektors verarbeitet, um eine Anomaliebewertung, umfassend Bewertungszahlen für jedes Pixel eines Bildes und eine Bewertungszahl für das gesamte Bild zu erzeugen.
Es ist die Aufgabe der vorliegenden Erfindung, ein Verfahren zur Optimierung eines Produktionsprozesses anzugeben, welches flexibel und kostengünstig in einer Produktionsanlage angewendet werden kann. Weiter ist es die Aufgabe der Erfindung eine Vorrichtung zur Durchführung eines Verfahrens zur Optimierung eines Produktionsprozesses anzugeben, welche kostengünstig und flexibel in einer bestehenden Produktionsanlage integrierbar ist.
Nach einem Aspekt der Erfindung ist ein Verfahren zur Optimierung eines Produktionsprozesses auf Basis visueller Informationen geschaffen, umfassend eine Aufnahme eines Bildes eines Produktes zu einem Zeitpunkt t mittels eines visuellen Sensors, eine Verarbeitung des Bildes in einem Prozess zur Bildanomalie-Verarbeitung mittels eines Bildanomalie-Detektors und Ermittlung einer Anomaliebewertung. Die Anomaliebewertung umfasst dabei Bewertungszahlen für jedes Pixel des Bildes und eine Bewertungszahl für das gesamte Bild. Das Verfahren umfasst in einem nächsten Schritt die Weiterverarbeitung des Bildes und der in dem Prozess zur Bildanomalie-Verarbeitung ermittelten Anomaliebewertung in einem Prozess zur Verarbeitung von Zeitreihenanomalien zur Ermittlung abnormaler Ereignisse mittels eines Zeitreihenanomalie-Detektors, wobei dem Zeitreihenanomalie-Detektor als Input Zeitreihen-Daten für den Zeitpunkt t sowie für vergangene Zeitpunkte t-1 bis t-n übergeben werden, wobei die Zeitreihen-Daten zuvor durch einen Prozess der Merkmalsextraktion erzeugt wurden. Weiter umfasst das Verfahren eine Optimierung und Anpassung des Produktionsprozesses in einem Prozess zur Anpassung und Verbesserung des Produktionsprozesses mittels eines Empfehlungssystems auf Grundlage der in dem Prozess zur Verarbeitung von Zeitreihenanomalien ermittelten abnormalen Ereignisse. Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass der Prozess der Merkmalsextraktion eine Reduktion der Datenmenge des Bildes zum Zeitpunkt t und der Anomaliebewertung, eine Extraktion abnormaler Regionen aus dem Bild des Produktes und der Anomaliebewertung in Form von Bildausschnitten abnormaler Region und einen Prozess eines Ähnlichkeitsvergleiches zu Abnormen-Clustern zur Ermittlung einer Ähnlichkeit des Bildausschnittes abnormaler Regionen zu den Abnormen-Clustern umfasst, wobei ein Abnormen-Cluster ein Cluster-Zentrum pro Defektart enthält. Vorteilhaft wird durch dieses Verfahren die Möglichkeit geschaffen in ihrer Datengröße relativ große Bilder eines Produktes als Grundlage für ein Verfahren zur Optimierung des Produktionsprozesses zu verwenden, da die in dem Verfahren vorgesehene Reduktion der Datenmenge dafür sorgt, dass die zur Erkennung von Anomalien notwendigen Informationen in ausreichendem Umfang beibehalten werden, die Zeit zur Erkennung von Anomalien und auch für die nachfolgende Weiterverarbeitungen in dem Zeitreihenanomalie-Detektor vorteilhaft erheblich reduziert wird, sodass insbesondere eine durch den Produktionsprozess vorgegebene Taktung durch Anwendung dieses Verfahrens nicht negativ beeinflusst wird. Weiter vorteilhaft werden Bestandteile des Bildes, welche einem Sollzustand des Produktes entsprechen nicht weiter betrachtet, da diese für die Identifikation der aufgetretenen Anomalie, insbesondere der Art der Anomalie bzw. der Defekt-Art, nicht zwingend erforderlich ist. Weiter vorteilhaft kann durch den Prozess eines Ähnlichkeitsvergleiches die Art des Defektes zumindest aufgrund seiner Ähnlichkeit zu bereits aus der Vergangenheit bekannten Defektarten identifiziert werden und entsprechend eine Handlung zur Optimierung des Produktionsprozesses vorgenommen oder vorgeschlagen werden.
Zweckmäßig umfasst der Prozess eines Ähnlichkeitsvergleiches zu Abnormen-Clustern die Berechnung der Distanz des Bildausschnittes abnormaler Regionen zu den in einem Speicher abgespeicherten Abnormen-Clustern, wobei die Berechnung auf Basis eines neuronalen Netzwerkes erfolgt. Vorteilhaft wird hierdurch ermöglicht, eine mit der Zeit durch das immer weiter verbesserte neuronale Netzwerk verbesserte Genauigkeit der konkret vorliegenden Anomalie bzw. der aufgetretenen Defekte in dem Produkt zu identifizieren und somit eine deutlich flexiblere und dennoch kostengünstige und zuverlässige Optimierung des Produktionsprozesses zu erreichen.
Besonders bevorzugt werden die in dem Speicher gespeicherten Abnormen-Cluster durch einen Prozess einer Neuberechnung fortlaufend aktualisiert. Zweckmäßigerweise werden als Input für die Neuberechnung Bildausschnitte von abnormalen Regionen an vergangenen Zeitpunkten t-1 bis t-n verwendet, sodass für die Berechnung der Distanz bereits bekannte Abnormen-Cluster berücksichtigt werden und hierdurch die Berechnung der Distanz genauer und zuverlässiger wird.
In einer besonders bevorzugten Ausgestaltung des Verfahrens ist vorgesehen, dass der Prozess der Merkmalsextraktion einen Prozess eines Downsamplings der Bewertungszahlen für jedes Pixel des Bildes der Anomaliebewertung umfasst. In einer vorteilhaften Weiterbildung des Prozesses des Downsampling wird eine Anomaliebewertung für Bildbereiche der ursprünglichen Anomaliebewertung pro Pixel ausgegeben, wobei eine Mittelung der in dem Bildbereich liegenden Bewertungszahlen für jedes Pixel des Bildes der ursprünglichen Anomaliebewertung erfolgt. Vorteilhaft wird hierdurch ebenso die Datenmenge weiter reduziert, sodass die nachfolgende Verarbeitung in dem Zeitreihenanomalie-Detektor effizient gestaltet ist.
Zweckmäßigerweise umfassen die Zeitreihen-Daten die Ähnlichkeit des Bildausschnittes einer abnormalen Region zu einem Abnormen-Cluster, die Anomaliebewertung für Bildbereiche der ursprünglichen Anomaliebewertung pro Pixel und die Bewertungszahl für das gesamte Bild der ursprünglichen Anomaliebewertung. Vorteilhaft umfassen die Zeitreihen-Daten ausreichend Informationen zur Ermittlung der in dem Produkt aufgetretenen Defektarten, wobei die hierzu benötigte Datenmenge auf das Wesentliche reduziert wurde.
Nach einem weiteren Aspekt der Erfindung ist eine Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens geschaffen, umfassend einen visuellen Sensor und eine als Recheneinheit ausgebildete Auswerteeinheit, welche mit dem visuellen Sensor koppelbar ist. Die Vorrichtung ist dadurch gekennzeichnet, dass das erfindungsgemäße Verfahren in der Auswerteeinheit ausgeführt wird. Vorteilhaft kann das Verfahren ohne großen Aufwand auch in bereits vorhandenen Produktionsanlagen nachträglich durchgeführt und gegebenenfalls auch dauerhaft durch Festinstallation der erfindungsgemäßen Vorrichtung implementiert werden. Vorteilhaft ist hierzu lediglich ein beispielsweise als Kamera ausgebildeter visueller Sensor und eine Recheneinheit nötig, welche in der Lage ist, das erfindungsgemäße Verfahren durchzuführen.
Weitere Vorteile, Weiterbildungen und Eigenschaften der Erfindung ergeben sich aus der nachstehenden Beschreibung von zwei bevorzugten Ausführungsbeispielen sowie aus den abhängigen Ansprüchen.
Die Erfindung wird nachfolgend unter Bezugnahme auf die anliegenden Zeichnungen anhand eines Ausführungsbeispiels der Erfindung näher erläutert.

1 zeigt schematisch ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zur Optimierung eines Produktionsprozesses auf Basis visueller Informationen.
2 zeigt schematisch den Prozess zur Verarbeitung einer Bildanomalie.
3 zeigt schematisch den Prozess zur Zeitreihenanomalie - Verarbeitung.
4 zeigt schematisch den Prozess zur Anpassung und Verbesserung des Produktionsprozesses.
5 zeigt schematisch die Merkmals-Extraktion für eine Zeitreihenanalyse bei t.
6 zeigt schematisch den Ablauf des Prozesses des Ähnlichkeit-Vergleichs zu Abnormen-Clustern.
7 zeigt schematisch den Prozess der Extraktion von abnormalen Regionen.
8 zeigt schematisch den Prozess des Zeitreihenanomalie-Detektors.
9 zeigt schematisch einen Anlernprozess des Bildanomalie-Detektors.
10 zeigt schematisch einen Anlernprozess des Zeitreihenanomalie-Detektors.
11 zeigt schematisch einen Anlernprozess des Empfehlungssystems zur Prozessverbesserung.
12 zeigt ein Ausführungsbeispiel einer Vorrichtung zur Durchführung eines erfindungsgemäßen Verfahrens zur Optimierung eines Produktionsprozesses auf Basis visueller Sensorinformationen

1 zeigt schematisch ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens 56 zur Optimierung eines Produktionsprozesses in einer Übersicht. Das Verfahren umfasst dabei die Analyse von Bilddaten aus einem Bild 1 eines Produktes zum Zeitpunkt t, wobei das Bild 1 von einem visuellen Sensor 46 aufgenommen wurde. Der visuelle Sensor 46 ist ein bildgebender Sensor, d.h. die Ausgabe ist ein zweidimensionales Bild 1. Der visuelle Sensor 46 ist bevorzugt als Matrix- oder Zeilenkamera ausgebildet, welche eine Fläche erfasst. Alternativ hierzu kann der visuellen Sensor 46 jedoch auch ein CT-Gerät, eine Wärmebildkamera, ein Tiefenbildsensor oder ein weiterer Sensor sein, welcher ein Matrixbild ausgibt. Das Verfahren 56 dient dabei dem Zweck, den Produktionsprozess auf äußere oder innere Veränderungen anzupassen und über die Zeit zu optimieren. Im Ergebnis wird eine Optimierung und Anpassung 17 des Produktionsprozesses erzielt.
In einem ersten Verfahrenschritt umfasst das Verfahren 56 einen Prozess 19 zur Verarbeitung einer Bildanomalie, wobei bei diesem Prozess 19 das von dem visuellen Sensor 46 übermittelte Bild 1 des Produktes zum Zeitpunkt t in Bezug auf einen angelernten Sollzustand analysiert wird. Als „Sollzustand“ wird dabei der Produktionsablauf verstanden, in dem „gute“ Produkte produziert werden, also solche Produkte, welche zumindest keine sichtbaren Defekte aufweisen. Entsprechend spiegeln Anomalien defekte oder qualitativ minderwertige Produkte wider.
Die in dem Prozess 19 zur Verarbeitung einer Bildanomalie ermittelten Defekte beinhalten besonders bei einer Verfolgung der Entwicklung der Bildanomalien über die Zeit Informationen, welche es ermöglichen, Rückschlüsse darauf zu ziehen, was bei dem Produktionsprozess nicht optimal ist. Beispielsweise kann dies ein Teildefekt an einer Maschine in der Produktionsanlage oder dergleichen sein, welcher sich auf das äußere Erscheinungsbild des Produktes auswirkt und somit während des Prozesses 19 zur Verarbeitung einer Bildanomalie detektiert werden kann.
Im nachfolgenden Prozess 20 zur Verarbeitung von Zeitreihenanomalien werden in dem Prozess 19 zur Verarbeitung einer Bildanomalie ausgegebenen Ergebnisse in ihrer Dimensionalität, d.h. in ihrer Datenmenge, reduziert, um vorteilhaft eine schnellere Verarbeitung und Auswertung dieser Ergebnisse zu ermöglichen. Jedoch bleiben bei diesem Prozess 20 zur Bearbeitung von Zeitreihenanomalien die notwendigen relevanten Informationen über die Defekt-Art, Defekt-Position und Defekt-Größe erhalten, sodass weiterhin eine effektive Optimierung des Produktionsprozesses möglich ist.
Bei dem Prozess 20 zur Verarbeitung von Zeitreihenanomalien werden abnormale Produktionsverläufe und Ereignisse erkannt, wobei die entsprechenden Informationen an einen nachfolgenden Prozess 21 zur Anpassung und Verbesserung des Produktionsprozesses als Input weitergegeben werden. Bei diesem Prozess 21 zur Anpassung und Verbesserung des Produktionsprozesses werden Handlungsempfehlungen auf Basis vergangener, schon bekannter Ereignisse, einem Feedback und weiteren Informationen zu Maschinenparametern getroffen.
Vorteilhaft wird durch das erfindungsgemäße Verfahren 56 durch Anpassung auf äußere oder innere Veränderungen im Produktionsprozess eine Optimierung desselben erreicht und dabei entsprechend sichergestellt, dass die in den Produktionsprozess hergestellten Produkte mehrheitlich gute Produkte sind und bleiben.
2 zeigt schematisch den Prozess 19 zur Verarbeitung einer Bildanomalie. Bei dem Prozess 19 erfolgt die Verwendung des von dem visuellen Sensor 46 übermittelten Bildes 1 von dem Produkt zum Zeitpunkt t zur Detektion von Abweichungen von einem angelernten Sollzustand mittels eines Bildanomalie-Detektors 2. Diese Abweichungen werden dann in Form einer Anomaliebewertung 3 für das Gesamtbild und pro Pixel ausgegeben. Parallel hierzu wird zudem das Bild 1 von dem Produkt zum Zeitpunkt t ohne jede Verarbeitung ausgegeben. Vorteilhaft kann so auch eine nachgeschaltete manuelle Bewertung erfolgen, um das erfindungsgemäße Verfahren weiter zu optimieren.
Die Anomaliebewertung 3 für das Gesamtbild und pro Pixel wird für jeden Zeitpunkt t durch den Bildanomalie-Detektor 2 ausgegeben, wobei die Anomaliebewertung 3 einen Zahlenwert für die Gesamtbewertung umfasst, welcher angibt, wie groß die Abweichung zu einem angelernten Sollzustand insgesamt ist. Dieser Zahlenwert ist umso kleiner, je besser das Bild 1 dem angelernten Sollzustand bzw. dass durch den visuellen Sensor 46 inspizierte Produkt einem „guten“ Produkt entspricht. Entsprechend ist der Zahlenwert für die Gesamtbewertung umso größer, je mehr das Produkt von dem Sollzustand abweicht. Vorteilhaft wird ein Schwellenwert für den Zahlenwert für die Gesamtbewertung festgelegt, welcher die grobe Unterscheidung zwischen „guten“ und „schlechten“ Produkten ermöglicht. Dasselbe Prinzip wird auch für die jeweiligen Zahlenwerte für die Anomaliebewertung 3 pro Pixel angewendet, wobei die Zahlenwerte auf zwei Achsen aufgetragen werden, sodass die Bewertung pro Pixel auch als Bild ausgegeben und betrachtet werden kann. Vorteilhaft wird hierdurch eine Lokalisation der Defekt in Form einer Heatmap der pixelweisen Abweichung ermöglicht.
Der Bildanomalie-Detektor 2 basiert auf einem neuronalen Netzwerk, insbesondere eines Convolutional Neural Network (CNN). Der Bildanomalie-Detektor 2 wird mittels eines in 9 gezeigten Anlernprozesses anhand von Bildern guter Produkte angelernt und kann aufgrund dieses unüberwachten Anlernprozesses gute Produkte, also Produkte ohne Defekt, von schlechten Produkten mit Defekt unterscheiden. Der Input des Bildanomalie-Detektors 2 während eines Inspektionsprozesses ist ein Bild 1 von dem zu inspizierenden Produkt und der Output ist die Gesamtbewertung und eine Bewertung pro Pixel für das Bild 1. Der Bildanomalie-Detektor 2 ist in einer ersten bevorzugten Ausführung auf Basis eines neuronalen Netzwerkes implementiert, wobei das neuronale Netzwerk verschiedene Verfahren zur Detektion von Bildanomalien nutzt. Besonders bevorzugt wird zumindest eine der folgenden Verfahren verwendet: „PaDiM“, beschrieben in der wissenschaftlichen Veröffentlichung von Thomas Defard et al., „PaDiM: a Patch Distribution Modeling Framework for Anomaly Detection and Localization“, arXiv: 2011.08785v1 [cs.CV], 17 Nov 2020, „Patchcore“, beschrieben in der wissenschaftlichen Veröffentlichung von Karsten Roth et al., „Towards Total Recall in Industrial Anomaly Detection“, arXiv:2106.08265v1 [cs.CV], 15 Jun 2021 und „DRÆM“, beschrieben in der wissenschaftlichen Veröffentlichung von Vitjan Zavrtanik et. al, „DRÆM - A discriminatively trained reconstruction embedding for surface anomaly detection“, arXiv:2108.0761 0v2 [cs.CV], 27 Sep 2021.
3 zeigt schematisch den Prozess 20 zur Verarbeitung von Zeitreihenanomalien. Der Prozess 20 verwendet den Output des Prozesses 19 zur Verarbeitung einer Bildanomalie, also die Anomaliebewertung 3 des Gesamtbildes und pro Pixel als Input, wobei bei diesem Prozess 20 zur Verarbeitung von Zeitreihenanomalien eine Merkmalsextraktion 4 zum Zeitpunkt t erfolgt und zu Zeitreihen-Daten 5 weiterverarbeitet werden. Bei diesem Prozess 20 werden mittels eines Zeitreihenanomalie-Detektors 6 abnormale Ereignisse 7 detektiert, welche wiederum als Output dem nachfolgenden Prozess 21 (vgl. 1) zur Anpassung und Verbesserung des Produktionsprozesses übergeben werden.
Die Merkmalsextraktion 4 dient der Zeitreihenanalyse und ist ein zentraler Bestandteil des erfindungsgemäßen Verfahrens und ermöglicht besonders effizient die zeitliche Analyse der mit der Zeit erfassten Bilder 1, deren Bewertung und der zeitlichen Entwicklung der erfassten Defekte. Bei der Merkmalsextraktion 4 wird das Bild 1 selbst und der Output des Bildanomalie-Detektors 2 verarbeitet, sodass relevante Informationen über in dem Bild als erkennbar aufgetretenen Defekte und der jeweiligen Defekt-Art, Defekt-Position und Defekt-Größe extrahiert werden. Während des Schrittes der Merkmalsextraktion 4 wird immer die Dimensionalität, also die Datenmenge auf einen Bruchteil der Größe der Inputdaten, also des Bildes 1 reduziert. Beispielsweise ergibt sich bei einem typischen Farbbild mit einer Auflösung von 640 mal 640 Pixeln und drei Farbebenen eine Dimensionalität bzw. Datengröße von 1 228 800 Datenpunkten. Des Weiteren beträgt die Dimensionalität des Outputs, also die ausgegebene Anomaliebewertung 3 des Bildanomalie-Detektors 2 für ein solches Farbbild 640 mal 640 für die Bewertung pro Pixel und einen weiteren Datenpunkt für die Gesamtbewertung. In Summe ergibt sich so eine Dimensionalität von 1 638 401 Datenpunkten. Da diese Anzahl an Datenpunkten für jedes auszuwertende Bild anfällt, ist die Auswertung über die Zeit entsprechend nicht mehr so effizient möglich, insbesondere innerhalb der im Produktionsprozess vorgegebenen Taktzeiten. Vorteilhaft enthalten die durch die Merkmalsextraktion 4 erhaltenen Zeitreihen-Daten 5 weiterhin alle relevanten Informationen für das Bild 1 zum Zeitpunkt t, wobei die Dimension der Daten um ein Vielfaches geringer, typischerweise zwischen dem 2000- bis 10.000-fachen geringer als die ursprünglichen Daten der Anomaliebewertung 3 und des Bildes 1 ist.
Neben der Übergabe der zum Zeitpunkt t erhaltenen Zeitreihen-Daten 5 an den Zeitreihenanomalie-Detektor 6, werden die über die Zeit aufgenommenen Zeitreihen-Daten 5 in einem Zeitreihen-Daten-Speicher 18 gespeichert. Hierdurch wird es vorteilhaft möglich, für ein ausgewähltes Zeitfenster die in diesem Zeitfenster aufgenommenen Zeitreihen-Daten 5 aufzurufen und beispielsweise auf Muster zu untersuchen.
Der Zeitreihenanomalie-Detektor 6 verwendet die aktuellen Zeitreihen-Daten 5 zum Zeitpunkt t sowie die zuvor bereits aufgenommenen Zeitreihendaten aus dem Zeitreihen-Daten-Speicher 18 als Input. Der Zeitreihenanomalie-Detektor 6 analysiert die Zeitreihen-Daten 5 und gegebenenfalls in einem Gesamtzeitfenster liegende weitere Zeitreihen-Daten auf abnormale und periodische Strukturen und gibt erkannte abnormale Zeitfenster und gegebenenfalls die Periodizität von abnormalen Ereignissen 7 aus. Unter abnormalen Ereignissen 7 werden Zeit- und Datenpunkte verstanden, die nicht einem normalen Zustand entsprechen. Das heisst, wenn die Zeitreihen-Daten 5 eines analysierten Zeitfensters von dem üblichen Verlauf der normalen Produktion abweichen, gilt dieses Zeitfenster und die als abweichend erkannten Datenpunkte als abnormal bzw. als ein Zeitfenster, in dem abnormale Ereignisse 7 aufgetreten sind. Abnormale Ereignisse 7 beinhalten dabei sowohl Muster als auch Trends, welche auf den Verlauf der zukünftig auftretenden abnormaler Ereignisse schließen lassen. Dabei können auch weitere Arten der Analyse, beispielsweise fortlaufende Anomalie-Detektion mittels Long shortterm memory (LSTM) Netzwerken erfolgen. Vorteilhaft wäre hierzu entsprechend keine Zeitfensterauswahl nötig.
4 zeigt schematisch den Prozess 21 zur Anpassung und Verbesserung des Produktionsprozesses, welcher den Output des vorausgehenden Prozesses 20 zur Verarbeitung von Zeitreihenanomalien als Input verwendet und auf Basis von Feedback 12 mittels eines Empfehlungssystems 8 zur Prozessverbesserung Handlungsempfehlungen 9 zur Prozessverbesserung trifft, wobei der Produktionsprozess durch die Umsetzung der Handlungsempfehlungen 9 angepasst oder verbessert wird, sodass vorteilhaft ein gleichbleibender oder optimierter Produktionsprozess erzielt wird.
Das Empfehlungssystem 8 zur Prozessverbesserung gibt vor einem in 11 gezeigten Anlernprozess 45 lediglich die in dem Zeitreihenanomalie-Detektor 6 ausgegebenen abnormalen Ereignisse 7 über eine Benutzeroberfläche 15 an einen Benutzer 16 weiter. Die Benutzeroberfläche 15 dient dem Benutzer 16 allgemein als Schnittstelle zur Informationen für die ausgegebenen Handlungsempfehlungen 9, der Übermittlung von Feedback 12, sowie für die Steuerung der Einstellungen und der notwendigen Anlernprozesse.
Nachdem der Anlernprozess 45 durchgeführt wurde, wird durch das Empfehlungssystem 8 auf Basis der angelernten Informationen eine Handlungsempfehlung 9 zur Prozessverbesserung ausgegeben. Der hierbei verwendete Algorithmus umfasst einen Deep-Learning Klassifikator, der die abnormalen Ereignisse 7 als Input verwendet und die Wahrscheinlichkeit berechnet, mit welcher der Input einer bereits bekannten Handlung 11, welche von dem Benutzer 16 oder einer Steuerungseinheit 10 durchgeführt wird, entspricht und ob die Periodizität auf die in dem Anlernprozess 45 benutzten Informationen 14 zu der Produktions-Maschine bzw. dem Produktionsprozess (siehe 11) passen.
Die Handlungsempfehlung 9 zur Prozessverbesserung umfasst die visuell aufbereitete Form des abnormalen Ereignisses 7, eine für Menschen lesbare Handlungsempfehlung für den Benutzer 16 sowie eine maschinenlesbare Form der Handlungsempfehlung. Die Handlungsempfehlung 9 umfasst dabei insbesondere Handlungen, welche bei ähnlichen oder vergleichbaren abnormalen Ereignissen 7 durchgeführt wurden.
Die Handlung 11 umfasst insbesondere die Anpassung des Produktionsprozesses 49. Die Anpassung kann beispielsweise die Nachjustierung eines Maschinen-Parameters, die Reinigung oder der Wechsel einer Maschinen-Komponente sein. Allgemein werden als Anpassungen solcher Handlungen 11 verstanden, die nötig sind, um den Produktions-Prozess 49 in einen solchen Zustand zu versetzen, in dem gute Produkte produziert werden. Weiter umfassen die Handlungen 11 auch Anpassungen zur Optimierung des Produktionsprozesses 49. Darunter kann beispielsweise die Anpassung eines Maschinen-Parameters (beispielsweise die Drehzahl eines Motors oder die Presskraft einer Maschine etc.) fallen, welche die Qualität der produzierten Produkte verbessert.
Zur stetigen Verbesserung der durch das Empfehlungssystem 8 empfohlenen Handlungen 11 wird ein Feedback 12 zur durchgeführten Handlung 11 durch den Benutzer 16 oder die Steuerungseinheit 10 an eine in 12 gezeigte Auswerteeinheit 48 zurückgemeldet, welche dieses Feedback 12 in einem Feedback-Speicher 13 speichert. In dem Feedback-Speicher 13 werden zudem die zugehörige Handlungsempfehlung 9 und das erkannte abnormale Ereignis 7 abgespeichert. Vorteilhaft werden so relevante Informationen zum Verbessern des Funktionsprozesses über die Zeit angesammelt.
5 zeigt schematisch den Prozess der Merkmalsextraktion 4 für die Zeitreihen-Analyse zum Zeitpunkt t. Das Bild 1 von dem Produkt zum Zeitpunkt t als auch die Daten der Anomaliebewertung 3 für das Gesamtbild und pro Pixel zum Zeitpunkt t werden in einem ersten Schritt in einem Prozess der Extraktion 31 von abnormalen Regionen verarbeitet. Bei dem Prozess der Extraktion 31 wird die Anomaliebewertung 3 pro Pixel derart verarbeitet, dass alle Zahlenwerte pro Pixel oberhalb eines vorher festgelegten Schwellenwertes zu einer definierten Region, welche die Abweichungen enthält, zusammengefasst werden. Diese Region wird entsprechend extrahiert bzw. ausgeschnitten, sodass Bildausschnitte 32 von abnormalen Regionen zum Zeitpunkt t ausgegeben werden, welche nur Teile des ursprünglichen Bildes 1 umfassen und somit deutlich kleiner in ihrer Größe als das ursprüngliche Bild 1 sind. Die zur nachfolgenden Analyse oder Identifikation der Defekte relevanten Informationen in der abweichenden Region bleiben dennoch erhalten.
Nachfolgend werden die Bildausschnitte 32 in einem Prozess zum Ähnlichkeits-Vergleich 33 zu Abnormen-Clustern nochmals weiter reduziert bzw. deren Dimensionalität weiter stark verkleinert. In dem Prozess zum Ähnlichkeits-Vergleich 33 werden die erfassten Bildausschnitte 32 der abnormalen Regionen dazu verwendet, um die Distanz oder auch die Ähnlichkeit 34 zu einem Abnormen-Cluster, welches ein Cluster-Zentrum pro Defekt-Art beinhaltet, zu berechnen. Die Ähnlichkeit 34 drückt sich in Form von Zahlenwerten aus, welche dieselbe Anzahl besitzen wie die Anzahl an Cluster-Zentren. Die Ähnlichkeit 34 wird dann als Teil der Zeitreihen-Daten 5 ausgegeben. Entsprechend lassen sich so die Information über die Defekt-Art, die in den Bildausschnitten 32 abnormaler Region enthalten sind, als einzelne Zahlenwerte ausdrücken. Der Output des Prozesses zum Ähnlichkeits-Vergleich 33 zu Abnormen-Clustern sind nur wenige Zahlenwerte als Maß für Defekt-Arten. Pro Cluster-Zentrum bzw. Defekt-Art gibt es einen Zahlenwert als Ähnlichkeitsmaß.
Parallel zu der Ermittlung der Ähnlichkeit 34 zu einem Abnormen-Cluster, werden die Daten der Anomaliebewertung 3 pro Pixel zum Zeitpunkt t als Input in einem Prozess eines Downsampling 30 in ihrer Größe weiter verringert, wobei anstelle eines Zahlenwertes für jedes Pixel nunmehr Zahlenwerte für ganze Bildbereiche erzeugt werden. Vorteilhaft wird die Größe der zu verarbeitenden Daten weiter stark verringert, wobei die Information, in welchem Teil oder in welchen Teilen eines Produktes der Defekt auftritt, vorteilhaft erhalten bleibt. Der Output des Prozesses des Downsampling 30 sind wiederum wenige Zahlenwerte mit der ausreichend genauen Information über Defekt-Position und Defekt-Größe.
Der Output des Prozesses des Downsampling 30 ist eine mit wenigen Zahlenwerten mit der Information über Defekt-Position und Defekt-Größe ausgedrückte Anomaliebewertung 29 für Bildbereiche zum Zeitpunkt t. Diese Anomaliebewertungen 29 für Bildbereiche sind mehrere Zahlenwerte für je einen Bildbereich, welche angeben, wie groß die Abweichung des jeweiligen Bereichs zum angelernten Sollzustand des Bildanomalie-Detektors 2 auf Basis eines während des in 9 gezeigten Anlernprozesses Bildanomalie-Detektors 2 verwendeten Datenspeichers 23, in dem Bilder, die den Sollzustand der Produkte widerspiegeln, gespeichert sind. Diese Anomaliebewertung 29 für Bildbereiche zum Zeitpunkt t wird als ein weiterer Teil der Zeitreihen-Daten 5 ausgegeben. Parallel wird schließlich die in der Anomaliebewertung 3 enthaltene Anomaliebewertung 28 für das Gesamtbild zum Zeitpunkt t ebenso als Teil der Zeitreihen-Daten 5 ausgegeben. Die Anomaliebewertung 28 für das Gesamtbild ist ein einziger Zahlenwert für jedes ausgewertete Bild 1, welcher angibt, wie groß die Abweichung zum angelernten Sollzustand des Bildanomalie-Detektors 2 auf Basis des während des in 9 gezeigten Anlernprozesses des Bildanomalie-Detektors 2 verwendeten Datenspeichers 23 ist.
6 zeigt schematisch den Ablauf des Prozesses des Ähnlichkeit-Vergleichs 33 zu Abnormen-Clustern. Als Input für den Ähnlichkeit-Vergleich 33 werden die Bildausschnitte 32 der abnormalen Regionen zunächst in einem Prozess der Berechnung 41 der Distanz zu Abnormen-Clustern verarbeitet. Bei diesem Prozess der Berechnung 41 werden die Bildausschnitte 32 der abnormalen Regionen über ein CNN verarbeitet, wobei mithilfe eines klassischen Machine Learning Clusterings die Distanzen des verarbeiteten Bildausschnitt 32 zu den angelernten Clustern berechnet werden. Der Output dieses Prozesses der Berechnung 41 umfasst die Abstände zu den Cluster-Zentren bzw. die Ähnlichkeit 34 der Regionen zu Abnormen-Clustern. Aufgrund dieses Outputs kann dann entsprechend beurteilt werden, um welche Defekt-Art es sich mit welcher Wahrscheinlichkeit in dem entsprechenden Bildausschnitt 32 der abnormalen Regionen handelt.
Der Prozess des Ähnlichkeit-Vergleichs 33 beinhaltet auch die regelmäßige Neuberechnung 39 von Abnormen-Clustern auf Basis eines Bildausschnitt-Speichers 38. Der Bildausschnitt-Speicher 38 beinhaltet die vergangenen vor dem aktuellen Zeitpunkt t ausgegebenen Bildausschnitte 32 der abnormalen Region. Die regelmäßige Neuberechnung 39 basiert auf einem CNN in Kombination mit einem klassischen Machine Learning Algorithmus. Die Ergebnisse der regelmäßigen Neuberechnung 39 der Abnormen-Cluster werden in einem zugehörigen Speicher 40 abgelegt, sodass der Speicher 40 Cluster und Gewichte enthält, welche für die Berechnung 41 der Distanz zu Abnormen-Clustern benötigt werden. Der Inhalt des Speichers 40 wird dabei durch die regelmäßige Neuberechnung 39 jeweils überschrieben bzw. aktualisiert und zu jedem Zeitpunkt t als Input für die Berechnung 41 übergeben.
7 zeigt schematisch den Prozess der Extraktion 31 von abnormalen Regionen. Als Input für die Extraktion 31 von abnormalen Regionen wird die Anomaliebewertung 3 pro Pixel, also die Heatmap übergeben, wobei in einem ersten Prozess eine Bestimmung 35 von Anomalieregionen auf Basis eines Schwellenwerts erfolgt. Bei dieser Bestimmung 35 werden diejenigen Regionen isoliert, welche oberhalb eines zuvor festgelegten Schwellenwertes liegen. Als Output der Bestimmung 35 werden entsprechend die Anomalieregionen 36 zum Zeitpunkt t ausgegeben. Nachfolgend werden diese Anomalieregionen 36 einem weiteren Prozess der Extraktion 37 eines Bildausschnittes 32 übergeben, bei dem die entsprechenden Anomalieregion 36 aus dem Bild 1 ausgeschnitten bzw. extrahiert und als Bildausschnitt 32 von abnormalen Regionen zum Zeitpunkt t ausgegeben werden.
8 zeigt schematisch den Aufbau des Prozesses des Zeitreihenanomalie-Detektors 6. Als ersten Input für den Zeitreihenanomalie-Detektor 6 werden die Zeitreihen-Daten 5 zum Zeitpunkt t übergeben. Als zweiten Input werden die in dem Zeitreihen-Daten-Speicher 18 hinterlegten vergangenen Zeitreihen-Daten übergeben. In einem ersten Schritt werden die aktuellen Zeitreihen-Daten 5 zum Zeitpunkt t mit einem Teil der vergangenen Zeitreihen-Daten aus dem Zeitreihen-Daten-Speicher 18 in einem Prozess der Zeitfensterauswahl 57 zum Zwecke der Analyse zu einem Zeitreihen-Daten-Fenster 58 der Datenpunkte für t-x bis t zusammengefügt. Dabei kann der Zeitpunkt x, bis zu welchem das Zeitreihen-Daten-Fenster 58 relativ zu dem Zeitpunkt t zurückreicht, frei gewählt werden.
Das Zeitreihen-Daten-Fenster 58 wird zum einen als Input für den Prozess einer Analyse 59 auf periodische Strukturen und zum anderen als Input für einen Prozess der Anomaliedetektion 60 für das ausgewählte Zeitfenster verwendet. Bei der Analyse 59 wird das Zeitfenster auf periodische Strukturen untersucht. Dabei deutet eine klar dominante periodische Struktur in den Zeitreihen-Daten 5 bzw. in dem ausgewählten Zeitreihen-Daten-Fenster 58 auf einen Produktions-Prozess hin, bei dem bestimmte Defekt-Arten, Defekt-Positionen und Defekt-Größen periodisch immer wieder auftreten, was auch Rückschlüsse auf die Ursache dieser Defekte bzw. abnormalen Ereignisse 7 zulässt.
Bei der Anomaliedetektion 60 für das ausgewählte Zeitfenster wird das Zeitreihen-Daten-Fenster 58 auf Anomalien im Vergleich zu einem Sollzustand, der in einem in 10 gezeigten Anlernprozess 44 angelernt wurde, analysiert. Alle dabei festgestellten Abweichungen zu diesem Sollzustand sind Veränderungen, die gegebenenfalls auch Muster und Trends enthalten können, die wiederum auf einen nicht optimalen Produktions-Prozess hindeuten. Als Output des Zeitreihenanomalie-Detektors 6 werden abnormale Ereignisse 7 ausgegeben.
9 zeigt schematisch einen Anlernprozess 43 des Bildanomalie-Detektors 2. Bei dem Anlernprozess 43 werden durch den visuellen Sensor 46 Bilder 1 von guten Produkten, welche dem Sollzustand der Produktion entsprechen, durch Aufzeichnung 22 aufgenommen und in einem Datenspeicher 23 für die Bilder guter Produkten gespeichert und anschließend in einem Prozess des Trainings 24 des Bildanomalie-Detektors 2 verwendet. Bei dem Training 24 des Bildanomalie-Detektors 2 wird der Bildanomalie-Detektor 2 anhand der in dem Datenspeicher 23 hinterlegten Bilder 1 von guten Produkten trainiert, sodass der Bildanomalie-Detektor 2 vorteilhaft nach dem Anlernprozess 43 in die Lage versetzt wird, Abweichungen zu dem angelernten Sollzustand selbstständig zu erkennen.
10 zeigt schematisch einen Anlernprozess 44 des Zeitreihenanomalie-Detektors 6. Bei dem Anlernprozess 44 werden Daten während der Produktion mit dem zuvor bereits angelernten Bildanomalie-Detektor 2 aufgezeichnet. Konkret werden in einem Datenspeicher 25 sowohl ein durch den visuellen Sensor 46 aufgezeichnetes Bild 1 zum Zeitpunkt t als auch die durch den Prozess 19 zur Verarbeitung einer Bildanomalie und der Merkmalsextraktion 4 zum Zeitpunkt t erzeugten Zeitreihen-Daten 5 zum Zeitpunkt t zunächst abgespeichert. Anschließend werden sowohl das aufgezeichnete Bild 1 als auch die Zeitreihen-Daten 5 aus dem Datenspeicher 25 in einem anschließenden Prozess der Validierung 26 von Zeitreihen ohne abnormale Ereignisse über den Benutzer 16 manuell validiert, um sicherzustellen, dass in den Daten keine abnormale Ereignisse 7 enthalten sind. Aufgrund dieser so manuell validierten Daten, welche nur noch Zeitreihen-Daten 5 normaler Vorkommnisse 61 enthalten, wird ein Training 27 des Zeitreihenanomalie-Detektors 6 ausgeführt. Die Zeitreihen-Daten normaler Vorkommnisse 61 schwanken in der Regel um einen gewissen Wert bzw. gewisse Werte. Einzelne schlechte Produkte, welche auch in einem guten Produktions-Prozess auftauchen, können sporadisch auftreten und stellen keine Anomalie dar. Die normalen Vorkommnisse enthalten insbesondere keine Muster und Trends, die auf einen schlechten Produktions-Prozess hindeuten. Nach der Durchführung des Anlernprozesses 44 ist der Zeitreihenanomalie-Detektor 6 in der Lage, Abweichungen zu dem angelernten Sollzustand zu erkennen.
11 zeigt schematisch einen Anlernprozess 45 des Empfehlungssystems 8 zur Prozessverbesserung. Als optionaler Input für den Anlernprozess 45 werden Informationen 14 zu der Produktions-Maschine bzw. dem Produktionsprozess in dem Prozess 21 zur Anpassung und Verbesserung des Produktionsprozesses zu Grundinformationen für das Empfehlungssystem 8 umgewandelt, wobei diese Grundinformationen gemeinsam mit in dem Feedback-Speicher 13 abgespeicherten Handlungsempfehlungen 9 in einem Prozess zum Training 42 des Empfehlungssystems 8 verwendet werden, um das Empfehlungssystem 8 die Lage zu versetzen, passende Empfehlungen zur Prozessverbesserung auszugeben.
Die Informationen 14 zu der Produktions-Maschine bzw. dem Produktionsprozess umfassen beispielsweise Informationen über die Anzahl an Pressformen, Druckköpfen, Haltevorrichtung etc. oder auch die konkrete Taktung der Produktion. Diese Information dienen dem Empfehlungssystem 8 als erweiterte Datengrundlage zur verbesserten Erstellung von Empfehlungen 9. Beispielsweise kann bei einer Anzahl von 35 Druckköpfen in einem Produktionsprozess und einer erkannten Periodizität von 35 abnormalen Ereignissen 7 die Handlungsempfehlung 9 gegeben werden, dass die Druckköpfe kontrolliert und gegebenenfalls ausgetauscht werden sollten.
12 zeigt ein Ausführungsbeispiel einer Vorrichtung 62 zur Durchführung eines erfindungsgemäßen Verfahrens zur Optimierung eines Produktionsprozesses auf Basis visueller Sensorinformationen. Die Vorrichtung 62 umfasst eine Steuerungseinheit 10, welche den Produktions-Prozess 49, einen Nachfolge-Prozess 54 sowie eine Fördereinrichtung 55 zur Beförderung von Produkten 50 vor der Inspektion, des Produktes 51 während einer Inspektion und der Produkte 52 nach der Inspektion steuert. Der Produktions-Prozess 49 beschreibt allgemein den Prozess der Produktfertigung, wobei alle Schritte, die das Produkt 50 innerhalb der Produktion bis zu der Inspektion durch die visuellen Sensor 46 durchläuft zu dem Produktions-Prozess 49 gehört. Unter dem Nachfolge-Prozess 54 wird ein Prozess verstanden, indem durch die Steuerungseinheit 10 aufgrund eines Inspektionsergebnisses 53 defekte Produkte aussortiert oder nachbearbeitet werden, insbesondere aufgrund einer entsprechenden Handlungsempfehlung 9 durch das Empfehlungssystem 8. Das Inspektionsergebnis 53 ist in die beiden Kategorien „gut“ oder „schlecht“ unterteilt.
Die Vorrichtung 62 umfasst neben dem visuellen Sensor 46 zur Inspektion eines Produktes 51 vorzugsweise zumindest ein Leuchtmittel 47 zur Beleuchtung des durch den visuellen Sensor 46 zu inspizierenden Produktes 51. Hierdurch wird vorteilhaft eine gute visuelle Erfassung des Produktes 51 sichergestellt. Vorteilhaft wird hierdurch auch erreicht, dass Veränderung der äußeren Lichtverhältnisse wenig oder keinen Einfluss auf das durch den visuellen Sensor 46 aufgenommene Bild 1 hat.
Zwischen dem visuellen Sensor 46 und der Steuerungseinheit 10 ist eine Auswerteeinheit 48 angeordnet, wobei in der Auswerteeinheit 48 das erfindungsgemäße Verfahren durchgeführt wird. Die Auswerteeinheit 48 ist allgemein als eine Recheneinheit ausgebildet, wobei die Auswerteeinheit 48 in einer ersten bevorzugten Ausführung in dem visuellen Sensor 46 integriert sein kann. In den meisten Fällen ist die Auswerteeinheit 48 als Computer, insbesondere als ein Industrie-PC ausgebildet. Sowohl die Integration der Auswerteeinheit 48 in dem visuellen Sensor 46 als auch die Ausbildung der Auswerteeinheit 48 als externer Computer haben den Vorteil, dass in der Regel kein zusätzlicher Computer zwingend benötigt wird oder zumindest nur wenig Platz einnimmt und so eine leichte Integration der Vorrichtung 62 in einem bereits vorhandenen Produktions-Prozess 49 möglich ist.

Claims

Verfahren zur Optimierung eines Produktionsprozesses (49) auf Basis visueller Sensorinformationen, umfassend Aufnahme eines Bildes (1) eines Produktes (51) zu einem Zeitpunkt t mittels eines visuellen Sensors (46), Verarbeitung des Bildes (1) in einem Prozess (19) zur Bildanomalie-Verarbeitung mittels eines Bildanomalie-Detektors (2) und Ermittlung einer Anomaliebewertung (3), wobei die Anomaliebewertung (3) Bewertungszahlen für jedes Pixel des Bildes (1) und eine Bewertungszahl (28) für das gesamte Bild (1) umfasst, Weiterverarbeitung des Bildes (1) und der in dem Prozess (19) zur Bildanomalie-Verarbeitung ermittelten Anomaliebewertung (3) in einem Prozess (20) zur Verarbeitung von Zeitreihenanomalien zur Ermittlung abnormaler Ereignisse (7) mittels eines Zeitreihenanomalie-Detektors (6), wobei dem Zeitreihenanomalie-Detektor (6) als Input Zeitreihen-Daten (5) für den Zeitpunkt t sowie für vergangene Zeitpunkte t-1 bis t-n übergeben werden, wobei die Zeitreihen-Daten (5) durch einen Prozess der Merkmalsextraktion (4) erzeugt wurden, und Optimierung und Anpassung des Produktionsprozesses in einem Prozess (21) zur Anpassung und Verbesserung des Produktionsprozesses (49) mittels eines Empfehlungssystems (8) auf Grundlage der in dem Prozess (20) zur Verarbeitung von Zeitreihenanomalien ermittelten abnormalen Ereignisse (7), dadurch gekennzeichnet, dass der Prozess der Merkmalsextraktion (4) eine Reduktion der Datenmenge des Bildes (1) zum Zeitpunkt t und der Anomaliebewertung (3), eine Extraktion (31) abnormaler Regionen aus dem Bild (1) des Produktes (51) und der Anomaliebewertung (3) in Form von Bildausschnitten (32) abnormaler Regionen und einen Prozess eines Ähnlichkeitsvergleiches (33) zu Abnormen-Clustern zur Ermittlung einer Ähnlichkeit (34) des Bildausschnittes (32) abnormaler Regionen zu den Abnormen-Clustern umfasst, wobei ein Abnormen-Cluster ein Cluster-Zentrum pro Defektart enthält.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Prozess eines Ähnlichkeitsvergleiches (33) zu Abnormen-Clustern die Berechnung der Distanz des Bildausschnittes (32) abnormaler Regionen zu den in einem Speicher (40) abgespeicherten Abnormen-Clustern umfasst, wobei die Berechnung auf Basis eines neuronalen Netzwerkes erfolgt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die in dem Speicher (4) gespeicherten Abnormen-Cluster durch einen Prozess einer Neuberechnung (39) aktualisiert werden.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Input für die Neuberechnung (39) Bildausschnitte (32) abnormaler Regionen für vergangene Zeitpunkte t-1 bis t-n verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Prozess der Merkmalsextraktion (4) einen Prozess eines Downsamplings (30) der Bewertungszahlen für jedes Pixel des Bildes (1) der Anomaliebewertung (3) umfasst.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Prozess des Downsamplings (30) eine Anomaliebewertung (29) für Bildbereiche der ursprünglichen Anomaliebewertung (3) pro Pixel ausgibt, wobei eine Mittelung der in dem Bildbereich liegenden Bewertungszahlen für jedes Pixel des Bildes (1) der ursprünglichen Anomaliebewertung (3) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, soweit auf Anspruch 2 rückbezogen, dadurch gekennzeichnet, dass die Zeitreihen-Daten (5) die Ähnlichkeit (34) des Bildausschnittes (32) einer abnormalen Region zu einem Abnormen-Cluster, die Anomaliebewertung (29) für Bildbereiche der ursprünglichen Anomaliebewertung (3) pro Pixel und die Bewertungszahl (28) für das gesamte Bild (1) der Anomaliebewertung (3) umfasst.
Vorrichtung zur Durchführung eines Verfahrens gemäß einem der vorhergehenden Ansprüche, umfassend einen visuellen Sensor (49), und eine als Recheneinheit ausgebildete Auswerteeinheit (48), welche mit dem visuellen Sensor (49) koppelbar ist, dadurch gekennzeichnet, dass das Verfahren nach einem der vorhergehenden Ansprüche in der Auswerteeinheit ausgeführt wird.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass der visuelle Sensor (49) als bildgebender Sensor ausgebildet.
Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass der visuelle Sensor (49) als Matrix- oder Zeilenkamera, CT- Gerät, Wärmebildkamera oder Tiefenbildsensor ausbildet ist.