-
Stand der Technik
-
Die vorliegende Offenbarung bezieht sich auf Verfahren zum Trainieren eines neuronalen Netzwerks zum Ermitteln eines Merkmalsvektors, der den Abnutzungszustand einer Vorrichtung repräsentiert.
-
Für den effizienten und zuverlässigen Betrieb von technischen Systemen, die ein oder mehrere Vorrichtungen aufweisen, wie z.B. eine Produktionslinie, ist es wünschenswert, die Abnutzung der ein oder mehreren Vorrichtungen zu überwachen, um beispielsweise Komponenten rechtzeitig, aber auch nicht verfrüht, auszutauschen. Ein vielversprechender Ansatz ist der Einsatz von künstlicher Intelligenz. Das Trainieren von entsprechenden maschinellen Lernmodellen erfordert jedoch oftmals den Einsatz von Expertenwissen, beispielsweise müssen Trainingsdaten mit Labels versehen werden, was einen hohen Aufwand bedeutet.
-
Aus KLEIN, Patrick; WEINGARZ, Niklas; BERGMANN, Ralph: Using Expert Knowledge for Masking Irrelevant Data Streams in Siamese Networks for the Detection and Prediction of Faults. In: 2021 International Joint Conference on Neural Networks (IJCNN). IEEE, 2021. S. 1-10 ist ein Verfahren zum Überwachen von Datenströmen in einem Produktionssystem bekannt.
-
Es sind deshalb effiziente Ansätze zum Trainieren maschineller Lernmodelle für die Überwachung der Abnutzung von Vorrichtungen wünschenswert.
-
Offenbarung der Erfindung
-
Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Trainieren eines neuronalen Netzwerks zum Ermitteln eines Merkmalsvektors, der den Abnutzungszustand einer Vorrichtung repräsentiert, bereitgestellt, aufweisend Erfassen, für jeden Zeitpunkt einer Folge von Zeitpunkten, eines zu dem Zeitpunkt gehörenden Sensordatenelements, das Informationen über einen Zustand der Vorrichtung zu dem Zeitpunkt oder Informationen über einen Zustand eines zu dem Zeitpunkt von der Vorrichtung erzeugten Produkts enthält, und das Bilden von Paaren der Sensordatenelemente, wobei jedes Paar ein erstes Sensordatenelement der Sensordatenelemente, das zu einem ersten Zeitpunkt der Folge von Zeitpunkten gehört, und ein zweites Sensordatenelement der Sensordatenelemente, das zu einem zweiten Zeitpunkt der Folge von Zeitpunkten gehört, aufweist. Das Verfahren weist außerdem, für jedes Paar, das Ermitteln der Zeitdifferenz zwischen dem Zeitpunkt, zu dem das erste Sensordatenelement gehört, und dem Zeitpunkt, zu dem das zweite Sensordatenelement gehört, das Verarbeiten des ersten Sensordatenelements durch ein neuronales Netzwerk zu einem ersten Merkmalsvektor, das Verarbeiten des zweiten Sensordatenelements durch das neuronale Netzwerk zu einem zweiten Merkmalsvektor und das Verarbeiten des ersten Merkmalsvektors zusammen mit dem zweiten Merkmalsvektor durch ein Regressionsnetzwerk zum Schätzen der Zeitdifferenz zwischen dem Zeitpunkt, zu dem das erste Sensordatenelement gehört, und dem Zeitpunkt, zu dem das zweite Sensordatenelement gehört, aus dem ersten Merkmalsvektor und dem zweiten Merkmalsvektor auf. Das Verfahren weist das Anpassen des neuronalen Netzwerks und des Regressionsnetzwerks zum Verringern eines Verlusts, der desto größer ist, je größer die Unterschiede zwischen den ermittelten Zeitdifferenzen und den geschätzten Zeitdifferenzen der Paare sind, auf.
-
Durch das gemeinsame Training des neuronalen Netzwerks und des Regressionsnetzwerks wird erreicht, dass die Ausgabe des neuronalen Netzwerks (die als Merkmalsvektor angesehen werden kann) Informationen über die Abnutzung der Vorrichtung (die als tatsächliches Alter der Vorrichtung angesehen werden kann) enthält, da der Verlust, der zum Training ermittelt wird, es bestraft, wenn das Regressionsnetzwerk das relative Alter (Zeitdifferenz der Sensordatenelemente) nicht korrekt schätzt. So wird das Training eines neuronalen Netzwerks ermöglicht, das zur Schätzung der Abnutzung einer Vorrichtung (oder auch eines ganzen Systems aus Vorrichtungen) verwendet werden kann. Dies wird erreicht, ohne dass das neuronale Netzwerk vortrainiert werden muss oder ein Experte Trainingsdaten mit Labels versehen muss.
-
Ausführungsbeispiel 2 ist das Verfahren nach Ausführungsbeispiel 1, aufweisend Auswählen, für jedes mindestens mancher der Paare, eines Sensordatenelements der Sensordatenelemente, das zu einem Zeitpunkt gehört, der zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt liegt, wobei der Verlust desto größer ist, je größer die Abweichung zwischen
- • der Summe der Zeitdifferenz, die das Regressionsnetzwerk für das erste Sensordatenelement und ausgewählte Sensordatenelement (also für das Paar aus erstem und ausgewähltem Sensordatenelement) schätzt, und der Zeitdifferenz, die das Regressionsnetzwerk für das ausgewählte Sensordatenelement und zweite Sensordatenelement schätzt (also für das Paar aus ausgewähltem und zweitem Sensordatenelement), und
- • der für das Paar von dem Regressionsnetzwerk geschätzten Zeitdifferenz
ist.
-
Die neuronale Netzwerke werden also so trainiert, dass sie den zeitlichen Zusammenhang zwischen den Sensordatenelementen respektieren. Es könne für viele solcher Paare solche Zwischenpunkte ausgewählt werden und entsprechend im Verlust berücksichtigt werden. Dies gewährleistet konsistente Schätzungen des Regressionsnetzwerks und auch in Hinblick auf die Abnutzung, die sie repräsentieren, konsistente Merkmalsvektoren, die durch das trainierte neuronale Netzwerk erzeugt werden. Im obigen Beispiel ist beispielsweise der erste Zeitpunkt vor dem zweiten Zeitpunkt und der ausgewählte Zeitpunkt liegt zwischen den beiden Zeitpunkten.
-
Es sollte beachtet werden, dass in den obigen Formulierungen, dass der Verlust „desto größer ist, je höher ein gewisser Wert ist“ dies so gemeint ist, dass der Verlust zusammen mit dem Wert steigt, wenn alle anderen Werte, von denen der Verlust abhängt, gleich bleiben (d.h. es wird nicht berücksichtigt, dass gewisse Zusammenhänge dazu führen könnten, dass der Verlust insgesamt fällt, auch wenn der Wert steigt, z.B. weil die Schätzung insgesamt durchschnittlich besser den Labeln entspricht, auch wenn die oben genannte Abweichung für ein Paar zunimmt).
-
Ausführungsbeispiel 3 ist ein Verfahren zum Ermitteln eines Abnutzungszustands einer Vorrichtung, aufweisend Trainieren eines neuronalen Netzwerks nach Ausführungsbeispiel 1 oder 2, Erfassen eines weiteren Sensordatenelements, das Informationen über einen aktuellen Zustand der Vorrichtung oder Informationen über einen aktuellen Zustand eines von der Vorrichtung erzeugten Produkts enthält, Zuführen des weiteren Sensordatenelements zu dem trainierten neuronalen Netzwerk und Ableiten eines Abnutzungszustand der Vorrichtung aus einem Merkmalsvektor, den das neuronale Netzwerk in Reaktion auf das weitere Sensordatenelement ausgibt.
-
Das weitere Sensordatenelement ist beispielsweise ein aktuelles Sensordatenelement und so kann das trainierte neuronale Netzwerk dazu verwendet werden, einen aktuellen Abnutzungszustand zu ermitteln (schätzen).
-
Ausführungsbeispiel 4 ist das Verfahren nach Ausführungsbeispiel 3, aufweisend Ableiten des Abnutzungszustands aus einer Distanz zwischen dem Merkmalsvektor, den das neuronale Netzwerk in Reaktion auf das weitere Sensordatenelement ausgibt und einem Referenz-Merkmalsvektor für einen Referenz-Abnutzungszustand der Vorrichtung.
-
Damit braucht das Regressionsnetzwerk nicht mehr für die Ermittlung des Abnutzungszustands verwendet zu werden und es kann direkt auf den erzeugten Merkmalsvektoren operiert werden.
-
Ausführungsbeispiel 5 ist das Verfahren nach Ausführungsbeispiel 4, aufweisend Erfassen von Referenz-Sensordatenelementen, Zuführen der Referenz-Sensordatenelemente zu dem trainierten neuronalen Netzwerk und Ermitteln des Referenz-Merkmalsvektors aus von dem neuronalen Netzwerk in Reaktion auf die Referenz-Sensordatenelemente ausgegebenen Merkmalsvektoren.
-
Beispielsweise kann der Referenz-Merkmalsvektor oder auch mehrere Referenz-Merkmalsvektoren durch Mittelwertbildung oder Clustering der von dem neuronalen Netzwerk in Reaktion auf die Referenz-Sensordatenelemente ausgegebenen Merkmalsvektoren gebildet werden. Dies erhöht die Robustheit der Schätzung, weil mehrere der Referenz-Sensordatenelemente (z.B. Messungen) als Referenz zugrunde gelegt werden.
-
Ausführungsbeispiel 6 ist ein Abnutzungs-Überwachungssystem, das eingerichtet ist, ein Verfahren nach einem der Ausführungsbeispiele 1 bis 5 durchzuführen.
-
Ausführungsbeispiel 7 ist ein Computerprogramm mit Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 5 durchführt.
-
Ausführungsbeispiel 8 ist ein Computerlesbares Medium, das Befehle speichert, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 5 durchführt.
-
Im Folgenden werden verschiedene Ausführungsbeispiele angegeben.
-
Ausführungsbeispiel 1 ist ein Verfahren zum Steuern eines Roboters, wie oben beschrieben.
-
In den Zeichnungen beziehen sich ähnliche Bezugszeichen im Allgemeinen auf dieselben Teile in den ganzen verschiedenen Ansichten. Die Zeichnungen sind nicht notwendigerweise maßstäblich, wobei die Betonung stattdessen im Allgemeinen auf die Darstellung der Prinzipien der Erfindung gelegt wird. In der folgenden Beschreibung werden verschiedene Aspekte mit Bezug auf die folgenden Zeichnungen beschrieben.
- 1 zeigt eine Produktionsanordnung gemäß einer Ausführungsform.
- 2 zeigt ein maschinelles Lernmodell gemäß einer Ausführungsform.
- 3 zeigt ein Beispiel für eine Abnutzungskurve.
- 4 zeigt ein Ablaufdiagramm, das ein Verfahren zum Trainieren eines neuronalen Netzwerks zum Ermitteln eines Merkmalsvektors, der den Abnutzungszustand einer Vorrichtung repräsentiert, veranschaulicht.
-
Die folgende ausführliche Beschreibung bezieht sich auf die begleitenden Zeichnungen, die zur Erläuterung spezielle Details und Aspekte dieser Offenbarung zeigen, in denen die Erfindung ausgeführt werden kann.
-
Im Folgenden werden verschiedene Beispiele genauer beschrieben.
-
1 zeigt eine Produktionsanordnung 100 gemäß einer Ausführungsform.
-
Ein oder mehrere Komponenten 101 werden einer Produktionslinie 102 zugeführt und durch eine Anordnung von einen oder mehrere Maschinen oder Werkzeugen 103, hier symbolisiert durch eines Roboterarm, zu Endprodukten 104 verarbeitet. Die Anordnung von einen oder mehrere Maschinen oder Werkzeugen 103 wird im Folgenden als Herstellungsanordnung bezeichnet, die ein oder mehrere Herstellungsvorrichtungen (Maschinen, Roboter etc.) aufweisen kann.
-
Da die Herstellungsanordnung 103 im Laufe ihres Betriebs altert (beispielsweise nutzt sich eine Schleifkante ab oder ein Werkzeug wird stumpf), sinkt typischerweise auch die Qualität der Endprodukte 104, die im Laufe der Zeit hergestellt werden. Um die Herstellungsanordnung oder Komponenten davon auszutauschen, bevor die Qualität der hergestellten Endprodukte zu stark sinkt, kann eine auf Vorhersage basierende Wartung (engl. predictive maintenance) eingesetzt werden, d.h. beobachtet werden, wie sich die Qualität der hergestellten Produkte 104 über die Zeit aufgrund der Alterung der Herstellungsanordnung verschlechtert, und vorhergesagt werden, wann die Qualität zu gering werden würde und dann rechtzeitig eingegriffen werden.
-
Dazu wäre es wünschenswert, dass durch Beobachtung der Qualität (z.B. mehrerer Qualitätsmerkmale) der Endprodukte 104 eine z.B. langsam steigende Kurve ermittelt wird (wobei höhere Werte größere Abnutzung bzw. geringere Qualität der Endprodukte beschreiben) und dann könnte ab einem bestimmten Wert (Qualitätsschranke) eine Warnung ausgelöst werden, die veranlasst, dass die Herstellungsanordnung oder eine jeweilige Komponente der Herstellungsanordnung, die für das jeweils beobachtete Qualitätsmerkmal des Endprodukt verantwortlich ist, ausgetauscht wird.
-
Eine solche Kurve wird auch als Abnutzungskurve (engl. typischerweise als „drift curve“) bezeichnet. Analog könnte auch eine fallende „Qualitätskurve“ ermittelt werden.
-
Eine solche Abnutzungskurve kann auf verschiedene Arten ermittelt werden. Es kann ein Modell zugrunde gelegt werden (das aber oftmals nicht sehr genau und ggf. erst aufgestellt werden muss). Alternativ kann mittels überwachten Lernens eines maschinellen Lernmodell (ML-Modell) auf der Grundlage von bisherigen Abnutzungsdaten (d.h. Beobachtungen der Qualitätsabnahme) trainiert werden, das die Abnutzung für spätere Zeiten vorhersagt.
-
Allerdings liegen Abnutzungsdaten typischerweise nur für den Anfang der Abnutzungskurve (frühe Zeiten) in ausreichender Menge vor, denn in der Fertigung ist es üblich, Herstellungskomponenten proaktiv und damit sehr früh zu tauschen, um keine Endprodukte mit Mängeln zu produzieren. Außerdem muss festgelegt werden, bis zu welchem Zeitpunkt die Abnutzungsdaten (mindestens) gesammelt werden, bevor sie mittels des ML-Modells für die Vorhersage verwendet werden.
-
Es gibt auch Ansätze, die auf unüberwachtem Lernen basieren, um mittels eines ML-Modells eine Abnutzungskurve zu erzeugen. Ein Beispiel ist die Verwendung von Bilddaten mit einem vortrainierten Konvolutionsnetzwerk (z.B. Imagenet). Damit kann das ML-Modell die Verteilung von Merkmalen (engl. features) von anfänglichen Bildern (die Endprodukte im „Gut-Zustand“ zeigen) lernen (etwa durch ein Clustering oder ein Gaußsches Mischmodell dargestellt) und dazu die Distanz von Merkmalen eines später aufgenommenen Bildes bestimmen. Allerdings liegen nicht für alle Arten von Daten solche vortrainierten Netze vor und genügend Trainingsdaten und -Aufgaben für ein eigenes Pre-Training zu sammeln ist aufwändig.
-
Gemäß verschiedenen Ausführungsformen werden Herangehensweisen zur Überwachung eines technischen Systems, z.B. einer Herstellungsanordnung (insbesondere zur Ermittlung einer Abnutzungskurve) bereitgestellt, die es ermöglichen, vorhandene Daten zu nutzen, der Aufwand eines Versehen von Trainings-Eingabedaten mit Zieldaten (d.h. mit Labels für überwachtes Lernen, d.h. Labelling) zu vermeiden (wie auch bei einem selbst-überwachten Lernen) und eine gute Verallgemeinerung (insbesondere im Vergleich mit Ansätzen, die explizites Labeln erfordern) zu erreichen.
-
Gemäß verschiedenen Ausführungsformen wird die Qualität von Endprodukten 104 mittels Bildern 106 überwacht, die von einer oder mehreren Kameras 105 geliefert werden und von einem Überwachungssystem 107 (z.B. Computer oder einer Steuereinheit) ausgewertet werden.
-
Die Kamera nimmt z.B. ein oder mehrere Bilder 106 für jedes hergestellte Endprodukt 104 nach seiner Herstellung (bevor es weiterverarbeitet oder ausgeliefert wird) auf, d.h. ein oder mehrere Bilder 106, die den Zustand des Endprodukts 104 zeigen, mit dem es hergestellt worden ist (also z.B. unmittelbar nach seiner Herstellung).
-
Eine Kamera 105, die ein Bild 106 aufnimmt, oder das Überwachungssystem 107 selbst versieht jedes Bild 106 mit einem Zeitstempel. Dieser gibt die Zeit der Aufnahme des Bilds 106 und damit die Zeit der Herstellung (d.h. Fertigstellung) des Produkts 104 an, das gezeigt ist.
-
Das Überwachungssystem kann zeitliche Distanz zwischen zwei Bildern 105 (z.B. aus einer gemeinsamen Zeitserie) durch Vergleich der Zeitstempel bestimmen - etwa in Sekunden.
-
Diese Information verwendet das Überwachungssystem 107 zum Training eines ML-Modells 108.
-
2 zeigt ein maschinelles Lernmodell 200 gemäß einer Ausführungsform, das z.B. als ML-Modell 108 von dem Überwachungssystem 107 implementiert wird.
-
Das ML-Modell 108 weist ein siamesisches neuronales Netzwerk 201 auf, d.h. dasselbe neuronale Netzwerk 202 (in dem Sinne, dass zweimal dieselbe Architektur mit denselben Parametern, insbesondere Gewichten, verwendet wird), wird auf ein erstes Bild 203 (Zeitstempel t) und ein zweites Bild 204 (Zeitstempel t + n, z.B. n Sekunden) angewendet. Das neuronale Netzwerk 202 erzeugt so für beide Bilder 203, 204 jeweils einen zugehörigen Merkmalsvektor 205, 206. Dies erfolgt sowohl im Training als auch bei der Verwendung des trainierten ML-Modells 200. Allgemein ist das neuronale Netzwerk ein Merkmals-Extraktionsmodell. Es kann, insbesondere für die Verarbeitung von Bildern, beispielsweise eine Konvolutionsnetzwerk verwendet werden.
-
Im Training wird ein zweites neuronales Netzwerk 207 (also nicht das siamesische neuronale Netzwerk 201, welches im Folgenden zur Klarheit als erstes neuronales Netzwerk bezeichnet wird) trainiert, aus beiden Merkmalsvektoren 205, 206 (z.B. ihrer Konkatenation) die zeitliche Differenz (also n) zu schätzen. Das zweite neuronale Netzwerk 207 wird entsprechend auch als Regressionsnetzwerk (für die zeitliche Differenz) bezeichnet. Für dieses Training steht das Label n für jedes (Trainings-) Paar von Bildern zur Verfügung (Differenz der Zeitstempel der beiden Bilder und das Regressionsnetzwerk wird unter Verwendung dieser Labels gemäß überwachtem Lernen trainiert.
-
Das führt dazu, dass das ML-Modell 200 im Training basierend auf den Zeitstempeln der Daten (d.h. der Bilder) eine abstrakte Repräsentation (die Merkmalsvektoren) lernt und dass durch Vergleich von Merkmalsvektoren, die zu Bildern mit unterschiedlichen Zeitstempeln gehören (d.h. aus von dem ersten neuronalen Netz 201 aus Bildern mit unterschiedlicher Zeitstempeln erzeugt werden) Information über eine Zeitdifferenz bzw. die Schätzung einer erwarteten Zeitdifferenz zwischen den Bildern (d.h. zwischen den Zeitstempeln der Bilder) gewonnen werden kann.
-
Das Training kann verbessert werden, indem Eigenschaften bzw. Zusammenhänge der zeitlichen Distanzen verwendet werden, wie beispielsweise D(X2, X0) = D(X1, X0) + D(X1, X2).
wobei D(.,.) die zeitliche Distanz zwischen den beiden Argumenten bezeichnet und X0, X1, und X2 Bilder (oder allgemein (Sensor-)Datenelemente) in dieser zeitlichen Reihenfolge sind. Das maschinelle Lernmodell wird dann derart trainiert, dass es für einen Satz aus drei Paaren (X2, X0), (X1, X0), (X1, X2) die Distanzen D(X2, X0), D(X1, X0) und D(X1, X2) schätzt und die für das Training verwendete Verlustfunktion einen Term aufweist, der es bestraft, wenn D(X2, X0) von D(X1, X0) + D(X1, X2) abweicht.
-
Aufbauend auf dem trainierten ML-Modell 200 kann das Überwachungssystem 107 auf verschiedene Arten eine Abnutzungskurve berechnen. Im einfachsten Fall schätzt es, für ein aktuelles Bild 106, eine zeitliche Differenz zwischen dem aktuellen Bild 106 und einem Anfangsbild (eines Endprodukts 104, das hergestellt wurde, als die Herstellungsanordnung noch nicht abgenutzt war) aus den Merkmalsvektoren, die das erste neuronale Netzwerk 201 für das aktuelle Bild und das Anfangsbild liefert. Die so ermittelte Zeitdifferenz gibt die Abnutzung an, wie sie sich in den Merkmalsvektoren widerspiegelt und kann als erwartete Zeitdifferenz (in Anbetracht der beobachteten Abnutzung angesehen werden). Liegt diese über der tatsächlichen Zeitdifferenz (Differenz der Zeitstempel) kann das Überwachungssystem 107 dies als Indiz für einen starken Anstieg der Abnutzung (Alterung) interpretieren und entsprechend reagieren (z.B. den Austausch einer Komponente veranlassen). In anderen Worten: Es kann das Verhältnis der tatsächlich vergangenen Zeitdifferenz zwischen zwei Bildern zu der vom ML-Modell 200 geschätzten Zeitdifferenz analysiert werden. Wenn mehr Zeit vergangen ist als geschätzt, ist die Herstellungsanordnung unterdurchschnittlich gealtert. Wenn weniger Zeit vergangen ist als geschätzt, ist die Herstellungsanordnung unüblich stark gealtert (und muss daher ggf. früher getauscht werden). Diese Ergebnisse sind ggf. für Data Scientists oder auch die Ingenieure an der Produktionslinie interessant, aber können auch automatisch direkt von dem Überwachungssystem zur Steuerung verwendet werden.
-
Das Überwachungssystem 107 kann auch eine Anomaliedetektion durchführen. Ist erwartete Zeitdifferenz für ein Endprodukt (zu einer Anfangs- oder Referenzzeit) beispielsweise viel größer als die anderer (zu ähnlicher Zeit hergestellter) Endprodukte, so deutet dies auf eine Anomalie hin. Ebenso deutet es auf eine Anomalie hin, wenn Endprodukte, die später hergestellt wurden, eine (stark) geringere erwartete Zeitdifferenz haben als das Endprodukt. Auch dann kann das Überwachungssystem 107 entsprechend reagieren (z.B. das Endprodukt aussortieren).
-
Statt die zeitliche Differenz zwischen dem aktuellen Bild 106 und einem Anfangsbild zu ermitteln kann das Überwachungssystem 107 zu mehreren oder einem Cluster (z.B. ein oder mehreren gemittelten Merkmalsvektoren) berechnen und die Ergebnisse ggf. kombinieren.
-
Das ML-Modell 200 kann trainiert werden, ohne dass dafür ein vortrainiertes neuronales Netzwerk erforderlich ist. Außerdem ist es nicht erforderlich, dass ein Experte Daten labelt. Die Merkmalsvektoren liefern abstrakte Repräsentationen und ermöglichen die Berechnung einer erwarteten Zeitdifferenz (d.h. Zeitdifferenz für eine erwartete Abnutzung über die Zeit).
-
Der Merkmalsvektor 205, 206 ist eine abstrakte Repräsentation, der besonders sensitiv ist für Dinge, die sich von Bild zu Bild über die Zeit ändern. Eine solche Repräsentation kann für viele Aufgaben verwendet werden, also z. B. auch für Klassifikation, oder für die Detektion von Ausreißern, Clustering etc.
-
Das Überwachungssystem 107 kann nach dem Training die zeitliche Distanz für zwei Bilder unter Verwendung des kompletten ML-Modells 200 ermitteln, also wie sie das Regressionsnetzwerk 207 ausgibt. Damit kann es insbesondere für eine Abfolge von Bildern, die für eine jeweilige Herstellungsanordnung 103 aufgenommen wurde, eine Abnutzungskurve ermitteln. Dazu kann es die Abnutzung für das erste Bild der Abfolge auf den Wert Null setzen. Für jedes weitere Bild führt es den Merkmalsvektor für das erste Bild und des weiteren Bilds dem Regressionsnetzwerk 207 zu und verwendet die von dem Regressionsnetzwerk 207 geschätzte zeitliche Distanz als Y-Wert der Abnutzungskurve (zu dem X-Wert, der durch den Zeitstempel des weiteren Bilds gegeben ist).
-
Alternativ kann das Überwachungssystem 107 nach dem Training auch ohne das Regressionsnetzwerk 207 arbeiten, indem es eine Distanz zwischen den Merkmalsvektoren gemäß einer Metrik des Merkmalsraums, von dem die Merkmalsvektoren Elemente sind, berechnet.
-
Beispielsweise ermittelt das Überwachungssystem 107 ein Modell (z. B. ein Gaußsches Mischmodell), das den initialen Zustand beschreibt (z.B. eine Verteilung der Merkmalsvektoren der ersten fünf Bilder einer Abfolge von (z.B. für eine Herstellungsanordnung) aufgenommenen Bildern) und berechnet eine Distanz des Merkmalsvektors eines weiteren aufgenommenen (aktuellen) Bildes rein auf Basis der Merkmalsvektoren (etwa mittels der Kosinusdistanz im Merkmalsraum), z.B. zu einem Mittelwert des Modells, das den initialen Zustand beschreibt. Aneinander gereiht (entsprechend der zeitlichen Abfolge der Bilder) ergeben diese Distanzen eine Abnutzungskurve. Diese Abnutzungskurve kann das Überwachungssystem 107 wiederum für die Detektion von Ausreißern, oder zum Auslösen einer Wartung (z.B. Austausch einer Komponente des jeweiligen technischen Systems, z.B. Herstellungsanordnung) verwenden.
-
3 zeigt ein Beispiel für eine Abnutzungskurve.
-
Jeder Punkt repräsentiert ein Bild 106, wobei die x-Koordinate des Punkts den Zeitstempel des Bilds angibt und die y-Koordinate des Punkts die Abnutzung angibt, die das Bild widerspiegelt. Diese Abnutzung kann sein (siehe auch die obigen Erläuterungen):
- • Eine Distanz des für das Bild ermittelten Merkmalsvektors zu einer Repräsentation des „Gut-Zustandes“ (allgemein eines Referenzzustands) im Merkmalsraum. Dieser Gut-Zustand kann durch den Mittelwert der Merkmalsvektoren der ersten aufgenommen Bilder sein. Das Überwachungssystem kann auch beispielsweise ein Verfahren zum Clustern (z.B. einen DBSCAN(Density-Based Spatial Clustering of Applications with Noise)-Algorithmus anwenden, um ein Clustering des Gut-Zustandes zu erhalten, dann die Kosinusdistanz des Merkmalsvektors des aktuellen Bildes zu jedem Core Point berechnen und das Minimum dieser Distanzen als Abnutzung für das aktuelle Bild wählen.
- • Die Abnutzung des ersten Bilds der Abfolge wird auf null gesetzt und für jedes weitere Bild die Abnutzung als die Distanz der Merkmalsvektoren relativ zum ersten Bild gesetzt, wobei die Distanz z.B. die von dem Regressionsmodel 207 geschätzte Distanz ist (illustriert durch die Pfeile 201 in 2)
- • Die Distanz eines Merkmalsvektors, die als Abnutzung verwendet wird, kann aus mehreren Distanzen zusammen gesetzt werden, z.B. gemäß der oben genannten Formel D(X2, X0) = D(X1, X0) + D(X1, X2). Beispielsweise kann das Überwachungssystem diese Berechnung für ein aktuelles Bild (Merkmalsvektor X2) für viele Zwischenbilder jeweils Merkmalvektor X1) ausführen, und den Mittelwert über alle Ergebnisse D(X2, X0) nehmen und die Abnutzung des aktuellen Bilds auf diesen Mittelwert setzen.
-
Aus der Abnutzungskurve könnte ein Ingenieur im Anschluss ableiten, ab welchem Distanz-Level zum Ursprungsbild er/sie gerne benachrichtigt werden möchte, z.B. um sich selbst einen Eindruck von der Abnutzung zu bekommen oder um ein Werkzeug zu tauschen.
-
In den obigen Beispielen wurde die Abnutzung eines technischen Systems 107 indirekt, nämlich über Bilder 106 der hergestellten Endprodukte 104, untersucht. Ein weiteres Beispiel für so eine indirekte Untersuchung wäre z.B. auch der Zustand einer Kamera (z.B. in einem Fahrzeug), über eine Untersuchung der Qualität der mittels der Kamera aufgenommenen Bilder. Es kann aber auch der Zustand eines technischen Systems direkt, also mittels Bildern (oder allgemein Sensordaten) über das technische System selber untersucht werden, z.B. Messungen von Strömen in einer Anlage, Bildern einer Oberfläche eines Geräts etc.
-
Zusammengefasst wird gemäß verschiedenen Ausführungsformen ein Verfahren bereitgestellt, wie in 4 dargestellt.
-
4 zeigt ein Ablaufdiagramm 400, das ein Verfahren zum Trainieren eines neuronalen Netzwerks zum Ermitteln eines Merkmalsvektors, der den Abnutzungszustand einer Vorrichtung repräsentiert, veranschaulicht.
-
In 401 wird für jeden Zeitpunkt einer Folge von Zeitpunkten, ein zu dem Zeitpunkt gehörendes Sensordatenelement erfasst, das Informationen über einen Zustand der Vorrichtung zu dem Zeitpunkt oder Informationen über einen Zustand eines zu dem Zeitpunkt von der Vorrichtung erzeugten Produkts enthält.
-
In 402 werden Paare der Sensordatenelemente gebildet, wobei jedes Paar ein erstes Sensordatenelement der Sensordatenelemente, das zu einem ersten Zeitpunkt der Folge von Zeitpunkten gehört, und ein zweites Sensordatenelement der Sensordatenelemente, das zu einem zweiten Zeitpunkt der Folge von Zeitpunkten gehört, aufweist.
-
In 403 wird für jedes Paar,
- • in 404 die Zeitdifferenz zwischen dem Zeitpunkt, zu dem das erste Sensordatenelement gehört, und dem Zeitpunkt, zu dem das zweite Sensordatenelement gehört, ermittelt (d.h. eine ermittelte Zeitdifferenz bestimmt);
- • in 405 das erste Sensordatenelement durch ein (erstes) neuronales Netzwerk zu einem Merkmalsvektor für das erste Sensordatenelement verarbeitet (dieser wird als erster Merkmalsvektor bezeichnet);
- • in 406 das zweite Sensordatenelement durch das (erste) neuronale Netzwerk zu einem Merkmalsvektor für das zweite Sensordatenelement verarbeitet (dieser wird als zweiter Merkmalsvektor bezeichnet); und
- • in 407 der erste Merkmalsvektor zusammen mit dem zweiten Merkmalsvektor durch ein (neuronales) Regressionsnetzwerk (d.h. durch ein zweites neuronales Netzwerk) zum Schätzen der Zeitdifferenz zwischen dem Zeitpunkt, zu dem das erste Sensordatenelement gehört, und dem Zeitpunkt, zu dem das zweite Sensordatenelement gehört, aus dem ersten Merkmalsvektor und dem zweiten Merkmalsvektor verarbeitet (d.h. eine geschätzte Zeitdifferenz (Schätzung der Zeitdifferenz) bestimmt).
-
In 404 werden das neuronale Netzwerk und das Regressionsnetzwerk zum Verringern eines Verlusts, der desto größer ist, je größer die Unterschiede zwischen den ermitteln Zeitdifferenzen und den geschätzten Zeitdifferenzen der Paare sind (d.h. die Unterschiede, jeweils zwischen der ermittelten Zeitdifferenz und der geschätzten Zeitdifferenz (d.h. der jeweiligen Schätzung der Zeitdifferenz) für ein jeweiliges Paar; dieser Unterschied kann pro Paar ermittelt werden), angepasst.
-
Wie üblich können dazu Batches von Trainingsdatenelementen (hier Paare von Sensordatenelementen) gebildet werden, über die eine Verlustfunktion, die einen dem Verlust entsprechenden Term enthält, ausgewertet wird und die Parameter (insbesondere die Gewichte) der neuronalen Netzwerke (neuronales Netzwerk, das den Merkmalsvektor bestimmt und Regressionsnetzwerk) werden mittels Gradientenabstieg zum Verringern des Verlusts angepasst.
-
Das neuronale Netzwerk kann als Merkmalsdetektor oder Merkmalsdetektornetzwerk angesehen werden.
-
Das Verfahren von 4 kann durch einen oder mehrere Computer mit einer oder mehreren Datenverarbeitungseinheiten durchgeführt werden. Der Begriff „Datenverarbeitungseinheit“ kann als irgendein Typ von Entität verstanden werden, die die Verarbeitung von Daten oder Signalen ermöglicht. Die Daten oder Signale können beispielsweise gemäß mindestens einer (d.h. einer oder mehr als einer) speziellen Funktion behandelt werden, die durch die Datenverarbeitungseinheit durchgeführt wird. Eine Datenverarbeitungseinheit kann eine analoge Schaltung, eine digitale Schaltung, eine Logikschaltung, einen Mikroprozessor, einen Mikrocontroller, eine Zentraleinheit (CPU), eine Graphikverarbeitungseinheit (GPU), einen Digitalsignalprozessor (DSP), eine integrierte Schaltung einer programmierbaren Gatteranordnung (FPGA) oder irgendeine Kombination davon umfassen oder aus dieser ausgebildet sein. Irgendeine andere Weise zum Implementieren der jeweiligen Funktionen, die hierin genauer beschrieben werden, kann auch als Datenverarbeitungseinheit oder Logikschaltungsanordnung verstanden werden. Es können ein oder mehrere der im Einzelnen hier beschriebenen Verfahrensschritte durch eine Datenverarbeitungseinheit durch eine oder mehrere spezielle Funktionen ausgeführt (z. B. implementiert) werden, die durch die Datenverarbeitungseinheit durchgeführt werden.
-
Die Sensordaten (die in den Sensordatenelementen enthalten sind) enthalten Informationen über den Zustand der Vorrichtung (direkt oder indirekt, z.B. über den Zustand eines Endprodukts). Statt der Bilder 106 wie in den obigen Ausführungsbeispielen können Sensorsignale von verschiedenen Sensoren wie z. B. Video, Radar, LiDAR, Ultraschall, Bewegung, Wärmeabbildung, Audio usw. empfangen und verwendet werden, um Daten hinsichtlich des Zustands der Vorrichtung zu erhalten.
-
Insbesondere können Daten aus einer Zeitreihe (von einem Sensor, z.B. Messungen eines Stroms) analysiert werden und das jeweilige technische System entsprechend betrieben werden. Dabei wird jedes (Sensor-) Datenelement (z.B. jede Messung oder jedes Bild) mit einem Zeitstempel versehen, der den Zeitpunkt angibt, für den es erfasst wurde. Für das Training des maschinellen Lernmodells (bestehend aus neuronalem Netzwerk und Regressionsnetzwerk) wird zunächst ein Trainingsdatensatz gesammelt, bestehend aus vielen Beispiel-Datenelementen (die aus Reihen, Serien oder Abfolgen von aufgenommenen Daten-Samples gewonnen werden). Gemäß verschiedenen Ausführungsformen wird angenommen, dass die ersten Datenelemente (mit früher Zeit im Zeitstempel) einen „guten“ oder „neuen“ Zustand (Referenzzustand) darstellen und die letzten (mit später Zeit im Zeitstempel) schon recht kurz vor einem „schlechten“ oder „bedenklichen“ Zeitpunkt sind. Jedes Trainingsdatenelement des Trainingsdatensatzes besteht aus einem solchen Beispiel-Datenelement und einem Label, das durch die Differenz der Zeitstempel gegeben ist.
-
Die Sensordaten können Sensordaten von einem hergestellten Produkt (und damit indirekte Informationen über eine Vorrichtung oder ein System) oder von der Vorrichtung oder dem System selbst (also direkte Informationen darüber) sein. Die Analyse liefert beispielsweise eine Anomaliedetektion. In Reaktion auf eine Anomalie kann das technische System in einen sicheren Modus versetzt werden oder der Grund für die Anomalie identifiziert werden und Gegenmaßnahmen ergriffen werden. Beispielsweise kann ein Benutzer informiert werden, der als Maßnahme beispielsweise ein Werkzeug austauscht oder Parameter einer Maschine anpasst.
-
Zeitliche Differenzen, die mittels des maschinellen Lernmodells geschätzt werden, können auch dafür verwendet werden, den Datenverkehr, z.B. von einer Produktionslinie zu einem Back-End-Computer zu reduzieren, indem ein Sensordatenelement nur weitergeleitet wird, wenn es sich hinreichend von einem vorhergehenden Sensordatenelement unterscheidet (ausgedrückt dadurch, dass die erwartete Zeitdifferenz über einer Schranke liegt). Das Back-End-System kann solche weitergeleiteten Sensordatenelemente dann verwenden, beispielsweise als Trainingsdaten für ein ML-Modell.
-
Aus der Ausgabe des neuronalen Netzwerks kann ein Steuersignal für eine Robotervorrichtung erzeugt werden. Der Begriff „Robotervorrichtung“ kann als sich auf irgendein technisches System (mit einem mechanischen Teil, dessen Bewegung gesteuert wird) beziehend verstanden werden, wie z. B. eine Herstellungsanordnung (Produktionslinie), eine computergesteuerte Maschine, ein Fahrzeug, ein Haushaltsgerät, ein Elektrowerkzeug, eine Fertigungsmaschine, einen persönlichen Assistenten oder ein Zugangssteuersystem oder auch System zum Liefern von Informationen wie ein Überwachungssystem. Entsprechend ist das Überwachungssystem 107 aus den obigen Ausführungsbeispielen als Beispiel zu verstehen und die oben beschriebenen Funktionalitäten können von einer beliebigen Steuereinrichtung in einem jeweiligen Anwendungskontext bereitgestellt werden (ggf. unter Verwendung anderer oder zusätzlicher Sensordaten als den Bildern 106 und bzgl. eines anderen technischen Systems als einer Produktionsanordnung 100).
