-
Die vorliegende Erfindung betrifft ein Verfahren zum Klassifizieren und/oder zur Regression von Eingangssignalen, insbesondere von Sensorsignalen, im Hinblick auf das Vorhandensein von Anomalien und eine räumliche Lokalisierung dieser Anomalien in den Eingangssignalen. Die Erfindung betrifft auch ein das vorgenanntes Verfahren implementierendes Computerprogramm, einen maschinenlesbaren Datenträger mit einem solchen Computerprogramm, einen oder mehrere Computer aufweisend das vorgenannte Computerprogramm sowie ggfs. eine Maschine oder einen Roboter, die basierend auf der Ausgabe des Computerprogramms eine Aktion, wie etwa eine Wartung oder einen Werkzeugwechsel, durchführen.
-
Stand der Technik
-
In der industriellen Fertigung, bei Überwachungssystemen sowie bei medizinischen Bildgebungssystemen kommen zunehmend bildgestützte Verfahren zum Einsatz, durch welche beispielsweise die Qualität der gefertigten oder überwachten/betrachteten Objekte kontrolliert und beurteilt werden soll. Neuronale Netzwerke liefern einen wichtigen Beitrag im Zusammenhang solcher bildgestützter Verfahren. So lassen sich etwa (tiefe) neuronale Netzwerke in der bildgestützten Erkennung von Anomalien von Objekten nutzen, in dem diese Netzwerke in einem Training lernen, welche Art(en) von Ausprägungen oder (detailweisen) Ausgestaltungen der Objekte als Anomalien zu klassifizieren sind. Auch können in diesem Zusammenhang die abstrakten Repräsentationen, deep features, die neuronale Netzwerke von Bildaufnahmen erstellen, vielfältig verwendet werden.
-
Aus NETO, Antonio Joia; PACHECO, Andre GC; LUVIZON, Diogo Carbonera. Lmproving, Deep Learning Sound Events Classifiers Using Gram Matrix Feature-Wise Correlations. In: ICASSP 2021-2021 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP). IEEE, 2021. S. 3780-3784, aus PACHECO, Andre GC, et al. On out-of-distribution detection algorithms with deep neural skin cancer classifiers. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020. S. 732-733 und SASTRY, Chandramouli Shama; OORE, Sageev. Detecting out-of-distribution examples with gram matrices. In: International Conference on Machine Learning. PMLR, 2020. S. 8491-8501 sind weitere Verfahren zur Signalanalyse mit Machine-Learning-Verfahren bekannt.
-
Offenbarung der Erfindung
-
Es wurde erkannt, dass Verfahren zum Klassifizieren bzw. zur Regression von Bildern im Hinblick auf das Vorhandensein von Anomalien typischerweise eine Kenntnis der Art, Ausführung oder Ausprägung der Anomalien voraussetzen. Man muss in diesem Zusammenhang möglichst genau wissen, nach welchen Anomalien gesucht werden soll, um beispielsweise ein neuronales Netzwerk zur Erkennung solcher Anomalien trainieren zu können. Damit sind entsprechende Verfahren jedoch nicht sensitiv auf zunächst unbekannte, unerwartete und dennoch beispielsweise sicherheitsrelevante Anomalien. Beispielsweise gibt es gerade bei neu in den Markt eingeführten Geräten oder Maschinen gibt es möglicherweise noch keine belastbaren Informationen dahingehend, welches Bauteil der begrenzende Faktor für die Dauerhaltbarkeit ist und wie sich ein Versagen dieses Bauteils äußern wird.
-
Im Rahmen der Erfindung mit den Merkmalen des unabhängigen Anspruch 1 wurde ein Verfahren zum Analysieren, insbesondere zum Klassifizieren und/oder zur Regression, von Eingangssignalen entwickelt, welches auf die Feststellung des Vorhandenseins von Anomalien gerichtet ist und weiterhin eine räumliche Lokalisierung der festgestellten Anomalien erlauben kann. Die Anomalie kann insbesondere beispielsweise eine Anomalie in einem beliebigen technischen System umfassen. Die Art oder Ausprägung der Anomalien muss dabei a priori nicht bekannt sein. Das Verfahren ist damit insbesondere auch dazu geeignet, das Vorhandensein noch nicht bekannter Anomalien festzustellen. Die Eingangssignale umfassen insbesondere Sensorsignale, die sich beispielsweise auf die bildliche Darstellung von Bauteilen in der industriellen Fertigung, Qualitätskontrolle oder auch Maroditätsprüfung beziehen können. Die Eingangssignale können aber auch beispielsweise Audiosignale oder andere Zeitreihen von Messgrößen umfassen. So können beispielsweise Betriebsgeräusche von Festplatten oder aber von Motoren und Stoßdämpfern in Fahrzeugen daraufhin überwacht werden, ob sie ein bevorstehendes Versagen ankündigen.
-
Das Verfahren umfasst dabei zumindest die im folgenden ausgeführten Schritte. In einem ersten Verfahrensschritt wird ein Eingangssignal bereitgestellt. Ein faltendes neutonales Netzwerk, Convolutional Neural Network, wird in einem folgenden Schritt bereitgestellt. Das faltende neuronale Netzwerk kann aus einem Eingangssignal durch Anwendung von Faltungen, Convolutions, und/oder Zusammenlegungen, Pooling, eine Anzahl C von Eigenschaftskarten erstellen. Jede der Eigenschaftskarten weist dabei eine Gesamtzahl von HxW Eigenschaftswerten auf, welche in einer Matrix mit H Zeilen und W Spalten angeordnet sein können. In einem folgenden Verfahrensschritt wird das Eingangssignal durch das faltende neuronale Netzwerk eingelesen und zu dem Eingangssignal werden durch das faltende neuronale Netzwerk C Eigenschaftskarten erstellt. Die C erhaltenen Eigenschaftskarten werden in einem folgenden Schritt in einer Sammelmatrix zusammengefasst, in dem in jeder Spalte der Sammelmatrix jeweils die Zeilenvektoren einer Eigenschaftskarte Zeile für Zeile hintereinander angeordnet werden. Daraufhin wird die Sammelmatrix mit ihrer Transponierten multipliziert, so dass eine (HxW)x(HxW) Gram-Matrix-Variante mit entsprechend (H·W)·(H·W) Einträgen resultiert. In einem folgenden Verfahrensschritt wird die ermittelte Gram-Matrix-Variante mit mindestens einer vorgegebenen (HxW)x(HxW) Vergleichsmatrix verglichen. Basierend auf dem Ergebnis des Vergleichs kann ein Abweichungssignal angezeigt werden, das den Anwender auf eine Anomalie des mit den Sensorsignalen beobachteten Systems hinweisen kann. Alternativ oder auch in Kombination hierzu wird aus dem besagten Vergleichsergebnis in einem folgenden Verfahrensschritt das gesuchte Klassifikationsergebnis und/oder Regressionsergebnis ausgewertet.
-
Typischerweise weist ein faltendes neuronales Netzwerk einen Schichten-Aufbau auf: ein Eingangssignal wird durch Anwendung eines Faltungskerns, der sukzessive über Positionen des Eingangssignals gerastert wird und an diesen Positionen jeweils auf das Eingangssignal wirkt, in ein Zwischensignal überführt. Durch Anwendung einer Vielzahl von Faltungskernen auf das Eingangssignal wird eine entsprechende Vielzahl von Zwischensignalen erhalten. Auf jedes der gewonnenen Zwischensignale wird daraufhin jeweils eine Aggregationsfunktion bzw. Zusammenlegung, wie z.B. MaxPooling, angewandt. Damit wird aus der Anzahl von Zwischensignalen, deren Anzahl insbesondere durch die Anzahl der angewandten Faltungskerne bestimmt ist, eine Vielzahl von Eigenschaftskarten gewonnen. D.h. eine Eigenschaftskarte ist als das Ergebnis eines bestimmten, zunächst auf ein Eingangssignal angewandten Faltungskerns mit anschließend angewandter Aggregation/Zusammenlegung gegeben und resultiert jeweils nachdem die Faltung mit dem Faltungskern und die Aggregation in einer gegebenen Schicht des faltenden neuronalen Netzwerks ausgeführt worden sind. In einer weiteren bzw. jeder nun folgenden Schicht eines faltenden neuronalen Netzwerks kann auf jede der in einer bestimmten Schicht erhaltenen Eigenschaftskarten jeweils eine Vielzahl von Faltungskernen gefolgt von wiederum jeweils einer Zusammenlegung angewandt werden. Mehrere derartiger Schichten können in einem faltenden neuronalen Netzwerk zu einem Block zusammengefasst sein. Die Ausgabe eines Blocks kann damit - wie auch die Ausgabe einer bestimmten Schicht des faltenden neuronalen Netzwerks für sich betrachtet - in einer Vielzahl von Eigenschaftskarten bestehen. Die Eigenschaftskarten enkodieren dabei jeweils bestimmte Eigenschaften, deep features, des Eingangssignals bezüglich seiner tieferliegenden Struktur - im Falle eines Bild-Signals kann es sich dabei z.B. um die Lage und Ausprägung von Kanten, vertikalen, horizontalen oder gekrümmten Linien, etc. handeln.
-
Typischerweise nimmt die Auflösung eines Eingangssignals, bspw. eines Bildsignals, mit jeder weiteren Schicht ab, wobei die Anzahl der jeweils angewandten Faltungen mit jeder weiteren Schicht zunimmt. Derzeit verfügbare faltbare neuronale Netzwerke erlauben es typischerweise, die Eigenschaftskarten nach jedem Block, welcher eine festgelegte Anzahl von Schichten umfasst, auszulesen, und mittels dieser Eigenschaftskarten Informationen über das ursprüngliche Eingangssignal zu extrahieren.
Der vorstehend beschriebene Aufbau eines faltenden neuronalen Netzes trifft insbesondere auch auf tiefe neuronale Netzwerke zu.
-
Eine wie oben beschrieben erhaltene und im Folgenden betrachtete (HxW)x(HxW) Gram-Matrix-Variante kann als eine Möglichkeit der Verdichtung der Eigenschaftskarten einer bestimmten Schicht oder eines bestimmten Blocks eines faltenden neuronalen Netzwerks aufgefasst werden. Bestimmte der in den Eigenschaftskarten enkodierten, tieferliegenden Eigenschaften eines korrespondierenden Eingangssignals, deep features, treten in der (HxW)x(HxW) Gram-Matrix-Variante hervor. Ein Hervortreten kann dabei durch besonders große oder auch kleine, allgemein: vom Bekannten oder Erwarteten abweichende numerische Einträge in den Komponenten der Gram-Matrix-Variante gegeben sein. In dem die Gram-Matrix-Variante aus den C Eigenschaftskarten, welche jeweils als (HxW) Matrizen dargestellt sind, gebildet wird, werden gewisse Merkmale/Unterschiede der Eigenschaftskarten verworfen bzw. eingeebnet, während andere Merkmale deutlicher hervortreten. Letztere Merkmale erlauben das Feststellen eines (generellen) Vorhandenseins von unter Umständen zuvor unbekannten Anomalien, sowie möglicherweise eine räumliche Lokalisierung dieser festgestellten Anomalien. Damit enthält eine betrachtete (HxW)x(HxW) Gram-Matrix-Variante insbesondere eine Information darüber, was an bestimmten Orten im Eingangssignal passiert. Allgemein enkodieren die Diagonal-Elemente der Gram-Matrix-Variante das Vorhandensein mehrerer, jeweils durch die angewandten Faltungskerne „hervorgeholte“ Eigenschaften an einem bestimmten Ort des Eingangssignals. Die Nichtdiagonalelemente können als Indikatoren dafür angesehen werden, ob an mehreren Orten bestimmte, durch die angewandten Faltungen „hervorgeholte“ Eigenschaften auftreten. Beziehen sich die „hervorgeholten“ Eigenschaften auf Anomalien, so können mit den „hervorgeholten“ Eigenschaften verknüpfte Abweichungen in der Gram-Matrix-Variante durch einen Vergleich mit einer Vergleichsmatrix ausfindig gemacht werden.
-
Ein oben und im folgenden beschriebenes Verfahren erlaubt es damit insbesondere unbekannte Anomalien in einem Eingangssignal ausfindig zu machen. Das faltende neuronale Netzwerk muss zur Erkennung der Anomalie nicht a priori im Rahmen eines Trainings zahlreiche Beispiele - welche die unterschiedlichen Ausprägungen einer bekannten Anomalie genau zeigen müssen - zu späteren Erkennen der Anomalie in einem Eingangssignal „sehen“ bzw. lernen. Ein wesentlicher Vorteil eines oben und im folgenden vorgeschlagenen Verfahrens besteht darin, dass zuvor unbekannte/neue Anomalien oder Defekte identifiziert werden können. Die Fehlerart muss nicht vorab bekannt sein, so dass auch ein (kosten-) aufwendiges Training des faltenden neuronalen Netzwerkes im Hinblick auf ein Erkennen einer bestimmten Anomalie entfällt. Es muss vorab nicht bekannt sein, „was genau“ im Eingangssignal gesucht wird. Vereinfacht gesagt, korrespondiert die Berechnung der Gram-Matrix-Variante zu einer Transformation des Eingangssignals in einen Raum, in dem Anomalien deutlicher zu Tage treten als im ursprünglichen Raum des Eingangssignals, während unwichtigere Unterschiede zwischen Eingangssignalen „eingeebnet“ werden. Dies ist ein Stück weit analog dazu, dass das Abdunkeln eines Raums und anschließende Beleuchten mit Schwarzlicht Farbinformationen von Gegenständen im Raum verwirft, jedoch fluoreszierende Substanzen hervorhebt.
-
Es ist weiterhin hervorzuheben, dass die hier betrachtete Gram-Matrix-Variante sich hinsichtlich ihrer Dimension und insbesondere wesentlich hinsichtlich der in ihr enkodierten Informationen bezüglich Anomalien von der Gram-Matrix unterscheidet. Letztere Gram-Matrix wird aus der vorbeschriebenen Sammelmatrix erhalten, in dem die Sammelmatrix derart mit ihrer Transponierten multipliziert wird, dass eine CxC (Gram-)Matrix mit entsprechend C·C Einträgen resultiert. Aus der Gram-Matrix extrahierbare Eigenschaften beziehen sich auf positionslose Eigenschaften wie eine Struktur eines Bauteils (etwa Holzmaserungen). Die Gram-Matrix-Variante ist besonders gut geeignet, um interessante Positionen innerhalb eines Eingangssignals, aber unabhängig von der genauen Art der Auffälligkeit zu ermitteln. Beispielsweise kann in einer Abfolge von Eingangssignalen, etwa in Bildsequenzen, zu vielen in Serie gefertigten Bauteilen mittels der Gram-Matrix-Variante ein Drift - z.B. minimale Veränderung, Abnutzung eines zur Fertigung verwendeten Werkzeugs, etc. - dieser Bauteile untereinander ermittelt werden, während durch Betrachtung der Gram-Matrix kein Drift identifiziert werden kann. Genauso kann natürlich auch ein Drift aus wiederholten Messungen an ein und demselben Bauteil analysiert werden. Je nachdem, nach welcher Schicht des Netzwerkes die Gram-Matrix-Variante oder die Gram-Matrix berechnet werden, unterscheiden sich weiterhin die Größen der Matrizen. Für die ersten Schichten ist das Eingangssignal, z.B. ein Bild, relativ groß und die Anzahl der angewandten Faltungen, Channels, noch klein; für spätere Schichten hingegen wird die Auflösung des Eingangssignals immer kleiner, dafür aber die Anzahl der Channels größer. Die Gram-Matrix-Variante liefert also gerade für die späten Schichten, die besonders viel semantische Informationen tragen, eine niedrig-dimensionale Repräsentation. Das ist zum Beispiel wichtig für Visualisierungen, Clustering Verfahren etc..
-
Gemäß einer beispielhaften Ausführungsform wird mindestens eine Gram-Matrix-Variante mindestens eines bekannten und anomaliefreien Eingangssignals als Vergleichsmatrix gewählt.
Damit kann eine Gram-Matrix-Variante eines bekannten, anomaliefreien Eingangssignals als Referenz gewählt werden, und ersetzt beispielsweise einen Vergleich auf Eingangssignalebene. Die Dimension der zu vergleichenden Objekte, also der Gram-Matrix-Varianten, kann je nach Schicht bzw. betrachtetem Block bedeutend geringer und ein Vergleich damit viel leichter sein, als bspw. ein pixelweiser Vergleich zwischen einem Referenz- und einem zu prüfenden Bild-Signal. Weiterhin kann ein OK-Cluster von Gram-Matrix-Varianten, welche sich jeweils auf bekannte und anomaliefreie Eingangssignale beziehen, zur Verfügung gestellt werden, und ein Vergleich der aus dem Eingangssignal abgeleiteten Gram-Matrix-Variante mit jeder der Gram-Matrix-Varianten aus dem OK-Cluster durchgeführt werden. Beispielsweise kann durch den Vergleich der Gram-Matrix-Variante eines mit einem Sensor aufgenommenen Bildsignals eines neuen Werkstücks/Bauteils mit den Gram-Matrix-Varianten in einem OK-Cluster, welche sich auf Bild-Signale von bekannten, anomaliefreien Werkstücken beziehen, das neue Werkstück auf Freiheit von bekannten und eventuell noch nicht bekannten Anomalien/Defekten getestet werden.
-
Gemäß einer beispielhaften Ausführungsform wird mindestens eine Gram-Matrix-Variante zu mindestens einem vorhergehenden Eingangssignal, welches durch einen Sensor zu einem früheren Zeitpunkt aufgezeichnet wurde, als Vergleichsmatrix gewählt. In diesem Zusammenhang kann sich das zu einem früheren Zeitpunkt aufgezeichnete Eingangssignal auf dasselbe Objekt, z.B. ein Werkstück oder Bauteil, beziehen. Durch den Vergleich von mindestens zwei, geeigneter Weise jedoch noch weiterer, Gram-Matrix-Varianten, welche sich auf dasselbe Objekt jedoch auf unterschiedliche, früher liegende Zeitpunkte beziehen, kann eine Drift des Objekts ermittelt werden. Die Drift wird durch den Vergleich möglichst einer Vielzahl, z.B. fünf, zehn, zwanzig oder fünfzig, von Gram-Matrix-Varianten, welche sich auf dasselbe Objekt aufgenommen zu unterschiedlichen Zeitpunkten beziehen, ermittelt. Z.B. kann damit - ohne die genaue Untersuchung des Objekts selbst - abgeschätzt werden, ob das Objekt brüchig wird, kleine Kratzer aufgetreten sind, wie gut die Qualität zum Zeitpunkt bspw. der letzten Aufnahme, des letzten Eingangssignals noch ist. In diesem Zusammenhang ist die Gram-Matrix-Variante insbesondere von Vorteil, da sie das Auffinden von örtlichen, d.h. stark lokalisierten Details, wie insbesondere kleine Anomalien, z.B. kleine Kratzer, in einem Eingangssignal ermöglicht. In anderen Methoden, mittels derer bestimmte Eigenschaften aus den Eigenschaftskarten extrahiert werden können, schlagen sich derartige lokale Feinheiten und Details in der Struktur eines Eingangssignals nicht nieder. Insbesondere kleine Anomalien, wie etwa in einem Bild sichtbare Kratzer oder Risse, gehen häufig in anomaliefreien Anteilen des Eingangssignals unter. Mit der Gram-Matrix-Variante werden gerade derartige kleine Anomalien herausgearbeitet. So ist es beispielsweise für die mechanische Stabilität eines Bauteils unerheblich, ob 98 % oder 99,9 % des Bildinhalts anomaliefrei sind. Ein einziger Kratzer oder Riss kann die Struktur des Bauteils so entscheidend schwächen, dass die Stabilität nicht mehr gewährleistet ist.
-
Es ist auch möglich, dass mindestens eine Gram-Matrix-Variante, geeigneter Weise eine Mehrzahl - bspw. fünf, zehn, zwanzig, fünfzig, hundert oder sogar tausend - Gram-Matrix-Varianten als Vergleichsmatrizen herangezogen werden, welche sich auf Eingangssignale jeweils anderer, unterschiedlicher Objekte bzw. Bauteile einer seriellen Fertigung beziehen. Ohne eine genauere visuelle Analyse bzw. Prüfung der einzelnen Objekte durch z.B. einen Prüfer im Fertigungsbetrieb kann auf Ebene des Vergleichs aller oder einiger Gram-Matrix-Varianten untereinander bereits abgeschätzt werden, ob eventuell Auffälligkeiten wie kleine Kratzer oder Detailfehler an einigen der Bauteile vorliegen, oder nicht. Weiterhin kann beispielsweise abgeschätzt werden, ob Abstumpfungen eines für die Fertigung mehrerer Objekte verwendeten Werkzeugs auftreten.
-
Wenn bestimmte Anomalie-Muster bekannt sind, kann alternativ auch eine Gram-Matrix-Variante zu einem Eingangssignal mit dem bekannten Anomalie-Muster als Vergleichsmatrix herangezogen werden. Eine derartige Vergleichsmatrix kann dann also als „Steckbrief“ für die Suche nach bestimmten Anomalien dienen. Im Beispiel der Überwachung einer Festplatte zeigt etwa ein „Grrp-grrp-grrp-grrp...“ einzelne defekte Sektoren und damit einen zunächst weniger schwerwiegenden Fehler an. „Sitt-dück-sitt-dück...“ hingegen zeigt ein Anschlagen des Lesekopfes an den Endanschlägen an, und hier besteht dringendster Handlungsbedarf, um überhaupt noch Daten zu retten.
-
Die Identifizierung von Anomalien mit „Steckbriefen“ bekannter Anomalien kann auch beispielsweise bei der Wartung von Maschinen oder Hausgeräten hilfreich sein. So können beispielsweise die drei bekannten häufigsten Fehlerquellen identifiziert werden, so dass der Monteur bei seinem ersten Besuch die jeweiligen Ersatzteile dabei hat und ein zweiter Besuch möglichst entbehrlich wird.
-
Gemäß einer beispielhaften Ausführungsform wird eine bzw. werden mehrere ausgewählte oder alle Komponenten der Gram-Matrix-Variante des Eingangssignals mit den korrespondierenden Komponenten mindestens einer Vergleichsmatrix verglichen. Aus dem Ergebnis dieses Vergleichs wird daraufhin das gesuchte Klassifikationsergebnis und/oder Regressionsergebnis ausgewertet. In diesem Zusammenhang können beispielsweise die Diagonalelemente der jeweiligen Gram-Matrix-Varianten miteinander verglichen werden, oder auch jeweils bestimmte Nichtdiagonalelemente. Es kann beispielsweise bekannt sein, dass sich eine bestimmte Komponente der Gram-Matrix-Varianten auf räumlich in der rechten oberen Ecke lokalisierte Eigenschaften eines Eingangssignals, z.B. eines Bildsignals, bezieht. Besitzt das mit dem Eingangssignal erfasste Bauteil gerade an der im Eingangssignal in der rechten oberen Ecke lokalisierten Stelle eine sicherheitskritische Beschaffenheit, so kann insbesondere die korrespondierende Komponente der Gram-Matrix-Variante in einem Vergleich betrachtet und daraus das Klassifikationsergebnis bzw. Regressionsergebnis abgeleitet werden.
-
Es ist beispielsweise besonders vorteilhaft, wenn im Rahmen des vorbeschriebenen Vergleichs ein Anomalie-Score ermittelt wird, welcher beispielsweise durch die Kosinus-Ähnlichkeit zwischen jeweils einer Vergleichsmatrix und der Gram-Matrix-Variante des Eingangssignals gegeben ist.
-
Gemäß einer beispielhaften Ausführungsform ist das faltende neuronale Netzwerk, Convolutional Neural Network, bereits auf einem Datensatz von Eingangssignalen vortrainiert. Bei den vorgenannten Eingangssignalen kann es sich insbesondere ebenfalls um Sensorsignale handeln. Es kann sich dabei aber auch zusätzlich oder alternativ um künstlich erzeugte Eingangssignale handeln. Ein Training des faltenden neuronalen Netzwerks ist für eine Anwendung des vorgeschlagenen Verfahrens also nicht mehr notwendig, so dass Arbeitskapazitäten und Kosten gespart werden können. Es können beispielsweise bekannte, vielfach eingesetzte und gut funktionierende Netzwerke wie z.B. ResNet genutzt werden. Vortrainierte Gewichte sind in diesem Fällen bereits bekannt und können einfach geladen werden. Ohne die Notwendigkeit eines Trainings können vorgefertigte, im faltenden neuronalen Netzwerk bereits implementierte, „mitgelieferte“ Elemente verwendet werden. Z.B. werden in ResNet mehrere Schichten des Netzwerks zu einem Block zusammengefasst. Nach jedem Block sind die korrespondierenden Eigenschaftskarten des jeweiligen Blocks zugänglich, so dass mittels des hier vorgeschlagenen Verfahrens eine entsprechende, auf den jeweiligen Block bezogene Gram-Matrix-Variante ermittelt werden kann. Bei dem Vergleich mit einer Vergleichsmatrix muss sich letztere stets auf den gleichen Block des faltenden neuronalen Netzwerks beziehen. Es kann festgelegt werden, dass sich die Gram-Matrix-Varianten auf einen bestimmten Block - z.B. den ersten, den zweiten, den fünften oder den zehnten Block - eines faltenden neuronalen Netzwerks beziehen sollen. Beispielsweise gibt es in einem Resnet50-Netzwerk 50 Schichten, die auf vier Blöcke aufgeteilt sind. Hier sind insbesondere die mittleren beiden Blöcke für die Bildung der Gram-Matrix-Variante geeignet.
-
Es können beispielsweise Zeitreihen von Messwerten eines Sensors analysiert werden, die sich beispielsweise auf einen Strom, einen Widerstand oder eine Temperatur beziehen. Hier kann die Faltung beispielsweise auf der Zeitachse ausgeführt werden.
-
Gemäß einer beispielhaften Ausführungsform werden durch Beobachtung eines in Serie gefertigten Bauteils im Rahmen der bildgestützten Qualitätskontrolle mehrere Bilder und/oder Video-Bilder als Eingangssignale, d.h. in diesem Fall insbesondere Sensorsignale, aufgenommen. In diesem Zusammenhang können, wie auch weiter oben bereits dargelegt, in vorteilhafter Weise Driftkurven identifiziert werden. Insbesondere eignet sich ein vorgeschlagenes Verfahren zu Online-Überwachung von Fertigungsketten, in dem innerhalb einer Fertigungskette ein Bauteil „verfolgt“ und dabei überwacht wird. Durch das durch die Überwachung erreichte frühzeitige Erkennen von Anomalien, z.B. sicherheitsrelevanten Mängeln, bei einem Bauteil können etwaige, später auftretende Probleme - auch in der Fertigungskette - vermieden werden.
-
Gemäß einer beispielhaften Ausführungsform umfasst das vorgeschlagene Verfahren weiterhin die im Folgenden beschriebenen Schritte. In einem weiteren Verfahrensschritt wird aus dem Klassifikationsergebnis und/oder dem Regressionsergebnis ein Ansteuersignal ermittelt. Mittels dieses Ansteuersignals wird daraufhin das technische System angesteuert.
-
Gemäß einer weiteren beispielhaften Ausführungsform kann in Antwort darauf, dass das vorgenannte Klassifikationsergebnis und/oder Regressionsergebnis mindestens eine Anomalie in dem Eingangssignal anzeigt, das technische System eine der folgenden Aktionen ausführen: es kann ein Warnsignal ausgegeben werden, aufgrund dessen ein Prüfer/Arbeiter/eine mit z.B. der Fertigung vertraute Person alarmiert und zur Prüfung bzw. zum Eingreifen hinzugezogen werden kann. Als weitere oder zusätzliche Aktion ist eine zumindest zeitweise, und/oder zumindest teilweise, Unterbrechung eines laufenden Prozesses oder einer laufenden Bewegung möglich. Das technische System kann auch beispielsweise in einem abgesicherten Modus mit reduzierter Funktionalität betrieben werden. So kann beispielsweise bei einem Fahrzeug die Höchstgeschwindigkeit beschränkt werden, und/oder es können riskante Fahrmanöver, wie etwa Überholmanöver, unterbunden werden. Das Fahrzeug kann auch beispielsweise auf einer vorgeplanten Notstopptrajektorie zum Halten gebracht werden. Weiterhin kann eine Aktion darin bestehen, dass ein Bauteil, durch dessen Beobachtung das Eingangssignal erhalten wurde, dem Ausschuss zugeführt wird.
-
Weiterhin ist es beispielsweise möglich, dass anhand des Klassifikationsergebnisses und/oder Regressionsergebnisses mindestens ein Bauteil des technischen Systems identifiziert wird, welches defekt oder verschlissen ist.
-
Das technische System kann insbesondere beispielsweise eine computergestützte Maschine, einen Roboter, ein Fahrzeug, eine Fertigungsmaschine, ein Überwachungssystem oder ein medizinisches Bildgebungssystem umfassen.
-
Es ist ebenfalls möglich einen Datensatz von Eingangssignalen hinsichtlich (einiger) ihrer Eigenschaften, welche sich auf die korrespondierende Gram-Matrix-Variante beziehen, zu indexieren. Z.B. kann eine Komponente der Gram-Matrix-Variante eines bekannten Bildes aus der seriellen Produktion von Bauteilen sich auf einen Kratzer in einer rechten oberen Ecke eines Bauteils beziehen. In vielen Aufnahmen aus der Produktion kann dann mittels der korrespondierenden Gram-Matrix-Varianten automatisch nach Bildern „ähnlich“ zum Bild mit dem vorgenannten Kratzer gesucht werden, ohne dass manuell aufwendige Suchkriterien z.B. auf Bild-Pixel-Ebene definiert werden müssen. Vielfach ist ein Vergleich auf Pixel-Ebene darüber hinaus nicht unter realistischem Aufwand möglich, da ein Bauteil in dem korrespondierenden Bildsignal gegenüber z.B. einem Referenzbauteil in seiner (globalen) Position im Bild leicht verrutscht sein kann, oder die Beleuchtung sich geringfügig unterscheidet, so dass der Pixel-Vergleich einen Unterschied anzeigen würde, der tatsächlich nicht vorhanden ist. In der Gram-Matrix-Variante schlagen sich derartige Artefakte im pixelweisen Vergleich auch aufgrund der vorherigen Prozessierung der Eingangssignale durch das faltbare neuronale Netzwerk nicht nieder.
-
Weiterhin bezieht sich die Erfindung auf ein Computerprogramm mit maschinenlesbaren Anweisungen, welche, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der zuvor und im folgenden beschriebenen erfindungsgemäßen Verfahren auszuführen. Ebenfalls umfasst die Erfindung einen maschinenlesbaren Datenträger, auf welchem das vorstehende Computerprogramm gespeichert ist, sowie einen mit vorgenanntem Computerprogramm oder vorgenanntem maschinenlesbaren Datenträger ausgerüsteten Computer.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Ausführungsbeispiel
-
Es zeigt:
- 1 ein Ausführungsbeispiel eines hier vorgeschlagenen Verfahrens.
-
In 1 sind die Schritte eines hier vorgeschlagenen, beispielhaften Verfahrens zum Klassifizieren und/oder zur Regression von Eingangssignalen gezeigt. Das dargestellte Verfahren ist dabei insbesondere auf die Erkennung eines Vorhandenseins von Anomalien und eine mögliche räumliche Lokalisierung dieser Anomalien in den Eingangssignalen hin ausgerichtet. In Verfahrensschritt 101 wird ein Eingangssignal 1 bereitgestellt. Das Eingangssignal 1 kann beispielsweise ein unbewegtes Bild sein. Es ist auch möglich, dass es sich bei dem Eingangssignal 1 um ein Video-, Radar-, LiDAR-, Ultraschall-, Audio-, Bewegungs- oder Wärmebild handelt. Das Eingangssignal 1 kann beispielsweise mittels eines Systems 2, bestehend aus einem Computer 21 und einem Sensor 22, bezogen werden. Bei dem Sensor 22 kann es sich um einen Bild-, Video-, Radar-, LiDAR-, Ultraschall-, Audio, Bewegungs-, oder Wärmesensor handeln. In Verfahrensschritt 102 wird ein faltendes neuronales Netzwerk 3, Convolutional Neural Network (CNN) bereitgestellt. Letzteres kann insbesondere bereits mit Sensorsignalen, oder aber zusätzlich/alternativ von künstlich (z.B. mit einem GAN-Netz) generierten Eingangssignalen, vortrainiert worden sein. Die Nutzung eines bereits vortrainierten Netzwerkes ist insbesondere vorteilhaft, da in diesem Fall vortrainierte Gewichte bekannt sind und geladen werden können. Weiterhin ist die direkte Nutzung bzw. Anwendung vorgefertigter Elemente möglich, ohne dass ein spezifisches Training des faltenden neuronalen Netzwerks zur Anwendung des hier vorgeschlagenen Verfahrens notwendig wäre. Damit wird ein Zeit- und Kostenaufwand reduziert und es kann insbesondere auf funktionierende und in ihrer Ausführung verlässliche faltende neuronale Netzwerke zurückgegriffen werden.
-
Das faltende neuronale Netzwerk ist dazu ausgeführt, aus einem Eingangssignal 1 durch Anwendung von Faltungen, Convolutions, und/oder Zusammenlegungen, Pooling, eine Anzahl C von Eigenschaftskarten 4 zu erstellen. Die Eigenschaftskarten 4 weisen dabei jeweils eine Gesamtzahl von HxW Eigenschaftswerten (41, 42, 53) auf, und können in einer Matrix 40 mit H Zeilen und W Spalten angeordnet sein.
-
In Schritt 103a wird das Eingangssignal 1 durch das faltende neuronale Netzwerk 3 eingelesen, welches daraufhin in Schritt 103b C Eigenschaftskarten 4 zu dem Eingangssignal 1 erstellt. Faltende neuronale Netzwerke weisen typischerweise einen Schichten-Aufbau auf. Nach Anwendung von einer bestimmten Anzahl C von Faltungskernen jeweils auf das Eingangssignal wird anschließend jeweils ein Pooling, eine Zusammenlegung angewandt und es werden C Eigenschaftskarten erhalten. Diese können in einer folgenden Schicht des faltenden neuronalen Netzwerks jeweils wieder einer bestimmten - möglicherweise von der Anzahl der Faltungskerne in der vorhergehenden Schicht abweichenden - Anzahl C von Faltungskernen und einem anschließenden Pooling unterworfen werden. Damit resultiert auch nach dieser Schicht eine bestimmte Anzahl von Eigenschaftskarten. Verfügbare und gebräuchliche faltbare neuronale Netzwerke wie etwa ResNet fassen mehrere Schichten zu einem Block zusammen. Die Eigenschaftskarten, welche nach einem auszuwählenden/festzulegenden Block oder einer auszuwählenden-/festzulegenden Schicht des faltenden neuronalen Netzwerks erhalten werden, sollen im Rahmen des hier diskutierten Verfahrens verwendet werden.
-
In Verfahrensschritt 104 wird aus allen C Eigenschaftskarten 4 eine Sammelmatrix 5 erstellt, in dem in jeder Spalte der Sammelmatrix 5 jeweils die Zeilenvektoren einer Eigenschaftskarte 4 Zeile für Zeile hintereinander angeordnet werden. Daraufhin wird in Schritt 105 die Sammelmatrix 5 derart mit ihrer Transponierten 6 multipliziert, dass eine (HxW)x(HxW) Gram-Matrix-Variante 7 mit (H.W).(H.W) Einträgen resultiert. Dies wird dadurch erreicht, dass das Matrixprodukt S·ST gebildet wird, in dem S die Sammelmatrix 5 angibt, sowie ST die Transponierte 6 der Sammelmatrix 5.
-
Die erhaltene Gram-Matrix-Variante 7 wird in Schritt 106 mit mindestens einer vorgegebenen (HxW)x(HxW) Vergleichsmatrix 8 verglichen. Aus dem Ergebnis des Vergleichs wird daraufhin in Schritt 107 das gesuchte Klassifikationsergebnis und/oder das gesuchte Regressionsergebnis ausgewertet. Als Vergleichsmatrix 8 kann dabei die (HxW)x(HxW) Gram-Matrix-Variante mindestens eines bekannten und anomaliefreien Eingangssignals gewählt werden. Beispielsweise kann aus einer Vielzahl von anomaliefreien Eingangssignalen eine Vielzahl korrespondierender (HxW)x(HxW) Gram-Matrix-Varianten abgeleitet werden, welche zusammengefasst werden in einem „OK-Cluster“ von Vergleichsmatrizen 8. Alternativ kann mindestens eine Gram-Matrix-Variante zu mindestens einem vorhergehenden Eingangssignal 1, welches durch einen Sensor 22 zu einem früheren Zeitpunkt aufgezeichnet wurde, als Vergleichsmatrix 8 gewählt werden. Letztgenannte Option kann sich z.B. auf eine Online-Überwachung/Online-Funktionsprüfung eines Bauteils 10 beziehen und/oder allgemein auf die Beobachtung eines in Serie gefertigten Bauteils 10 im Rahmen der bildgestützten Qualitätskontrolle. In vorgenannten Fällen kann das Bauteil 10 in bestimmten Zeitabständen durch einen Sensor aufgenommen bzw. abgetastet werden. Z.B. können zu bestimmten und unterschiedlichen Zeitpunkten Bilder oder Video-Bilder des Bauteils 10 als Eingangssignale aufgenommen werden. Die jeweils korrespondierende Eingangssignale 1 können daraufhin jeweils gemäß dem vorgeschlagenen Verfahren verarbeitet werden und die Gram-Matrix-Varianten 5, welche sich auf dasselbe Bauteil 10 aber unterschiedliche/frühere Aufnahmezeitpunkte beziehen, eine Abschätzung bzw. das Auffinden von (bereits kleinen) Alterungseffekten am Bauteil 10 - etwa Abstumpfen, Entwicklung von kleinen Kratzern oder Rissen etc. - erlauben.
-
Ein Vergleich der Gram-Matrix-Variante 5 des Eingangssignals 1 mit den korrespondierenden Komponenten der Vergleichsmatrix 8 oder den jeweils korrespondierenden Komponenten der Vergleichsmatrizen 8 kann auf Komponentenebene stattfinden, wobei dabei z.B. eine, mehrere ausgewählte oder alle Komponenten der Gram-Matrix-Variante 5 und der Vergleichsmatrix 8 oder der Vergleichsmatrizen 8 numerisch miteinander verglichen werden. Aus dem Ergebnis dieses Vergleichs kann das gesuchte Klassifikationsergebnis und/oder Regressionsergebnis ausgewertet werden. Im Rahmen des Vergleichs kann beispielsweise auch ein Anomalie-Score ermittelt werden, der z.B. durch die Kosinus-Ähnlichkeit zwischen einer Vergleichsmatrix 8 und der Gram-Matrix-Variante 5 des Eingangssignals 1 gegeben sein kann.
-
In einem optionalen Verfahrensschritt 108 kann aus dem Klassifikationsergebnis und/oder Regressionsergebnis ein Ansteuersignal 11 ermittelt werden. In einem weiteren optionalen Verfahrensschritt 109 kann daraufhin das technische System 12 unter Nutzung des ermittelten Ansteuersignals 11 angesteuert werden.
-
Das technische System 12 kann insbesondere beispielsweise eine computergestützte Maschine, einen Roboter, ein Fahrzeug, eine Fertigungsmaschine, ein Überwachungssystem oder ein medizinisches Bildgebungssystem umfassen.
-
Sollte das Klassifikationsergebnis und/oder das Regressionsergebnis mindestens eine Anomalie in dem Eingangssignal 1 anzeigen, so kann das technische System 12 in Antwort darauf beispielsweise ein Warnsignal ausgeben, um einen Bediener, Anwender oder Nutzer zu warnen und/oder für eine nähere Prüfung des Bauteils heranzuziehen. Zusätzlich oder alternativ kann das technische System 12 einen laufenden Prozess und/oder eine laufende Bewegung zumindest zeitweise, und/oder zumindest teilweise, unterbrechen. Das technische System kann auch beispielsweise in einem abgesicherten Modus mit reduzierter Funktionalität betrieben werden. Eine weitere oder alternative Option für eine Antwort auf eine angezeigte Anomalie besteht darin, dass ein Bauteil 10, durch dessen Beobachtung das mit der Anomalie verknüpfte Eingangssignal 1 erhalten wurde, durch das im entsprechenden Fall zutreffende System aus der Gruppe der vorgenannten Systeme, dem Ausschuss zugeführt wird. Z.B. kann ein Roboter 12 durch ein Ansteuersignal dazu veranlasst werden, ein Bauteil, durch Betrachtung dessen Gram-Matrix-Variante 5 das Vorhandensein einer Anomalie bei dem Bauteil 10 aufgedeckt wurde, dem Ausschuss zuführen oder alternativ einer Gruppe von Bauteilen zuordnen, die einer anschließenden gesonderten und genauen Prüfung durch einen Prüfer bedürfen.
-
Es ist weiterhin möglich, dass anhand des Klassifikationsergebnisses und/oder des Regressionsergebnisses mindestens ein Bauteil 10 des technischen Systems 12 selbst identifiziert wird, welches defekt und/oder verschlissen ist. In letztgenanntem Fall bezieht sich die Variante des vorgeschlagenen Verfahrens auf eine automatisierte sensorgestützte Verschleiß- bzw. Alterungsprüfung.
