DE102021208769B3 - erfahren und System zur Analyse eines Betriebs eines Roboters - Google Patents

Abstract

Ein Verfahren zur Analyse eines Betriebs eines Roboters (1) weist ein Durchführen einer Trainingsphase mit den Schritten: Erhalten (S10) eines ersten Datensatzes mit wenigstens einem Zeitverlauf wenigstens eines Zustandsparameters eines ersten Roboters (1); und Trainieren (S20) eines künstlichen Neuronalen Netzes, welches einen ersten Autoencoder mit einem Encoder (11), der den ersten Datensatz auf Zeitverlaufsmuster und deren Aktivierung abbildet, und einem Decoder (12), der mit diesen Zeitverlaufsmustern den ersten Datensatz rekonstruiert; und einen zweiten Autoencoder mit einem Encoder (21), der die Zeitverlaufsmuster und deren Aktivierung auf Mustergruppen abbildet, und einem Decoder (22), der mit diesen Mustergruppen die Zeitverlaufsmuster und deren Aktivierung rekonstruiert, aufweist; und ein Durchführen einer Monitoringphase mit den Schritten: Erhalten (S30) eines zweiten Datensatzes mit wenigstens einem Zeitverlauf des wenigstens einen Zustandsparameters des ersten oder eines zweiten Roboters; und Identifizieren (S40) wenigstens einer der Mustergruppen des trainierten zweiten Autoencoders innerhalb des zweiten Datensatzes auf.

Description

• Die vorliegende Erfindung betrifft ein Verfahren und System zur Analyse eines Betriebs eines Roboters sowie ein Computerprogramm bzw. Computerprogrammprodukt hierzu.
• Die DE 10 2020 210 537 A1 betrifft ein Verfahren zum Handhaben einer Lastanordnung mit einem Roboter, das die Schritte umfasst: Aktivieren eines Hubzustands eines Greifers des Roboters zum Lastanheben; Ermitteln eines Parameters eines Zeitverlaufs einer lastanordnungsabhängigen Kraftgröße mithilfe wenigstens eines Sensors des Roboters während einer Bewegung der angehobenen Lastanordnung; Klassifizieren einer vom Greifer angehobenen Lastanordnung mithilfe eines maschinell gelernten Modells auf Basis des ermittelten Parameters; und wenigstens einen der Schritte: Ausführen eines ersten Prozesses mit dem Roboter, falls die Lastanordnung in eine erste Klasse klassifiziert worden ist; und/oder Ausführen eines zweiten Prozesses mit dem Roboter, falls die Lastanordnung in eine zweite Klasse klassifiziert worden ist.
• Die DE 10 2019 220 574 A1 betrifft ein Verfahren und eine Vorrichtung zum Testen einer Maschine, wobei das Verfahren Folgendes umfasst: Bereitstellen einer Menge von beispielhaften Trajektorien, Auswählen einer Untermenge der Menge, Bestimmen eines Ausgangs der Maschine für eine Bewegung der Maschine gemäß einer beispielhaften Trajektorie einer Untermenge, Bestimmen des Ergebnisses des Testens in Abhängigkeit vom Ausgang, wobei die Untermenge in Abhängigkeit von einer Bewertung ausgewählt wird, die eine Differenz zwischen der Menge und der Untermenge charakterisiert, wobei die Bewertung in Abhängigkeit von einem Ähnlichkeitsmaß bestimmt wird, das eine Differenz zwischen einer ersten beispielhaften Trajektorie der Menge und einer zweiten beispielhaften Trajektorie der Menge charakterisiert.
• Die DE 10 2019 214 009 B3 betrifft ein Verfahren zum Analysieren von Sensormessdaten eines Roboters oder Manipulators, nach dem folgende Schritte durchgeführt werden: Empfangen oder Ermitteln eines Datensatzes von Sensormessdaten, die einen zeitlichen Verlauf einer Messgröße darstellen; Identifizieren wenigstens eines sich wenigstens näherungsweise wiederholenden Musters im zeitlichen Verlauf der Messgröße in dem Datensatz; Unterteilen des Datensatzes in mehrere Abschnitte, wobei jeder Abschnitt einem Zeitabschnitt entspricht, der wenigstens näherungsweise die Dauer des sich wenigstens näherungsweise wiederholenden Musters hat; und Ermitteln, in welchen Abschnitten das sich wenigstens näherungsweise wiederholende Muster oder ein davon innerhalb eines Toleranzbereichs abweichendes Muster auftritt.
• Die DE 10 2018 203 234 A1 betrifft ein Verfahren zur vorausschauenden Beurteilung wenigstens eines Ziel-Roboters, das die Schritte umfasst: Ermitteln von anomalen Zustandswerten des Ziel-Roboters und/oder wenigstens eines weiteren Roboters; Klassifizieren der anomalen Zustandswerte in eine von mehreren Klassen; überwachtes maschinelles Lernen einer Zuordnung zwischen Zustandswerten und den Klassen auf Basis der klassifizierten anomalen Zustandswerte; Erfassen von Zustandswerten des Ziel-Roboters; und Prognostizieren eines Zustands des Ziel-Roboters auf Basis dieser erfassten Zustandswerte und der maschinell gelernten Zuordnung.
• Die DE 10 2017 125 330 B3 betrifft eine Technik zur Auslösung vordefinierter Funktionen an Robotern durch einen Bediener, wobei in einem Generierungsverfahren virtuelle Funktionsauslöser erzeugt werden, externe Lasteinwirkungen auf einen Roboter erfasst werden, der Lasteinwirkungsort lokalisiert und ein charakteristisches Referenz-Einwirkungsprofil erzeugt werden und sich mit einem erzeugten virtuellen Funktionsauslöser Roboterfunktionen verknüpfen lassen, um diese bei Betätigung des virtuellen Funktionsauslösers zu aktivieren.
• Die DE 10 2014 226 787 B3 betrifft ein Verfahren zum Steuern eines Manipulators, das das Bereitstellen einer Mehrzahl von Referenzdatensätzen umfasst, wobei während einer Betriebsfahrt eine Bahnfortschrittsvariable gebildet wird.
• Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es, einen Betrieb eines Roboters zu analysieren bzw. in Zeitverläufen von Roboterdaten signifikante Muster bzw. Abschnitte zu identifizieren.
• Hierdurch kann in einer Ausführung eine Roboteranomalie oder ein Ereignis, beispielsweise ein Umgebungskontakt, detektiert oder auch ein Zeitverlauf klassifiziert, beispielsweise eine bestimmte Roboterbewegung innerhalb eines Arbeitsprozesses wiedererkannt werden. Damit kann in einer Ausführung ein Betrieb eines Roboters analysiert, überwacht und/oder modifiziert werden, beispielsweise, indem detektierte Roboteranomalien überprüft werden oder eine, insbesondere vorausschauende, Wartung auf Basis detektierte Roboteranomalien durchgeführt wird, ein Betriebsablauf auf Basis eines detektierten Ereignisses, beispielsweise Umgebungskontakts, abgeändert und/oder auf dieses Ereignis hin überwacht wird, oder dergleichen.
• Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 9, 10 stellen ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Anweisungen, die das Computerprogramm bzw. Computerprogrammprodukt enthält, sind in einer Ausführung auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte Anweisungen. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
• Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zur Analyse eines Betriebs eines Roboters ein Durchführen einer Trainingsphase auf, die die Schritte aufweist:
• - Erhalten, in einer Ausführung Ermitteln, eines ersten Datensatzes mit einem oder mehreren Zeitverläufen von (jeweils) einem oder mehreren Zustandsparametern eines ersten Roboters; und
• - Trainieren eines künstlichen Neuronalen Netzes.
• Nach einer Ausführung der vorliegenden Erfindung weist dieses künstliche Neuronale Netz
• - einen ersten Autoencoder mit einem Encoder, der den ersten Datensatz auf Zeitverlaufsmuster und deren Aktivierung abbildet, und einem Decoder, der mit diesen Zeitverlaufsmustern den ersten Datensatz rekonstruiert; und
• - einen zweiten Autoencoder mit einem Encoder, der die Zeitverlaufsmuster und deren Aktivierung auf Mustergruppen und in einer Weiterbildung deren Aktivierung abbildet, und einem Decoder, der mit diesen Mustergruppen und in der Weiterbildung deren Aktivierung die Zeitverlaufsmuster und deren Aktivierung rekonstruiert;
auf.
• Nach einer Ausführung der vorliegenden Erfindung weist das Verfahren nach dem Durchführen der Trainingsphase ein Durchführen einer Monitoringphase auf, die die Schritte aufweist:
• - Erhalten eines zweiten Datensatzes mit einem oder mehreren Zeitverläufen des bzw. der Zustandsparameter(s) des ersten oder eines zweiten Roboters; und
• - Identifizieren wenigstens einer der Mustergruppen des trainierten zweiten Autoencoders innerhalb des zweiten Datensatzes.
• Dieses Identifizieren kann ein(e) Analys(i)e(ren) des Betriebs dieses Roboters, zu dem der zweiten Datensatz erhalten worden ist, im Sinne der vorliegenden Erfindung darstellen. Gleichermaßen kann in einer Ausführung eine (weitergehende) Analyse auf Basis dieser identifizierten wenigstens einen Mustergruppe durchgeführt werden, in einer Ausführung automatisch und/oder manuell bzw. durch einen Anwender. Ein Zeitverlauf kann in einer Ausführung eine Zeitreihe umfassen, insbesondere sein.
• In einer Ausführung weist der erste Autoencoder, der auch als Low-leve-Autoencoder bezeichnet werden kann, wenigstens einen Variational Autoencoder auf.
• Der zweite Autoencoder kann auch als High-leve-Autoencoder bezeichnet werden.
• In einer Ausführung weist der Encoder des zweiten Autoencoders wenigstens ein Attention-basiertes künstliches Neuronales Netz (attention-based neural network), insbesondere wenigstens einen Multihead Attention Block, auf. Zusätzlich oder alternativ weist in einer Ausführung der Decoder des zweiten Autoencoders wenigstens ein Capsule Neural Network auf.
• Durch solche Autoencoder können in einer Ausführung Mustergruppen in Zeitverläufen von Roboterdaten besonders effizient maschinell gelernt identifiziert werden.
• In einer Ausführung hängt der Zustandsparameter von wenigstens einer Position und/oder Orientierung einer roboterfesten Referenz, insbesondere eines Endeffektors und/oder einer oder mehrerer Achsen bzw. Antriebe, und/oder von wenigstens einer Achslast des (jeweiligen) Roboters ab, in einer Weiterbildung gibt er diese Position(en) und/oder Orientierung(en) und/oder Achslast(en) und/oder zeitliche Änderungen dieser Position(en) und/oder Orientierung(en) und/oder Achslast(en)an. Zusätzlich oder alternativ ist, in einer Ausführung wird, der Zustandsparameter mittels eines oder mehrerer, in einer Ausführung roboterseitiger bzw. -fester, Sensoren erfasst.
• Solche Zustandsparameter eignen sich aufgrund ihrer Signifikanz besonders, um einen Betrieb eines Roboters zu überwachen und/oder zu modifizieren.
• In einer Ausführung wird die identifizierte Mustergruppe in dem zweiten Datensatz, in einer Ausführung optisch bzw. visuell, markiert. Dadurch kann sich in einer Ausführung ein Anwender auf besonders relevante Abschnitte in Zeitverläufen konzentrieren.
• In einer Ausführung wird auf Basis der identifizierte Mustergruppe eine Roboteranomalie detektiert. Dadurch kann in einer Ausführung eine, insbesondere vorausschauende, Wartung des Roboters verbessert werden.
• Zusätzlich oder alternativ wird in einer Ausführung ein Ereignis, beispielsweise ein, insbesondere unvorhergesehener oder planmäßiger, Umgebungskontakt, detektiert. Dadurch kann in einer Ausführung ein Betrieb des Roboters besonders vorteilhaft, beispielsweise auf unvorhergesehene Kollisionen, überwacht, und/oder, beispielsweise in Abhängigkeit von einem planmäßigen Umgebungskontakt, modifiziert, beispielsweise eine Aktion in Abhängigkeit von einem planmäßigen Umgebungskontakt durchgeführt werden.
• Zusätzlich oder alternativ wird in einer Ausführung der Zeitverlauf des zweiten Datensatzes klassifiziert, in einer Ausführung dahingehend, ob der Roboter dabei eine bestimmte Aktion durchgeführt hat und/oder bestimmte Rand-, insbesondere Umgebungsbedingungen vorgelegen haben. Dann kann der entsprechende Zeitverlauf beispielsweise aufgrund dieser (automatischen) Klassifikation zum maschinellen Lernen genutzt werden.
• Vorstehend wurden nur einige Beispiele aufgezeigt, wie eine identifizierte Mustergruppen innerhalb eines Datensatzes mit einem oder mehreren Roboter-Zustandsparameter-Zeitverläufen zum Analysieren, Überwachen und/oder Modifizieren eines Betriebs eines Roboters vorteilhaft genutzt werden kann. Allgemein wird in einer Ausführung ein Betrieb des ersten oder zweiten Roboters auf Basis der identifizierten Mustergruppe, in einer Ausführung auf Basis der in dem zweiten Datensatz markierten Mustergruppe und/oder der detektierten Roboteranomalie und/oder des detektierten Ereignisses und/oder des klassifizierten Zeitverlaufs des zweiten Datensatzes, analysiert, überwacht und/oder modifiziert. Wie vorstehend ausgeführt, kann das Identifizieren bereits ein(e) Analys(i)e(ren) des Betriebs des Roboters im Sinne der vorliegenden Erfindung darstellen oder gleichermaßen in einer Ausführung eine (weitergehende) Analyse auf Basis dieser identifizierten wenigstens einen Mustergruppe durchgeführt werden.
• Nach einer Ausführung der vorliegenden Erfindung ist ein System zur Analyse eines Betriebs eines Roboters, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
• - Mittel zum Durchführen einer Trainingsphase, mit den Schritten:
  • - Erhalten eines ersten Datensatzes mit wenigstens einem Zeitverlauf wenigstens eines Zustandsparameters eines ersten Roboters; und
  • - Trainieren eines künstlichen Neuronalen Netzes, welches
    • einen ersten Autoencoder mit einem Encoder, der den ersten Datensatz auf Zeitverlaufsmuster und deren Aktivierung abbildet, und einem Decoder, der mit diesen Zeitverlaufsmustern den ersten Datensatz rekonstruiert; und
    • einen zweiten Autoencoder mit einem Encoder, der die Zeitverlaufsmuster und deren Aktivierung auf Mustergruppen abbildet, und einem Decoder, der mit diesen Mustergruppen die Zeitverlaufsmuster und deren Aktivierung rekonstruiert;
    aufweist; und
• - Mittel zum Durchführen einer Monitoringphase, mit den Schritten:
  • - Erhalten eines zweiten Datensatzes mit wenigstens einem Zeitverlauf des wenigstens einen Zustandsparameters des ersten oder eines zweiten Roboters; und
  • - Identifizieren wenigstens einer der Mustergruppen des trainierten zweiten Autoencoders innerhalb des zweiten Datensatzes.
• In einer Ausführung weist das Mittel zum Durchführen einer Trainingsphase auf:
• - Mittel zum Erhalten eines ersten Datensatzes mit wenigstens einem Zeitverlauf wenigstens eines Zustandsparameters eines ersten Roboters;
• - das künstliche Neuronale Netz, welches den ersten Autoencoder und den zweiten Autoencoder aufweist; und/oder
• - Mittel zum Trainieren des künstlichen Neuronalen Netzes.
• In einer Ausführung weist das Mittel zum Durchführen einer Monitoringphase auf:
• - Mittel zum Erhalten eines zweiten Datensatzes mit wenigstens einem Zeitverlauf des wenigstens einen Zustandsparameters des ersten oder eines zweiten Roboters; und/oder
• - Mittel zum Identifizieren wenigstens einer der Mustergruppen des trainierten zweiten Autoencoders innerhalb des zweiten Datensatzes.
• In einer Ausführung weist das System bzw. sein(e) Mittel auf:
• - Mittel zum Markieren der identifizierten Mustergruppe in dem zweiten Datensatz;
• - Mittel zum Detektieren eine Roboteranomalie und/oder ein Ereignis auf Basis der identifizierte Mustergruppe und/oder Klassifizieren des Zeitverlaufs des zweiten Datensatzes auf Basis der identifizierte Mustergruppe; und/oder
• - Mittel zum Analysieren, Überwachen und/oder Modifizieren eines Betriebs des Roboters auf Basis der identifizierten Mustergruppe, insbesondere auf Basis der in dem zweiten Datensatz markierten Mustergruppe und/oder der detektierten Roboteranomalie und/oder des detektierten Ereignisses und/oder des klassifizierten Zeitverlaufs des zweiten Datensatzes.
• Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere die Mustergruppe(n) identifizieren und/oder einen Betrieb des Roboters analysieren, überwachen und/oder modifizieren kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
• In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
• In einer Ausführung weist das System den Roboter auf.
• In einer Ausführung wird die Monitoringphase online, in einer Ausführung während eines Arbeitsprozesses des ersten bzw. zweiten Roboters durchgeführt. In einer Ausführung resultiert der zweite Datensatz aus einem Arbeitsprozess des ersten bzw. zweiten Roboters. Dadurch muss in einer Ausführung kein separater Referenzprozess durchgeführt werden.
• In einer Ausführung versucht das künstliche Neuronale Netz, denselben Ausgang zu generieren wie der Zeitverlauf des erhaltenen ersten Datensatzes und gleichzeitig wiederkehrende und diskriminative Teilsequenzen von dem Zeitverlauf zu extrahieren. Basierend auf dem Vorhandensein und der Lokalisierung verschiedener wiederkehrender und diskriminativer Teilsequenzen wird dann in einer Ausführung ein Zeitverlauf in eine vorgegebenen Anzahl von Gruppen geclustert. Vorliegend wird ein künstliches Neuronales Netz mit einem Flaschenhals zum Rekonstruieren des Originaleingabesignals als Autoencoder bezeichnet.
• Der erste bzw. Low-level Autoencoder versucht in einer Ausführung, unterscheidende aber auch wiederkehrende Zeitverlaufssubsequenzen während der Rekonstruktion der Eingabezeitverläufe zu extrahieren.
• Der erste Autoencoder kann in einer Ausführung auf Basis der Prinzipien ausgestaltet sein, die in Kirschbaum, E. et al. (2019): „LeMoNADe: Learned Motif and Neuronal Assembly Detection in calcium imaging videos“, International Conference on Learning Representations näher beschrieben sind. Entsprechend wird ergänzend auf diesen Artikel Bezug genommen und sein Inhalt vollumfänglich zum Teil der vorliegenden Offenbarung gemacht.
• In einer Ausführung weist der erste Datensatz wenigstens eine n-dimensionale Zeitreihe x ∈ ℝ^T×d mit T Zeitschritten und d Zustandsparametern auf, die einem Zeitschritt zugeordnet, insbesondere hierfür gespeichert sind. Es kann angenommen werden, dass jedes sample im Datensatz eine additive Mischung von M sich wiederholenden (Zeitverlaufs)Mustern der maximalen zeitlichen Länge F ist. Zu jedem Zeitschritt t = 1, ···, T, und für jedes Motiv m = 1,···,M einer wiederkehrenden Zeitreihensubsequenz stellt eine latente Zufallsvariable $z_t^m\in \left\{\mathrm{0,1}\right\}$

  

  eine Auftritts- bzw. Aktivierungsencodierung für das m-te Muster dar. Wie in Kirschbaum wird in einer Ausführung eine Bernoulliverteilung verwendet, um die latenten Zufallsvariablen zu modellieren. Die Verlustfunktion (loss function) zum Trainieren umfasst in einer Ausführung einen Rekonstruktionsfehler ${\mathbb{E}}_{z\sim q_{\varphi \left(Z|X\right)}}\left[\text{log }{p}_{\theta }\left(x|z\right)\right],$

  

  wobei q_ϕ(Z|X) den Encoder repräsentiert mit den Parameter ϕ zum Folgern von latenten Variablen z aus einer Eingabe x und einem Regularisierungsterm zum Erzwingen einer räumlichen latenten Verteilung, die in einer Ausführung impliziert, dass sich Muster an jeder Stelle gegenseitig ausschließen sollen.
• Der zweite bzw. High-level Autoencoder versucht in einer Ausführung eine Eingabezeitreihe in verschiedene Gruppen zu clustern. Es kann angenommen werden, dass eine Eingabezeitreihe aus einer Vielzahl von Zeitreihen-Untersequenzen bzw. Zeitverlaufsmustern zusammengesetzt ist, die vom ersten bzw. Low-Level-Autoencoder extrahiert werden. Unabhängig von der Nummerierung von Low-Level-Zeitreihensegmenten versucht der zweite bzw. High-level Autoencoder in einer Ausführung zu erkennen, ob eine neue Teilsequenz in der aktuellen Eingabezeitreihe vorhanden ist, aber in allen vergangenen Eingabezeitreihen fehlt. Wenn dies der Fall ist, klassifiziert der zweite bzw. High-level Autoencoder diese Zeitreihe als neue Klasse. In einer Ausführung führt der zweite High-Level-Autoencoder Clustering basierend auf der Zusammensetzung von Low-Level-Zeitreihen-Untersequenzen durch.
• Um die Positionsvarianten-Kompositionsoperation durchzusetzen, wird sie in einer Ausführung als Set-Operation betrachtet und ein Set-Transformator mit Positionseinbettungen für die Sequenzordnungen als Encoder des High-Level-Autoencoders verwendet. Ein Set-Transformer ist ein Attention-basiertes Neuronales Netz, um Interaktionen zwischen Sätzen von Daten zu modellieren. Es besteht in einer Ausführung aus einem oder mehreren Multihead Attention Blocks (MAB) mit erlernbaren Parametern w, die wie folgt definiert sein können (diesbezüglich wird ergänzend auf Lee, J. et al. (2019), „Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks“, Proc. of the 36th Int. Conference on Machine Learning, S. 3744-3753 Bezug genommen und der Inhalt dieses Artikels vollumfänglich zum Teil der vorliegenden Offenbarung gemacht):
• Es seien zwei d - dimensionale Vektorsätze gegeben: X, Y ∈ ℝ^n×d,
• MAB(X, Y) = LayerNorm(H + rFF(H)), wobei H = LayerNorm(X + Multihead(X, Y, Y; ω) wobei rFF eine reihenartige Feedforwardschicht ist und jede Reihe in H unabhängig und auf dieselbe Weise verarbeitet. „LayerNorm“ steht für Schicht-Normalisierung (layer normalization), die die Aktivitäten der Neuronen einer Schicht normalisiert. Durch die Schicht-Normalisierung kann in einer Ausführung vorteilhaft die Dynamik von Zuständen versteckter Neuronen (hidden neuron states) stabilisiert and dadurch die Trainingszeit reduziert werden.
• Multihead(X, Y, Y; ω) wird auch als multi-head Attention bzw. Aufmerksamkeit bezeichnet und stellt einen Weg dar, Beziehungen zwischen Neuronen in einem künstlichen Neuronalen Netz zu berechnen. In einer Ausführung umfasst dies drei Variablen: „query“, „key“ und „values“. In einer Ausführung wird nach der Extraktion von primitive Zeitreihen- bzw. -verlaufsmustern in dem ersten bzw. Low-level Autoencoder versucht, komplexere Muster zu erkennen, die aus diesen extrahierten Low-level-Zeitreihen-Subsequenzen zusammengesetzt sind und die eine visuelle Form einer Eingabezeitreihe reflektieren sollten. In einer Ausführung wird ein d - dimensionaler Vektorsatz X als „query“ für die Attention bzw. Aufmerksamkeit verwendet, in einer Ausführung eine Liste detektierter Low-level-Zeitreihen-Subequenzen. Die output/„values“ Y nach einer Attention-Operation sollte eine Zusammensetzung von detektierten Low-level-Zeitreihen-Mustern sein und die „keys“ dieser verwendeten Attention-Operation sind in einer Ausführung einige, vorzugsweise alle, möglichen Kombinationen einer, vorzugsweise aller, Low-level-Zeitreihen-Subsequenzen, die unaufgedeckt in einem Trainingsdatensatz vorliegen, der den „query“-Satz zur Folge hat. Diese Art Attention-Operation wird auch als Self-Attention bezeichnet.
• De Berechnung der paarweisen Assoziation zwischen „query“ und „key“ Sätzen kann rechenaufwändig sein. Dies kann in einer Ausführung durch Multi-head Attention verbessert werden. Multi-head Attention projiziert in einer Ausführung query(Q)/key(K')/values (V), auf niedriger-dimensionale h gemeinsame Unterräume, d.h. $d_q^M,d_q^M,d_{\upsilon }^M-\text{dimensionale}$

  

  Vektoren. Eine Attention-Operation (Att(·; ω_j)) wird auf jede dieser h Projektionen angewandt. Multi-head Attention ermöglicht es in einer Ausführung dem Model, gemeinsam auf Information von verschiedenen Repräsentationen bzw. Unterräumen zuzugreifen. Die Ausgabe ist in einer Ausführung eine lineare Transformation der Verknüpfung aller Unterraum-Attention-Ausgaben.
• In einer Ausführung werden Positionsinformationen von Elementen in query/key/ Sätzen unter Verwendung von trigonometrischen Funktionen repräsentiert, in einer Ausführung Sinus- und Cosinus-Funktionen, in einer Ausführung in der Form (diesbezüglich wird ergänzend auf Soricut, Z. L., Albert: A (2020), „A Lite BERT for Self-supervised Learning of Language Representations“, Proc. of ICLR 2020 Bezug genommen und der Inhalt dieses Artikels vollumfänglich zum Teil der vorliegenden Offenbarung gemacht): $$p_i^{\left(n\right)}\left[j\right]=\{\begin{array}{c}\text{sin}\left(i\cdot c^{\frac{j}{d}}\right)+\text{sin}\left(n\cdot c^{\frac{j}{d}}\right)fallsjgerade\\ \text{cos}\left(i\cdot c^{\frac{j-1}{d}}\right)+\text{cos}\left(n\cdot c^{\frac{j-1}{d}}\right)fallsjungerade\end{array}$$

  

  mit $p_i^{\left(n\right)}\left[j\right]$

  

  als der Positionseinbettung für das i-te Element in dem Satz und der j-ten Dimension von positioninvarianten Einbettungen für das i-te Element in dem Satz mit Gesamtgröße d, wobei c eine Konstante ist und in einer Ausführung zwischen 10^-5 und 10^-3 liegt und in einer Ausführung gilt: c =10^-4
• In einer Ausführung wird die Positionsinformation durch Addieren des Positionsencodings zu dem projizierten gemeinsamen Raum der query und key Vektoren injiziert.
• Die Ausgabe des vorstehend beschriebenen Satz-Transformers repräsentiert in einer Ausführung eine Liste von Kandidatenkombinationen von ermittelten Low-level-Zeitreihen-Subsequenzen bzw. -Mustern in jeder Eingabe und/oder entspricht einer Liste vorgeschlagener komplexer Kandidatenmustern bzw. Mustergruppen.
• Der Satz-Transformer wird in einer Ausführung als Encoder des zweiten bzw. High-level Autoencoders verwendet. Zusätzlich oder alternativ wird in einer Ausführung ein Capsule Neural Network bzw. Capsule Module als Decoder des zweiten bzw. High-level Autoencoders verwendet. In einer Ausführung ist das Produkt einer Capsule Operation ein vektorieller Wert, der die Aktivierung von bestimmten Merkmalen und zusätzlich eine Einbettung liefert, um die Aktivierungsmerkmale zu beschreiben, beispielsweise eine Lokalisation.
• Das Capsule Neural Network kann in einer Ausführung auf Basis der Prinzipien ausgestaltet sein, die in Kosiorek, A. et al. (2019), „Stacked Capsule Autoencoders“, Advances in Neural Information Processing Systems, S. 15512-15522 näher beschrieben sind. Entsprechend wird ergänzend auf diesen Artikel Bezug genommen und sein Inhalt vollumfänglich zum Teil der vorliegenden Offenbarung gemacht.
• Es kann angenommen werden, dass ein komplexes Zeitreihenmuster bzw. eine Mustergruppe dieselbe Länge wie Eingabezeitreihen aber mit Instance-abhängigen Transformation aufweist. Beispielsweise kann eine Zeitreihe desselben Typs aufgrund verschiedener Samplingraten visuell unterschiedlich aussehen. Diese sind jedoch nur Variationen einer Standard-Kanonischen Zeitreihe dieses Typs. In einer Ausführung repräsentiert eine Capsule solch eine typische Zeitreihe einer spezifischen Art, und die zugehörige Einbettung beschreibt eine Warping-Variation von diesem Standard. Umgekehrt kann von einem komplexen Zeitreihenmuster Lokalisationen der enthaltenen charakteristischen Zeitreihen-Subsequenzen abgeleitet werden.
• In einer Ausführung weist der latent Raum (latent space) des zweiten bzw. High-level Autoencoder geclusterte Gruppen bzw. Mustergruppen von ermittelten charakteristischen Low-level-Zeitreihen-Segmenten bzw. Zeitverlaufsmustern auf. In einer Ausführung wird der latente Raum in Form von Capsules repräsentiert, und jede repräsentiert eine geclusterte Gruppe und ihre zugehörigen Einbettungen (embeddings).
• In einer Ausführung ist das Ziel des zweiten bzw. High-level Autoencoders, die geclusterten Gruppen, die komplexe Muster der Eingabedatenlänge repräsentieren, zu trainieren. Die abgeleiteten Lokalisationen der geclustered Gruppe über die Positionen der Low-level-Zeitreihen-Subsegmente matchen mit denen, die von dem ersten bzw. Low-level Autoencoder gelernt wurden.
• In einer Ausführung der vorliegenden Erfindung werden Zeitreihenmuster ohne menschliche Überwachung (human supervision) extrahiert und extrahierte Muster auf andere, unbekannte neuer Roboter-Zustandsparameter-Zeitverläufe generalisiert.
• Zusätzlich oder alternativ kann in einer Ausführung das Matchen eines gelernten Musters eines, insbesondere des ersten, Datensatzes in einem neuen, insbesondere dem zweiten, Datensatz diesen neuen Datensatz ohne Information mit einem bekannten Datensatz mit gelabelten Details assoziieren. Auf diese Weise kann in einer Ausführung die Menge an Daten, die für eine Überwachung und, insbesondere vorausschauende, Wartung (predictive maintenance) zur Verfügung steht, vergrößert werden.
• In einer Ausführung umfasst die vorliegende Erfindung eine oder mehrere der folgenden Anwendungen:
1. 1. Lokalisierung von Anomalien: In einer Ausführung umfasst der erste oder zweite Datensatz Zeitverläufe aus verschiedenen Situationen in einer Roboterapplikation. Ein Zeitverlauf aus demselben Szenario kann als derselbe Typ angesehen werden. In einer Ausführung werden bestimmten Segmente einer Live-Datenreihe markiert. Diese auffälligen Segmente sind Teilsequenzen aus der gegebenen Datenreihe, die sich am stärksten von zuvor aufgezeichneten Reihen anderer Situationen unterscheiden. Ein Anwender kann sich auf diese spezifischen Segmente konzentrieren, um eine Analyse oder Diagnose durchzuführen. Zum Beispiel kann Anwender ein Motordrehmoment oder einen Motorstrom innerhalb des Zeitintervalls überprüfen, wie es durch die charakteristischen Untersequenzen angezeigt wird.
2. 2. Ereigniserkennung: Eine Spitze in der Kraftaufnahme an einem Roboterendeffektor kann eine Kollision darstellen. Ein kontinuierlich steigendes Kraftniveau kann auf ein geplantes Kontaktereignis hinweisen.
3. 3. Vergleich alter Daten ohne manuelles Labeling und neuer, gelabelter Daten: In einer Ausführung wird hierzu nach einem bekannten Muster, das in den gelabelten Daten vorhanden ist, in den nicht gelabelten Daten gesucht. Tritt die gleiche Zeitreihen-Untersequenz in den alten Daten wieder auf, wird in einer Ausführung festgestellt, dass der Roboter unter ähnlichen Bedingungen betrieben wurde. Folglich kann ein Anwender sein Wissen basierend auf einer Teilsequenz aus den neuen gelabelten Daten übertragen, um alte, ungelabelte Daten mit weniger Informationen zu analysieren.
4. 4. Maschinelles Lernen, um wiederkehrende Zeitreihenprimitive zu lernen, wie zum Beispiel Impulse, trapezförmige Segmente, Rechteckwellen oder dergleichen. In einer Ausführung werden Transformationen dieser Primitive durchgeführt, um Variationen hiervon in einer Live-Datenreihe zu lokalisieren. Diese Funktion ist insbesondere nützlich, um auf Basis von Zeitreihensegmenten mit bestimmten Eigenschaften verborgene physikalische Variable des Roboterzustand zu schätzen bzw. zu beobachten, beispielsweise eine Achsenreibung.
5. 5. Unterscheiden zwischen Zeitreihen aus verschiedenen Klassen auf Basis typischer Untersequenzen einer bestimmten visuellen Form. Durch Betrachten dieser Unterschiede kann in einer Ausführung ein Anwender eine Erklärung für Zeitreihen aus verschiedenen Klassen finden.
6. 6. Automatische Gruppierung von Zeitreihendaten ohne menschlichen Eingriff: in einer Ausführung werden einem Anwender repräsentierende Muster für jede Zeitreihendatengruppe zur Verfügung gestellt.
• Ein Aktivieren im Sinne der vorliegenden Erfindung kann insbesondere ein Lokalisieren und/oder Einbetten im Sinne der vorliegenden Erfindung umfassen und umgekehrt.
• Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert,:
• 1: ein System nach einer Ausführung der vorliegenden Erfindung; und
• 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
• 1 zeigt ein System nach einer Ausführung der vorliegenden Erfindung, 2 ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
• In einer Trainingsphase (2: Schritte S10, S20) wird ein erster Datensatz mit einem Zeitverlauf x₁(t) eines Zustandsparameters eines Roboters 1 erhalten (2: Schritt S10). Im Ausführungsbeispiel ist der Zustandsparameter exemplarisch ein Antriebsdrehmomentregelfehler.
• Anschließend (2: Schritt S20) wird ein künstliches Neuronales Netz trainiert, welches einen ersten Autoencoder mit einem Encoder 11, der den ersten Datensatz auf Zeitverlaufsmuster und deren Aktivierung abbildet, und einem Decoder 12, der mit diesen Zeitverlaufsmustern den ersten Datensatz rekonstruiert, und einen zweiten Autoencoder mit einem Encoder 21, der die Zeitverlaufsmuster und deren Aktivierung auf Mustergruppen abbildet, und einem Decoder 22, der mit diesen Mustergruppen die Zeitverlaufsmuster und deren Aktivierung rekonstruiert, aufweist.
• In einer Monitoringphase (2: Schritte S30, S40) wird ein zweiter Datensatz x₂(t) mit einem Zeitverlauf des Zustandsparameters des Roboters 1 erhalten (2: Schritt S30).
• In einer Schritt S40 wird eine der Mustergruppen des trainierten zweiten Autoencoders innerhalb des zweiten Datensatzes identifiziert und in dem in dem zweiten Datensatz markiert.
• Diese Mustergruppe ist in 1 durch ein schraffiertes Rechteck mit gestricheltem Rand angedeutet: zunächst werden Zeitverlaufsmuster und deren Aktivierung, die im latenten Raum 13 des ersten Autoencodes anfänglich zufallsbasiert belegt sind, so gelernt bzw. der erste Autoencoder so trainiert, dass er den Zeitverlauf x₁(t) möglichst gut rekonstruiert.
• Die so gelernten Zeitverlaufsmuster und Aktivierungen werden in den zweiten Autoencoder eingegeben. In dessen latentem Raum 23 sind alle möglichen Kombinationen der Zeitverlaufsmuster und Aktivierungen anfänglich zufallsbasiert belegt.
• Der zweite Autoencoder wird nun so trainiert, dass er die Zeitverlaufsmuster und Aktivierungen vom ersten Autoencoder („Low-level-Zeitreihen-Subsequenzen“) möglichst gut rekonstruiert.
• Dabei wird erkannt, dass das in 1 dargestellte Zeitverlaufsmuster 3 nur einmal an einer bestimmten Stelle im Zeitverlauf x₁(t) vorkommt, was in 1 durch ein schraffiertes Rechteck mit gestricheltem Rand angedeutet ist.
• Nun wird dieses Zeitverlaufsmuster 3 in dem neuen Zeitverlauf x₂(t) gesucht bzw. identifiziert und markiert, was in 1 durch ein schraffiertes Rechteck mit gestricheltem Rand angedeutet ist.
• Der Zeitverlauf x₂(t) ist beispielsweise bei einem Arbeitsprozess des Roboters 1 aufgenommen.
• Auf diese Weise kann in dem Zeitverlauf x₂(t) bzw. Arbeitsprozess ein signifikanter Zeitabschnitt erkannt werden, beispielsweise eine Kollision, ein Umgebungskontakt, eine Roboteranomalie oder dergleichen.
• Auf diese Weise kann auf Basis dieses identifizierten Zeitverlaufsmusters der Betrieb des Roboters in Schritt S40 analysiert, überwacht und/oder modifiziert werden, beispielsweise bei Auftreten einer (bestimmten) Roboteranomalie eine vorausschauende Wartung entsprechend initiiert werden. Gleichermaßen kann zum Beispiel bei Detektion eines geplanten Umgebungskontakts ein Verlauf des Antriebsdrehmomentregelfehlers infolge des Umgebungskontakts näher analysiert werden oder dergleichen.

Claims (10)

1. Verfahren zur Analyse eines Betriebs eines Roboters (1), das - ein Durchführen einer Trainingsphase, mit den Schritten: - Erhalten (S10) eines ersten Datensatzes mit wenigstens einem Zeitverlauf wenigstens eines Zustandsparameters eines ersten Roboters (1); und - Trainieren (S20) eines künstlichen Neuronalen Netzes, welches einen ersten Autoencoder mit einem Encoder (11), der den ersten Datensatz auf Zeitverlaufsmuster und deren Aktivierung abbildet, und einem Decoder (12), der mit diesen Zeitverlaufsmustern den ersten Datensatz rekonstruiert; und einen zweiten Autoencoder mit einem Encoder (21), der die Zeitverlaufsmuster und deren Aktivierung auf Mustergruppen abbildet, und einem Decoder (22), der mit diesen Mustergruppen die Zeitverlaufsmuster und deren Aktivierung rekonstruiert; aufweist; und - ein Durchführen einer Monitoringphase, mit den Schritten: - Erhalten (S30) eines zweiten Datensatzes mit wenigstens einem Zeitverlauf des wenigstens einen Zustandsparameters des ersten oder eines zweiten Roboters; und - Identifizieren (S40) wenigstens einer der Mustergruppen des trainierten zweiten Autoencoders innerhalb des zweiten Datensatzes aufweist, wobei der Zustandsparameter von wenigstens einer Position und/oder Orientierung einer roboterfesten Referenz und/oder von wenigstens einer Achslast des Roboters abhängt und/oder mittels wenigstens eines Sensors erfasst ist; und auf Basis der identifizierte Mustergruppe eine Roboteranomalie und/oder ein Ereignis detektiert und/oder der Zeitverlauf des zweiten Datensatzes klassifiziert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der erste Autoencoder wenigstens einen Variational Autoencoder aufweist; und/oder dass der Encoder des zweiten Autoencoders wenigstens ein Attention-basiertes künstliches Neuronales Netz aufweist.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Encoder des zweiten Autoencoders wenigstens einen Multihead Attention Block aufweist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Decoder des zweiten Autoencoders wenigstens ein Capsule Neural Network aufweist.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Zustandsparameter mittels wenigstens eines roboterseitigen Sensors erfasst ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die identifizierte Mustergruppe in dem zweiten Datensatz markiert wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Betrieb des ersten oder zweiten Roboters auf Basis der identifizierten Mustergruppe analysiert, überwacht und/oder modifiziert wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass ein Betrieb des ersten oder zweiten Roboters auf Basis der in dem zweiten Datensatz markierten Mustergruppe und/oder der detektierten Roboteranomalie und/oder des detektierten Ereignisses und/oder des klassifizierten Zeitverlaufs des zweiten Datensatzes analysiert, überwacht und/oder modifiziert wird.
9. System zur Analyse eines Betriebs eines Roboters (1), das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist: - Mittel zum Durchführen einer Trainingsphase, mit den Schritten: - Erhalten eines ersten Datensatzes mit wenigstens einem Zeitverlauf wenigstens eines Zustandsparameters eines ersten Roboters; und - Trainieren eines künstlichen Neuronalen Netzes, welches einen ersten Autoencoder mit einem Encoder (11), der den ersten Datensatz auf Zeitverlaufsmuster und deren Aktivierung abbildet, und einem Decoder (12), der mit diesen Zeitverlaufsmustern den ersten Datensatz rekonstruiert; und einen zweiten Autoencoder mit einem Encoder (21), der die Zeitverlaufsmuster und deren Aktivierung auf Mustergruppen abbildet, und einem Decoder (22), der mit diesen Mustergruppen die Zeitverlaufsmuster und deren Aktivierung rekonstruiert; aufweist; und - Mittel zum Durchführen einer Monitoringphase, mit den Schritten: - Erhalten eines zweiten Datensatzes mit wenigstens einem Zeitverlauf des wenigstens einen Zustandsparameters des ersten oder eines zweiten Roboters; - Identifizieren wenigstens einer der Mustergruppen des trainierten zweiten Autoencoders innerhalb des zweiten Datensatzes.
10. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach Anspruch 9 den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen.

Images