DE102019123892A1

DE102019123892A1 - Method and device for simulating events in a technical system

Info

Publication number: DE102019123892A1
Application number: DE102019123892.7A
Authority: DE
Inventors: Benjamin Wörrlein; Sören Bergmann; Niclas Feldkamp; Steffen Straßburger
Original assignee: Technische Universitaet Ilmenau
Current assignee: Technische Universitaet Ilmenau
Priority date: 2019-09-05
Filing date: 2019-09-05
Publication date: 2021-03-11

Abstract

Mit der vorliegenden Erfindung werden ein alternatives Verfahren und eine dazugehörige Vorrichtung zur Simulation von Ereignissen eines technischen Systems mit einem Verfahren des maschinellen Lernens unter Verwendung eines künstlichen neuronalen Netzwerkes bereitgestellt, mit denen es gelingt, das Verhalten des technischen Systems realistischer zu prognostizieren.Dabei werden die Ein- und Ausgangssequenzen von Systemereignissen in einer ersten Phase in Form von Zeitreihen und / oder Datensätzen, die den Verlauf der Systemereignisse beschreiben und eine Systemänderung bewirken, vektorisiert und in einem ungewichteten Neuronalen Netz selbstlernend einander zugeordnet und gewichtet und in einer zweiten Phase mit Hilfe des gewichteten Neuronalen Netzes eine Ausgangssequenz generiert.The present invention provides an alternative method and an associated device for simulating events of a technical system with a method of machine learning using an artificial neural network, with which it is possible to predict the behavior of the technical system more realistically Input and output sequences of system events in a first phase in the form of time series and / or data records that describe the course of the system events and cause a system change, vectorized and assigned to one another in a self-learning manner and weighted in an unweighted neural network and in a second phase with the help of the weighted neural network generates an output sequence.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Simulation von Ereignissen eines technischen Systems mit einem Verfahren des maschinellen Lernens unter Verwendung eines künstlichen neuronalen Netzwerkes, bestehend aus mindestens einem Encoder, in den Eingangssequenzen von Systemereignissen codiert werden, mindestens einem Decoder, aus dem Ausgangssequenzen von Systemereignissen heraus generiert werden und mindestens einer, den Encoder und den Decoder verbindenden Zwischenschicht.The present invention relates to a method and a device for simulating events of a technical system with a method of machine learning using an artificial neural network, consisting of at least one encoder in which input sequences of system events are coded, at least one decoder from which output sequences are generated from system events and at least one intermediate layer connecting the encoder and the decoder.

Das zukünftige Verhalten eines technischen Systems (z. B. einer Maschine) lässt sich meist nur unzureichend und mit hohem Modellierungsaufwand vorhersagen.
Will man Vorhersagen über das zukünftige Verhalten eines technischen Systems treffen, so kann dies beispielsweise durch eine Analyse der durchlaufenen Ereignisse bzw. Systemzustände seiner Vergangenheit, und der Anwendung der in der Analyse gewonnenen Erkenntnisse zur Prognose der Zukunft geschehen. Technischen Systeme werden hierbei häufig durch (beobachtbare) Ereignisse und deren Auswirkungen auf den Systemzustand beschrieben.The future behavior of a technical system (e.g. a machine) can usually only be predicted inadequately and with a high level of modeling effort.
If one wants to make predictions about the future behavior of a technical system, this can be done, for example, by analyzing the events or system states of its past that have passed through and using the knowledge gained in the analysis to forecast the future. Technical systems are often described by (observable) events and their effects on the system status.

Die Änderung von Zustandsgrößen eines technischen Systems generell kann einerseits durch derartige Ereignisse bzw. Sequenzen von Ereignissen, an denen sich Zustandsgrößen sprunghaft zu Ereigniszeitpunkten ändern, beschrieben werden. Andererseits können zeit-kontinuierliche (häufig beschrieben durch Differentialgleichungen) oder quasi-kontinuierliche (beschrieben durch fein-aufgelöste Zeitreihen) Zustandsgrößen zur Beschreibung des Verhaltens eines Merkmals verwendet werden. Auch Mischformen, die ereignisdiskrete Beschreibungen von Zustandsänderungen und zeit-kontinuierliche Zustandsänderungen erlauben, sind verbreitet.The change in state variables of a technical system in general can on the one hand be described by such events or sequences of events at which state variables change abruptly at the time of the event. On the other hand, time-continuous (often described by differential equations) or quasi-continuous (described by finely resolved time series) state variables can be used to describe the behavior of a feature. Mixed forms that allow discrete-event descriptions of state changes and time-continuous state changes are also widespread.

Will man das zeitliche Verhalten von Merkmalsausprägungen einer Entität (wie zum Beispiel den zeitlichen Verlauf des Energieverbrauchs einer Maschine während eines Fertigungsauftrags) modellieren, so sind hierfür stochastische Modelle mit ereignisdiskreten Zustandsverlauf prinzipiell einsetzbar. Rein ereignisdiskrete Modelle erlauben jedoch nur eine grobgranulare Prognose von zeit-kontinuierlichen Größen, da sich der Systemzustand zwischen zwei Ereignissen (z.B. Beginn und Ende der Bearbeitung eines Fertigungsauftrags) nicht ändert. Aus einer feinaufgelösten (gemessenen) Zeitreihe des Energieverbrauchs würde man typischerweise über eine Mittelwertbildung einen mittleren Energieverbrauch bestimmen, der den Energieverbrauch zwischen den Ereignissen widerspiegelt.If one wants to model the behavior of characteristics of an entity over time (such as the development of the energy consumption of a machine during a production order), then stochastic models with discrete-event status development can in principle be used. Purely event-discrete models only allow a coarse-grained forecast of time-continuous variables, since the system status does not change between two events (e.g. start and end of processing a production order). From a finely resolved (measured) time series of energy consumption, an average energy consumption would typically be determined by averaging, which reflects the energy consumption between the events.

Interessiert man sich beispielsweise für den kontinuierlichen Energiebedarf (Merkmal) eines Fertigungsauftrags auf einer Werkzeugmaschine (technisches System), so könnte man den bisherigen Energiebedarf bei Durchlauf eines Fertigungsauftrags messtechnisch erfassen, aufnehmen und analysieren. Hier gewonnene Erkenntnisse, wie die Länge des Fertigungsauftrags und der fein-granulare Zeitverlauf des Energiebedarfs, können stochastisch aufbereitet und zur Prädiktion des Energiebedarfs für einen zukünftigen Fertigungsauftrag verwendet werden. Über bestimmte Modellierungsmechanismen kann auch dieser feingranulare Zeitverlauf des Energiebedarfs in Simulationsmodellen wiedergegeben werden und somit den Energiebedarf zwischen zwei Ereignissen realitätsnah abgebildet werden.For example, if you are interested in the continuous energy demand (feature) of a production order on a machine tool (technical system), you could measure, record and analyze the previous energy demand during the execution of a production order. Findings gained here, such as the length of the production order and the finely granular time course of the energy requirement, can be processed stochastically and used to predict the energy requirement for a future production order. Using certain modeling mechanisms, this fine-grained time course of the energy demand can also be reproduced in simulation models and thus the energy demand between two events can be mapped realistically.

Es handelt sich dabei jedoch lediglich um eine Reproduktion der real gemessenen Zeitreihe in der Simulation. Ein so vorhergesagter Energieverlauf kann somit nur statisch angewandt werden, d. h. ändern sich Umwelteinflüsse auf die Werkzeugmaschine, Störgrößen, der Fertigungsauftrag usw., können diese Modelle nicht selbstständig dynamisch darauf reagieren. Um einen kontinuierlichen Energiebedarf realitätsnah abzubilden, müssten dem Modell somit zusätzlich Stellgrößen zur Verfügung gestellt werden, welche externe Einflüsse auf das Modell darstellen können. Um Ereignisse und das kontinuierliche Verhalten zwischen Ereignissen anhand von Zeitreihen, wie dem Energiebedarf, zu beschreiben, muss daher ein mit der Komplexität des Modells steigender Modellierungsaufwand betrieben werden.However, this is only a reproduction of the real time series measured in the simulation. An energy curve predicted in this way can therefore only be used statically, i.e. H. If environmental influences on the machine tool, disturbance variables, the production order, etc. change, these models cannot react dynamically on their own. In order to realistically map a continuous energy demand, the model would have to be provided with additional manipulated variables which can represent external influences on the model. In order to describe events and the continuous behavior between events on the basis of time series, such as the energy demand, a modeling effort that increases with the complexity of the model must be carried out.

Die Verläufe von Zustandsgrößen eines Systems sind häufig über gemessene Zeitreihen beschreibbar. In vielen Systemen liegen jedoch auch alternative Formen der Beschreibung einer kausal damit in Zusammenhang stehenden Ereignissequenz vor (wie zum Beispiel der NC-Code einer Werkzeugmaschine für einen Fertigungsauftrag). Diese Formen der Beschreibung können bisher nicht durch stochastische Standardmodelle verwendet werden. Somit ist es durch Standardmodelle beispielsweise nicht möglich einen Text, welcher ein Ereignis bzw. eine Ereignissequenz beschreibt, in eine Zeitreihe, die dasselbe Ereignis beschreibt, umzuwandeln, und vice versa.The progression of the state variables of a system can often be described using measured time series. However, in many systems there are also alternative forms of describing a causally related sequence of events (such as the NC code of a machine tool for a production order). Up to now, these forms of description cannot be used by stochastic standard models. Thus, using standard models, for example, it is not possible to convert a text that describes an event or an event sequence into a time series that describes the same event, and vice versa.

Es fehlt an einem Verfahren, welches unterschiedliche Beschreibungen (Merkmale) von Ereignissequenzen lernt, und aufeinander abbildet.There is no method that learns different descriptions (features) of event sequences and maps them to one another.

Gegenwärtig werden Zeitreihen als stochastische Prozesse durch Methoden auf Basis der Zeitreihenanalyse vorhergesagt. Dies kann univariat, sowie multivariat durch Standardmodelle der Zeitreihenanalyse wie beispielsweise ARMA und ARIMA Modelle geschehen.Currently, time series are predicted as stochastic processes using methods based on time series analysis. This can be done univariately as well as multivariate using standard models of time series analysis such as ARMA and ARIMA models.

Alternative Beschreibungen von Ereignissequenzen können nur abstrakt, beispielsweise innerhalb einer Ablaufsimulation, verwendet werden, um einen Zielereignisverlauf darzustellen. Hierfür wird die Ereignissequenz, je nach Abstraktionsgrad der Simulation, in Einzelereignisse aufgeteilt. Diese Einzelereignisse werden nun mit Attributen und deren Verteilungs-, (Zeit-) Fortschritts-, Ausgabefunktionen usw. für deren jeweiligen Verlauf versehen. Lösungen für die Ausgabe von Zeitreihen auf Basis stochastischer, zeitdiskreter Ereignisverläufe sind in Ansätzen bei bestimmten Anwendungsfeldern vorhanden. Ein zeitlicher, diskreter Verlauf einer Werkzeugmaschine kann beispielsweise durch eine NC-Simulation dargestellt werden. Die NC-Simulation simuliert dabei den zeitlichen Verlauf einer Werkzeugmaschine, in dem sich zur Erstellung des Ereignisverlaufs des NC-Codes bedient wird. Diese NC-Simulation teilt den Ereignisverlauf einer Werkzeugmaschine in eine Abfolge von Ereignissen anhand des NC-Codes auf. Wurden die Ereignisse bestimmt, können diese anschließend mit Ausgabefunktionen versehen werden.Alternative descriptions of event sequences can only be used abstractly, for example within a sequence simulation, in order to represent a target event sequence. For this purpose, the event sequence is divided into individual events, depending on the degree of abstraction of the simulation. These individual events are now provided with attributes and their distribution, (time) progress, output functions, etc. for their respective course. Solutions for the output of time series on the basis of stochastic, time-discrete event curves are available in approaches for certain fields of application. A discrete progression of a machine tool over time can be represented, for example, by an NC simulation. The NC simulation simulates the chronological sequence of a machine tool in which the NC code is used to create the event sequence. This NC simulation divides the course of events on a machine tool into a sequence of events based on the NC code. Once the events have been determined, they can then be provided with output functions.

Diese bekannten Lösungen sind mit unverhältnismäßig hohem Aufwand verbunden, was sich an einer Auswahl an Sachverhalten beschreiben lässt. Steigt z.B. der Komplexitätsgrad und die Menge der Ereignisse und Ereignisbeschreibungen, so steigt die hierzu benötigte Rechenleistung überproportional. Gleiches gilt bei Verringerung der Abstände zwischen zwei Taktzeitpunkten. Außerdem wird ein Ausgabewert nur bei taktgleicher Eingabe eines oder mehrerer Eingangswerte erzeugt. Soll eine Zeitreihe erzeugt werden, deren Länge unbekannt ist und weiter nicht über eine Eingangszeitreihe gleicher Taktung verfügt, so versagen die oben beschriebenen Standardmodelle. Für den Fall, dass die Ausgabewerte aus einer Ereignissequenz heraus erzeugt werden, deren Ereignisabstände stochastisch sind, reicht eine Bestimmung der Ausgabefunktion für feste Taktzeitpunkte nicht mehr aus, da auch der Zeitpunkt eines Vorgängerereignis stochastisch wäre. Dies würde zu einer Asynchronität mit einem globalen Takt, wie er bei einer Zeitreihe über mehrere Ereignissequenzen benötigt wird, führen. Ebenso sind die bekannten Methoden in der Regel nur statisch sinnvoll einsetzbar. Ändern sich Eingangswerte und deren Einfluss auf die Ausgangswerte dynamisch über die Zeit, so kann dies mit den Standardmethoden der Zeitreihenanalyse und Simulation nicht berücksichtigt werden.These known solutions are associated with a disproportionately high effort, which can be described using a selection of facts. If, for example, the degree of complexity and the number of events and event descriptions increases, the computing power required for this increases disproportionately. The same applies when the intervals between two cycle times are reduced. In addition, an output value is only generated when one or more input values are entered at the same time. If a time series is to be generated, the length of which is unknown and furthermore does not have an input time series with the same timing, the standard models described above fail. In the event that the output values are generated from an event sequence whose event intervals are stochastic, it is no longer sufficient to determine the output function for fixed clock times, since the time of a previous event would also be stochastic. This would lead to an asynchronicity with a global clock, as is required for a time series over several event sequences. Likewise, the known methods can usually only be used statically in a meaningful way. If input values and their influence on the output values change dynamically over time, this cannot be taken into account with the standard methods of time series analysis and simulation.

Bei der NC-Simulation einer Werkzeugmaschine, mit Ausgabefunktionen für eine Zeitreihe, werden die oben beschriebenen Probleme deutlich. Der Ereignisverlauf wird anhand des NC-Codes in Ereignisabfolgen eingeteilt. Desto realistischer dies geschieht, desto mehr Ereignisse müssen aus diesem abgeleitet werden. Werden nun beispielsweise mehrere Fertigungsvorgänge, wie mehrere verschiedene Spangänge, identifiziert, müssen für diese jeweils Ausgabefunktionen definiert werden. Da die Länge der einzelnen Vorgänge stochastisch ist, muss eine kontinuierliche Ausgabefunktion für jedes einzelne Ereignis bestimmt werden. Wird die Ausgabe weiter von einer globalen Variablen beeinflusst, wie bei einer Werkzeugmaschine der Zustand des Werkzeugs, so hat auch dies Einfluss auf die erzeugte Ausgabe. Der Zustand des Werkzeugs ist abhängig von seiner Einsatzzeit und den verschiedenen Belastungen, denen das Werkzeug in vorigen Ereignissen und Teilereignissen ausgesetzt war, und ist somit nicht statisch. Das heißt konkret, dass eine Energieverbrauchskurve dynamisch vom Werkzeugzustand abhängig ist.The problems described above become clear in the NC simulation of a machine tool with output functions for a time series. The course of events is divided into event sequences based on the NC code. The more realistically this happens, the more events must be derived from it. If, for example, several production processes, such as several different chip lengths, are identified, output functions must be defined for each of them. Since the length of the individual processes is stochastic, a continuous output function must be determined for each individual event. If the output is further influenced by a global variable, such as the status of the tool on a machine tool, this also has an influence on the output generated. The condition of the tool depends on its usage time and the various loads to which the tool was exposed in previous events and sub-events, and is therefore not static. Specifically, this means that an energy consumption curve is dynamically dependent on the tool condition.

Aufgabe der vorliegenden Erfindung ist es daher, die aus dem Stand der Technik bekannten Nachteile zu überwinden, und ein alternatives Verfahren und eine dazugehörige Vorrichtung zur Simulation von Ereignissen eines technischen Systems mit einem Verfahren des maschinellen Lernens unter Verwendung eines künstlichen neuronalen Netzwerkes bereitzustellen, mit denen es gelingt, das Verhalten des technischen Systems realistischer zu prognostizieren.The object of the present invention is therefore to overcome the disadvantages known from the prior art and to provide an alternative method and an associated device for simulating events of a technical system with a method of machine learning using an artificial neural network with which it is possible to predict the behavior of the technical system more realistically.

Erfindungsgemäß gelingt die Lösung dieser Aufgabe mit den Merkmalen des ersten und neunten Patentanspruchs. Vorteilhafte Ausgestaltungen der erfindungsgemäßen Lösung sind in den Unteransprüchen angegeben.According to the invention, this object is achieved with the features of the first and ninth patent claims. Advantageous configurations of the solution according to the invention are specified in the subclaims.

Anstatt Ereignisverläufe, Ausgabefunktion, Zeitfortschrittsfunktion, Einflussgrößen usw. innerhalb beispielsweise einer Simulation nach dem Stand der Technik vorzugeben und zu parametrieren, wird mit Hilfe des erfindungsgemäßen Verfahrens das zeitliche Verhalten eines Ereignisses anhand einer bereits bekannten, parallellaufenden Verhaltensbeschreibung - wie z.B. durch Steuerungsbefehle - erlernt, wobei ein Zusammenhang zwischen zwei Ereignissen bzw. Ereignisverläufen unterstellt wird und die Parametrierung der Bestandteile des Zusammenhanges, wie Funktionen, Zustandsverläufe usw., trainiert wird.Instead of specifying and parameterizing event progressions, output functions, time progress function, influencing variables, etc. within a simulation according to the state of the art, for example, the method according to the invention is used to learn the behavior over time of an event using an already known, parallel behavior description - such as control commands, for example. whereby a connection between two events or event courses is assumed and the parameterization of the components of the connection, such as functions, status courses, etc., is trained.

Das nachfolgend vorgestellte Verfahren kann innerhalb eines Simulationsmodells oder in der Regelungs- / Steuerungstechnik angewandt werden, um das zukünftige Verhalten eines technischen Systems zu prognostizieren. Beispielsweise kann für eine Werkzeugmaschine bei Eingabe des NC-Codes eine Zeitreihe des Energieverbrauchs parallel zum Durchlauf des NC-Codes ausgeben werden.The method presented below can be used within a simulation model or in regulation / control technology in order to predict the future behavior of a technical system. For example, when entering the NC code for a machine tool, a time series of the energy consumption can be output in parallel with the passage of the NC code.

Die Erfindung wird im Folgenden anhand von Zeichnungen näher beschrieben. Es zeigt:

1 - eine Prinzipdarstellung eines RNN-Encoder-Decoders mit den Sequenzen x und y sowie deren Längen n_x und n_y (Stand der Technik, s. hierzu [1])
2- eine Prinzipdarstellung der Trainings- und der Inferenzphase des erfindungsgemäßen Verfahrens
3- die Trainingszeitreihen Y_T (durchgehende Linien) und die Inferenzzeitreihe Y_T (gestrichelte Linie) eines Fertigungsauftrages

The invention is described in more detail below with reference to drawings. It shows:

1 - A schematic diagram of an RNN encoder-decoder with the sequences x and y and their lengths n _x and n _y (state of the art, see [1])
2 - A schematic representation of the training and the inference phase of the method according to the invention
3 - the training time series Y _T (solid lines) and the inference time series Y _T (dashed line) of a production order

Das erfindungsgemäße Verfahren ordnet alternative Beschreibungen eines Ereignisses einander zu und mit Hilfe von Methoden des Maschinellen Lernens werden diese Beschreibungen aufeinander abgebildet. Methoden des Maschinellen Lernens verwenden dabei sich selbst parametrierende Verfahren wie die Stützvektormethode, Random Forrest oder Künstliche Neuronale Netze, wobei die Methoden des Maschinellen Lernens in zwei Phasen unterschieden werden: Die Lern- oder Trainingsphase und die Inferenzphase.The method according to the invention assigns alternative descriptions of an event to one another and these descriptions are mapped to one another with the aid of machine learning methods. Machine learning methods use self-parameterizing procedures such as the support vector method, random forest or artificial neural networks, whereby the machine learning methods are divided into two phases: the learning or training phase and the inference phase.

In der Lernphase werden der gewählten Methode des maschinellen Lernens eine Menge von Daten, in Form von Attributen, gegenübergestellt. Anschließend wird versucht, Zusammenhänge in diesen Daten aufeinander abzubilden. Dies geschieht in mehreren Iterationen durch Anwendung der gewählten Methode des maschinellen Lernens, wobei Zusammenhänge zwischen den beiden Attributen selbständig erkannt und selbstständig parametriert werden. Dieser Vorgang wird als Lernen bezeichnet.
Soll die Methode nicht nur Zusammenhänge, wie beispielsweise Muster, herstellen, sondern diese Zusammenhänge verwenden, um bei Eingabe von Attributen der Eingangsdaten, Attribute der Ausgangsdaten zu generieren, so spricht man von einem generativen Modell. Ein generatives Modell wird durch eine Inferenzphase, nach abgeschlossener Trainingsphase, charakterisiert. Hier wird die in der Lernphase parametrierte Methode des Maschinellen Lernens wiederverwendet. Die Bestandteile und die Parametrierung der Methode der Lernphase werden vollständig übernommen und statisch gesetzt, das heißt, alle Bestandteile und deren Zustände sind nun unveränderbar. Anschließend wird der Methode des maschinellen Lernens aber nur eine Klasse der Attribute der Trainingsphase zur Verfügung gestellt. Diese wird nun wieder durch die Methode aufgenommen. Diese Daten durchlaufen nun die parametrierte Methode des maschinellen Lernens und geben schlussendlich Attribute der Gegenklasse aus.In the learning phase, the selected method of machine learning is compared with a large amount of data in the form of attributes. An attempt is then made to map relationships in these data to one another. This is done in several iterations by using the selected method of machine learning, whereby relationships between the two attributes are independently recognized and independently parameterized. This process is known as learning.
If the method is not only intended to establish relationships, such as patterns, but also to use these relationships in order to generate attributes of the output data when inputting attributes of the input data, one speaks of a generative model. A generative model is characterized by an inference phase after the training phase has been completed. The machine learning method parameterized in the learning phase is reused here. The components and the parameterization of the method of the learning phase are completely adopted and set statically, that is, all components and their states are now unchangeable. However, only one class of the attributes of the training phase is then made available to the machine learning method. This is now taken up again by the method. This data now goes through the parameterized method of machine learning and ultimately outputs attributes of the opposite class.

Ein Teilgebiet des Maschinellen Lernens ist die Abbildung von Sequenzen aufeinander. Diese Verfahren werden Sequence to Sequence (Seq2Seq) Modelle genannt. Grundarchitekturen auf Basis von Seq2Seq-Modellen bestehen im Regelfall aus drei Komponenten, einem Encoder, einem Decoder und einer, oder mehrerer Zwischenschichten, oft Kontext genannt, und werden mit Hilfe Künstlicher Neuronaler Netze (KNN) realisiert. Wird die Eingangssequenz in eine spezifische neuronale Schicht codiert, so spricht man von einem Encoder. Wird eine Sequenz aus einer neuronalen Schicht heraus generiert, so wird dieser Teil der Netzwerktopologie als Decoder bezeichnet. Die Zwischenschicht verbindet Encoder und Decoder und stellt somit einen kontextualen Zusammenhang zwischen beiden her. Alle drei Grundkomponenten des Neuronalen Netzes bestehen aus neuronalen Schichten (Layer). Da die Zwischenschicht nicht direkt eingesehen werden kann, wird diese als verdeckte Schicht (hidden layer) bezeichnet. Neuronale Schichten wiederum bestehen aus Neuronen (units, im Falle der Neuronen der verdeckten Schicht hidden units). Neuronen besitzen eine Eingabe und Ausgabe, sowie eine Gewichtung. Diese Gewichtung gibt den Grad des Einflusses der Eingabe in das Neuron zu seinen Ausgaben an. Die Parametrierung der Gewichtung der einzelnen Neuronen eines Neuronalen Netzes ist auch hier wieder der eigentliche Lernvorgang.
Die Aufgabe von Seq2Seq-Modellen ist es, eine Sequenz aufzunehmen und diese in eine neuronale Zwischenschicht zu codieren. Hierfür wird eine Sequenz in eine neuronale Aufnahmeschicht codiert und dort mit einer neuronalen Zwischenschicht verbunden. Die neuronale Zwischenschicht ist wiederum mit einer Ausgabeschicht verbunden, aus welcher eine Ausgangssequenz decodiert wird. Die Eingangs- und Ausgangssequenz besitzen beim Standard Seq2Seq-Modell die gleiche Länge, d. h. die gleiche Anzahl von Elementen in einer konkreten Sequenz. Standard Seq2Seq-Modelle können keine Sequenzen unterschiedlicher Länge und folglich keine Sequenzen variabler Länge aufeinander abbilden.
Aber auch bei Nicht-Standard Seq2Seq Modellen, welche Sequenzen unterschiedlicher Länge aufeinander abbilden können, bleibt die Restriktion bestehen, dass beide Sequenzen statische Längen besitzen müssen.One area of machine learning is the mapping of sequences to one another. These procedures are called Sequence to Sequence (Seq2Seq) models. Basic architectures based on Seq2Seq models usually consist of three components, an encoder, a decoder and one or more intermediate layers, often called context, and are implemented with the help of artificial neural networks (ANN). If the input sequence is encoded in a specific neural layer, one speaks of an encoder. If a sequence is generated from a neural layer, this part of the network topology is called a decoder. The intermediate layer connects encoder and decoder and thus creates a contextual connection between the two. All three basic components of the neural network consist of neural layers. Since the intermediate layer cannot be seen directly, it is referred to as a hidden layer. Neural layers in turn consist of neurons (units, in the case of the neurons of the hidden layer, hidden units). Neurons have an input and output, as well as a weighting. This weighting indicates the degree of influence of the input to the neuron on its outputs. The parameterization of the weighting of the individual neurons of a neural network is here again the actual learning process.
The task of Seq2Seq models is to record a sequence and encode it in a neural intermediate layer. For this purpose, a sequence is encoded in a neural recording layer and connected there with a neural intermediate layer. The neural intermediate layer is in turn connected to an output layer from which an output sequence is decoded. In the standard Seq2Seq model, the input and output sequences have the same length, ie the same number of elements in a specific sequence. Standard Seq2Seq models cannot map sequences of different lengths and consequently no sequences of variable lengths on top of one another.
But even with non-standard Seq2Seq models, which can map sequences of different lengths to one another, the restriction remains that both sequences must have static lengths.

Ein Sonderfall von Seq2Seq-Modellen sind sogenannte rekurrente Sequence-to-Sequence-Encoder-Decoder, kurz RNN-Encoder-Decoder. Diese weisen die Sequenzen einander nicht als Ganzes zu, sondern bilden bedingte Wahrscheinlichkeiten der gesamten Elemente der beiden Sequenzen ab (s. hierzu [1] und 1). Die Abbildung der bedingten Wahrscheinlichkeiten erfolgt in der Zwischenschicht, dem Kontext. Dieser gibt Auskunft darüber, welches Element der Ausgangssequenz am wahrscheinlichsten auftritt, bedingt durch die Elementfolge der Eingangssequenz. RNN-Encoder-Decoder werden schon erfolgreich zum Übersetzen von Sprache eingesetzt und bilden dort den Stand der Technik (s. auch [2] und [3] oder US2018060727A1 ). Der Namenszusatz RNN steht für Rekurrente Neuronale Netze und beschreibt, dass Neuronen einer spezifischen Schicht auf Neuronen voriger Schichten, aber auch auf sich selbst Einfluss nehmen können.A special case of Seq2Seq models are so-called recurrent sequence-to-sequence encoder decoders, or RNN encoder decoders for short. These do not assign the sequences to one another as a whole, but rather map conditional probabilities of the entire elements of the two sequences (see [1] and 1 ). The mapping of the conditional probabilities takes place in the intermediate layer, the context. This provides information about which element of the output sequence is most likely to occur, depending on the sequence of elements in the input sequence. RNN encoder decoders are already being used successfully to translate language and represent the state of the art there (see also [2] and [3] or US2018060727A1 ). The suffix RNN stands for recurrent neuronal Networks and describes that neurons of a specific layer can influence neurons of previous layers, but also influence themselves.

Der Vorteil von RNN-Encoder-Decodern liegt in ihrer Fähigkeit, Sequenzen unterschiedlicher Länge aufeinander abbilden zu können. Außerdem müssen die Sequenz-Längen nicht statisch sein, d. h. auch Längen innerhalb einer Schicht können variieren.The advantage of RNN encoder-decoders lies in their ability to map sequences of different lengths onto one another. In addition, the sequence lengths do not have to be static; H. lengths within a layer can also vary.

Somit birgt die Methode des Maschinellen Lernens mit einem Künstlichen Neuronalen Netz den Vorteil, invariante Sequenzen unterschiedlicher Länge verwenden zu können und ist daher Basis für das erfindungsgemäße Verfahren (s. 2).The machine learning method with an artificial neural network therefore has the advantage of being able to use invariant sequences of different lengths and is therefore the basis for the method according to the invention (see Sect. 2 ).

Wie bereits erwähnt, wird auch die Methode des Maschinellen Lernens mit einem Künstlichen Neuronalen Netz in zwei Phasen unterteilt: die Trainings- oder Lernphase und die Inferenzphase.As already mentioned, the method of machine learning with an artificial neural network is also divided into two phases: the training or learning phase and the inference phase.

In der Lern- oder Trainingsphase wird ein neuronales Netz aus Encoder, Decoder und einer Anzahl von Zwischenschichten erstellt. Dies stellt die Topologie des Künstlichen Neuronalen Netzes dar. Die Topologie ist ausschlaggebend für die beabsichtige Funktion des Netzes, hier die Zuordnung zweier unterschiedlich langer Sequenzen anhand der bedingten Wahrscheinlichkeit ihrer Elemente.In the learning or training phase, a neural network consisting of encoder, decoder and a number of intermediate layers is created. This represents the topology of the artificial neural network. The topology is decisive for the intended function of the network, here the assignment of two sequences of different lengths based on the conditional probability of their elements.

Die Neuronen des Encoders, Decoders und der Zwischenschichten sind ungewichtet. Das bedeutet, dass die Neuronen des Künstlichen Neuronalen Netzes zwar durch eine Topologie miteinander verbunden sind, aber eine passende Gewichtung der einzelnen Neuronen noch erlernt werden muss.The neurons of the encoder, decoder and the intermediate layers are unweighted. This means that the neurons of the artificial neural network are connected to one another by a topology, but a suitable weighting of the individual neurons still has to be learned.

Der Topologie werden nun Daten zur Verfügung gestellt. Diese Daten werden unterteilt in Eingangs- und Ausgangsdaten und müssen sequenziell als Vektor darstellbar sein. Weiter können diese Daten vorverarbeitet sein. So kann beispielsweise ein Text mit Hilfe eines Tokenizers in einen Vektor umgewandelt werden. Tokenizer können beispielsweise den Text auf seine häufigsten Bestandteile reduzieren und Elemente des Textes entfernen, denen keine Information unterstellt wird, wie beispielsweise Satzzeichen usw. Weiter wird der Ausgangssequenz ein Stopp-Zeichen hinzugefügt, welches nicht in der ursprünglichen Menge der Elemente der Ausgangssequenz vorkommt. Die Aufgabe des Stopp-Zeichens ist es, dem Neuronalen Netz aufzuzeigen, bis zu welchem Element ein Verhalten der Ausgangselemente gelernt werden muss.The topology is now provided with data. This data is divided into input and output data and must be able to be represented sequentially as a vector. This data can also be preprocessed. For example, a text can be converted into a vector with the help of a tokenizer. Tokenizers can, for example, reduce the text to its most common components and remove elements of the text that are not subject to any information, such as punctuation marks, etc. Furthermore, a stop character is added to the initial sequence, which does not appear in the original set of elements in the initial sequence. The task of the stop sign is to show the neural network up to which element a behavior of the output elements has to be learned.

Nun startet der eigentliche Lernprozess. Hierbei werden Elemente der Eingangsdaten in den Encoder des Neuronalen Netzes eingebacht und Elemente der Ausgangsdaten besetzten die Neuronen der Decoder-Schicht. Die einzelnen Eingangsdaten repräsentieren einen Zahlenwert, welcher das Neuronale Netz und seine Neuronen durchläuft. Dieser Zahlenwert wird jeweils an die nächste neuronale Schicht weitergegeben und bildet dort bedingte Wahrscheinlichkeiten mit Elementen der nächsten Schicht, der Decoder-Schicht. Nun wird der Wert der bedingten Wahrscheinlichkeit des Eingangszahlenwertes mit dem des Ausgangszahlenwerts abgeglichen. Weichen die beiden Zahlen außerhalb eines definierten Toleranzbereiches voneinander ab, so wird diese Information an das Neuronale Netz zurückgegeben. Die Gewichtung der Neuronen wird nun anhand dieser Information so optimiert, dass bei einem erneuten Durchlauf der Zahlenwert des Eingangselements näher bei dem des Ausgangselementes liegt. Dies geschieht iterativ so lange für die gesamte Menge der Ein- und Ausgangsdaten bis ein vom Ersteller der Topologie definiertes Abbruchkriterium erfüllt wird.Now the actual learning process starts. Here, elements of the input data are fed into the encoder of the neural network and elements of the output data occupy the neurons of the decoder layer. The individual input data represent a numerical value that passes through the neural network and its neurons. This numerical value is passed on to the next neural layer, where it forms conditional probabilities with elements of the next layer, the decoder layer. Now the value of the conditional probability of the input numerical value is compared with that of the output numerical value. If the two numbers deviate from one another outside of a defined tolerance range, this information is returned to the neural network. The weighting of the neurons is now optimized on the basis of this information in such a way that the numerical value of the input element is closer to that of the output element when it is run through again. This is done iteratively for the entire amount of input and output data until a termination criterion defined by the creator of the topology is met.

Das Neuronale Netze ist nun gewichtet und die Gewichtungen der einzelnen Neuronen werden nun statisch in ihm gespeichert.The neural network is now weighted and the weightings of the individual neurons are now stored statically in it.

Dem gewichtetem Neuronalen Netz wird nun wieder eine Sequenz an Eingangsdaten übergeben. Diese durchläuft dieselbe Netztopologie wie in der Trainings-Phase. Im Unterschied zur Trainings-Phase wird der nun erzeugte Zahlenwert aber nicht mit einem Zahlenwert der Ausgangsdaten abgeglichen, sondern ausgegeben. Die Ausgabe geschieht solange wie Elemente der Eingangsdaten in das Netz eingegeben werden oder ein Abbruchkriterium erreicht wird. Abbruchkriterien können beispielsweise das Erreichen einer maximalen Ausgabelänge oder das Erzeugen eines Stopp-Zeichens sein. Das Stopp-Zeichen ist das letzte Element der Ausgangsfolge und markiert somit das Ende ebendieser.A sequence of input data is now again transferred to the weighted neural network. This runs through the same network topology as in the training phase. In contrast to the training phase, the numerical value now generated is not compared with a numerical value in the output data, but rather output. The output takes place as long as elements of the input data are entered into the network or an abort criterion is met. Abort criteria can be, for example, reaching a maximum output length or generating a stop symbol. The stop character is the last element of the initial sequence and thus marks the end of this sequence.

Am Beispiel eines Fertigungsauftrages einer Werkzeugmaschine soll nun verdeutlicht werden, wie Zeitreihen anhand eines NC-Codes erzeugt werden können.
Dabei stellt der NC-Code die Eingangssequenz des RNN-Encoder-Decoders dar, die in einen Vektor überführt werden muss. Dies geschieht beispielsweise durch einen Tokenizer, welcher die häufigsten Wörter des Textes des NC-Codes aufgreift und diese in einem Zahlenwert entsprechend ihrer Häufigkeit übersetzt. Weiter können Satzzeichen wie „?“, „!“, „&“, „usw.“ durch den Tokenizer entfernt werden. Als Ausgangssequenz dienen Zeitreihen, welche bei vorherigem Durchlauf eines Fertigungsauftrags, bei gleichem oder ähnlichem NC-Code, aufgenommen wurden. Die beiden Sequenzen werden an ihre jeweilige Schicht übergeben.
Diese beiden Schichten werden nun einem ungewichteten Künstlichen Neuronalen Netz, welches bedingte Wahrscheinlichkeiten der Elemente der beiden Sequenzen abbilden kann, übergeben (vgl. 2, links - die Trainingsphase).
Anschließend wird die Lernphase gestartet. In dieser richtet das neuronale Netz die Gewichtung seiner Neuronen so aus, dass die vom Netz errechneten bedingten Wahrscheinlichkeiten immer näher an die tatsächlichen, in den Daten befindlichen bedingten Wahrscheinlichkeiten rücken.
Die Lernphase läuft solange, bis ein Abbruchkriterium für diese erreicht wurde. Dies kann die Anzahl der Iteration, die Menge von verwendeten Daten, die Erfüllung eines Optimierungsparameters etc. sein. Bei Eintritt eines Abbruchkriteriums gilt der Lernvorgang als abgeschlossen.Using the example of a production order for a machine tool, it should now be made clear how time series can be generated using an NC code.
The NC code represents the input sequence of the RNN encoder decoder, which must be converted into a vector. This is done, for example, by a tokenizer, which picks up the most frequent words in the text of the NC code and translates them into a numerical value according to their frequency. Punctuation marks such as "?", "!", "&", "Etc." can also be removed by the tokenizer. The output sequence is time series that were recorded when a production order was run before, with the same or a similar NC code. The two sequences are passed to their respective layers.
These two layers are now an unweighted artificial neural network, which conditional probabilities of the elements of the can map both sequences (cf. 2 , left - the training phase).
The learning phase is then started. In this, the neural network aligns the weighting of its neurons in such a way that the conditional probabilities calculated by the network move ever closer to the actual conditional probabilities in the data.
The learning phase continues until a termination criterion has been reached for this. This can be the number of iterations, the amount of data used, the fulfillment of an optimization parameter, etc. If an abort criterion occurs, the learning process is considered completed.

Im nächsten Schritt wird das parametrierte Netz nun in die Inferenzphase übergeben (vgl. 2, rechts - die Inferenzphase). Hier wird dem Neuronalen Netz nur noch eine vektorisierte Eingangssequenz, in diesem Fall der NC-Code übergeben. Das parametrierte Neuronale Netz gibt nun anhand der in der Trainingsphase berechneten bedingten Wahrscheinlichkeiten eine Ausgangssequenz aus.In the next step, the configured network is now transferred to the inference phase (cf. 2 , right - the inference phase). Here only a vectorized input sequence, in this case the NC code, is transferred to the neural network. The parameterized neural network now outputs an output sequence based on the conditional probabilities calculated in the training phase.

Das erfindungsgemäße, auf einem RNN-Encoder-Decoder basierende Verfahren wurde auf einen NC-Code und drei Zeitreihen (blau, rot, grün) eines Fertigungsauftrags einer Werkzeugmaschine angewandt. In der Inferenzphase wurde dem RNN-Encoder-Decoder wieder derselbe NC-Code zugeführt. 4 stellt die Trainingsdaten der Ausgabe aus der Inferenzphase (schwarz) anhand ihres Trends gegenüber. Eine Ähnlichkeit im Verhalten der Trainings- und Inferenzdaten ist mit den gewählten Auflösungen des Trends gut erkennbar.The method according to the invention, based on an RNN encoder-decoder, was applied to an NC code and three time series (blue, red, green) of a production order for a machine tool. In the inference phase, the same NC code was fed back to the RNN encoder decoder. 4th compares the training data with the output from the inference phase (black) based on their trend. A similarity in the behavior of the training and inference data can be clearly seen with the selected resolutions of the trend.

Während RNN-Encoder-Decoder in der Übersetzung natürlicher Sprache den Stand der Technik darstellen (s.a. WO2018058046A1 und W02018183650A2 ), wird diese Methode des Maschinellen Lernens außerhalb der Sprachübersetzung bisher nicht oder nur selten angewandt (s. hierzu [1]).
Wird der Einsatzbereich dieser Methode auf Beschreibungen einer Ereignissequenz angewandt, welche nicht einer natürlichen Sprache entspricht, so können komplexere Daten verarbeitet werden, welche bei vielen Systemen beiläufig anfallen. Beispielhaft sei auf die W02018213841A1 verwiesen, in der ein Seq2Seq-Verfahren beschrieben wird, bei dem andere Sequenzen als die natürliche Sprache verwendet werden. Genannt werden hier insbesondere die Bilderkennung, die Spracherkennung, die Bildbeschreibung oder Syntaxanalyse (Parsing). Sequenz-Formen in nicht-natürlicher Sprache und Zeitreihen werden jedoch nicht erwähnt. Zudem wird dieses vorgestellte Verfahren nicht innerhalb einer Simulationsumgebung verwendet.
Aus der W02018156373A1 ist ein, um einen Aufmerksamkeitsmechanismus erweitertes Seq2Seq-Verfahren bekannt. Der Aufmerksamkeitsmechanismus stellt lediglich eine technische Erweiterung des Grundmodells dar, bei der neben der Abbildung von ganzen Sequenzpaaren aufeinander zusätzlich auch Teile von Sequenzpaaren aufeinander abgebildet werden. Dies führt bei der Sprachübersetzung zur Leistungssteigerung des Grundmodells.While RNN encoder decoders represent the state of the art in the translation of natural language (see also WO2018058046A1 and W02018183650A2 ), this method of machine learning has not yet been used or only rarely used outside of language translation (see [1]).
If the area of application of this method is applied to descriptions of an event sequence that does not correspond to a natural language, more complex data can be processed, which are incidental in many systems. Let me give you an example W02018213841A1 which describes a Seq2Seq method that uses sequences other than natural language. In particular, image recognition, speech recognition, image description or syntax analysis (parsing) are mentioned here. Sequence forms in unnatural language and time series are not mentioned, however. In addition, this presented method is not used within a simulation environment.
From the W02018156373A1 a Seq2Seq method expanded by an attention mechanism is known. The attention mechanism is merely a technical extension of the basic model, in which, in addition to the mapping of entire sequence pairs, parts of sequence pairs are also mapped onto one another. This leads to an increase in the performance of the basic model for language translation.

Es lässt sich also feststellen, dass die Abbildung eines Sachverhalts, Ereignisses etc. nicht nur mit Hilfe der natürlichen Sprache möglich ist, sondern auch durch abstrakte Beschreibungen desselben Sachverhaltes in einer nicht-natürlichen Sprache, anhand einer beliebigen Sequenz von Symbolen, möglich ist, solange die Symbolfolge eine Beschreibung desselben Sachverhaltes darstellt. Weiter können somit auch zwei Sequenzen von Symbolfolgen, nicht-natürlicher Sprache desselben Ereignisses einander zugeordnet werden. Diese Zuordnung kann erlernt werden. Wie am Beispiel eines Fertigungsauftrags an einer Werkzeugmaschine, welcher durch eine Zeitreihe des Energieverbrauchs, als auch durch den NC-Code beschrieben werden kann.
In diesem Zusammenhang bietet auch die Verwendung eines Tokenizers auf Beschreibungen in nicht natürlicher Sprache, wie den NC-Code (s. [1]) den Vorteil, Symbolfolgen in eine Alternativbeschreibung eben dieser Symbolfolge zu übersetzen, wobei die Ausgangssymbolfolge auf ihre charakteristischen Elemente verkürzt wird.It can thus be established that the mapping of a state of affairs, event, etc. is not only possible with the help of natural language, but is also possible through abstract descriptions of the same state of affairs in a non-natural language using any sequence of symbols, as long as the sequence of symbols represents a description of the same issue. Furthermore, two sequences of symbol sequences, non-natural language of the same event can be assigned to one another. This assignment can be learned. As in the example of a production order on a machine tool, which can be described by a time series of the energy consumption as well as by the NC code.
In this context, the use of a tokenizer for descriptions in non-natural language, such as the NC code (see [1]), has the advantage of translating symbol sequences into an alternative description of this symbol sequence, with the initial symbol sequence being shortened to its characteristic elements .

Die Anwendung von Methoden des Maschinellen Lernens erweist sich auch deshalb als vorteilhaft, da der Modellierungsaufwand eines rein stochastischen Modells wegfällt. Dieser Modellierungsaufwand ist umso höher, desto realistischer das Verhalten einer Zielereignissequenz beschrieben werden soll. Dieser Aufwand fällt durch Anwendung einer Methode des Maschinellen Lernens weg, da sich diese den Verlauf einer Ereignissequenz im Durchlauf eines Künstlichen, Neuronalen Netzes selbst aneignet. Weiter parametriert sich das Neuronale Netz auch selbst, d. h. wurde ein Zusammenhang zwischen zwei Sequenzen gefunden, lernt das Neuronale Netz selbstständig den Einfluss einer Eingabe auf eine Ausgabe einzuschätzen.
Im Wesentlichen bestehen die Vorteile der Erfindung somit darin, eine Ereignissequenz beliebigen Zeitreihen von Messgrößen zuordnen zu können und diese Messgrößen dann prognostizieren zu können.The use of machine learning methods also proves to be advantageous because the modeling effort of a purely stochastic model is no longer necessary. This modeling effort is higher, the more realistically the behavior of a target event sequence is to be described. This effort is omitted by using a method of machine learning, as this itself appropriates the course of an event sequence while passing through an artificial, neural network. The neural network also parameterizes itself, ie if a connection between two sequences is found, the neural network learns to independently assess the influence of an input on an output.
Essentially, the advantages of the invention consist in being able to assign an event sequence to any time series of measured variables and then being able to forecast these measured variables.

LiteraturlisteReading list

[1] - Goodfellow, I .; Bengio, Y .; Courville, A .: Deep learning. Cambridge, Mass .: The MIT Press 2017.
[2] - Cho, K .; van Merrienboer, B .; Gulcehre, C .; Bahdanau, D .; Bougares, F .; Schwenk, H .; Bengio, Y .: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In: Alessandro Moschitti, Q. Computing; Bo Pang, G .; Walter Daelemans, U.of (Ed.): Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Doha, Qatar, 10/1/2014 - 10/1/2014, 2014, pp. 1724-1734
[3] - Sutskever, I .; Vinyals, O .; V. Le, Q .: Sequence to Sequence Learning with Neural Networks. Advances in Neural Information Processing Systems 2014/09/10 (2014) .

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2018060727 A1 [0021]
WO 2018058046 A1 [0034]
WO 2018183650 A2 [0034]
WO 2018213841 A1 [0034]
WO 2018156373 A1 [0034]

Zitierte Nicht-PatentliteraturNon-patent literature cited

Alessandro Moschitti, Q. Computing; Bo Pang, G .; Walter Daelemans, U.of (Ed.): Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Doha, Qatar, 10/1/2014 - 10/1/2014, 2014, pp. 1724-1734 [0036]
Sutskever, I .; Vinyals, O .; V. Le, Q .: Sequence to Sequence Learning with Neural Networks. Advances in Neural Information Processing Systems 2014/09/10 (2014) [0036]

Claims

Method for simulating events of a technical system with a method of machine learning using an artificial neural network, consisting of • at least one encoder in which input sequences of system events that can be sequentially represented as a vector are coded, • At least one decoder, from which output sequences of system events that can be sequentially represented as a vector are generated and • At least one intermediate layer connecting the encoder and the decoder, with the input and output sequences of system events in a first phase in the form of time series and / or data records that describe the course of the system events and cause a system change, vectorized and in an unweighted neural Network are assigned to one another in a self-learning manner and weighted and, in a second phase, an output sequence is generated with the aid of the weighted neural network.

Procedure according to Claim 1 , whereby the simulation is combined with a method of machine learning in the second phase.

Procedure according to Claim 1 or 2 , whereby the values of the input and / or output sequences of system events are preprocessed and / or postprocessed.

Method according to one of the Claims 1 to 3 , whereby the input and output sequences of system events are designed to be multimodal.

Method according to one of the preceding claims, wherein the input and / or output sequences of system events are translated into an optimized symbol sequence with the aid of a tokenizer.

Method according to one of the preceding claims, the simulation of events in a technical system being implemented in real time or with a time delay.

Method according to one of the preceding claims, wherein the method is combined with an attention mechanism.

Method according to one of the preceding claims, wherein the method is carried out as a hybrid simulation with the aid of a digital twin of control and regulation technology.

Device for simulating events of a technical system having at least one computer with at least one computer program which is set up for a method according to one of the Claims 1 to 8th perform.