EP2543006A1 - Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems - Google Patents

Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems

Info

Publication number
EP2543006A1
EP2543006A1 EP11714531A EP11714531A EP2543006A1 EP 2543006 A1 EP2543006 A1 EP 2543006A1 EP 11714531 A EP11714531 A EP 11714531A EP 11714531 A EP11714531 A EP 11714531A EP 2543006 A1 EP2543006 A1 EP 2543006A1
Authority
EP
European Patent Office
Prior art keywords
network
vector
causal
recurrent neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11714531A
Other languages
English (en)
French (fr)
Inventor
Hans-Georg Zimmermann
Ralph Grothmann
Christoph Tietz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP2543006A1 publication Critical patent/EP2543006A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • the invention relates to a method for computer-aided learning of a recurrent neural network for modeling a dynamic system and to a method for predicting the observables of a dynamic system based on a learned recurrent neural network and a corresponding computer program product.
  • Recurrent neural networks are used today in various fields of application to in order to model the temporal development of a dynamic system in a suitable manner such that a learned with training data of the dynamic system recurrent neural network well the Obser ⁇ vablen (observable states) of the system in can predict.
  • unknown unknown states are modeled by the recurrent neural network as states of the dynamic system.
  • a causal, ie temporally forward, flow of information between temporally successive states is considered.
  • Such dynamic systems are often insufficiently described by known recurrent neural networks.
  • the object of the invention is therefore to provide a method for computer-aided learning of a recurrent neural network, with which dynamic systems can be better modeled.
  • the inventive method is used for computer-assisted learning a recurrent neural network for modeling a dynamic system at respective times comprising one or more Obwalden servablen by a Observablenvektor (ie observable states of the dynamic Sys tems ⁇ ) is characterized as entries.
  • the procedure is as applicable to ⁇ to any dynamic systems beispielswei ⁇ se the development of energy prices and / or commodity prices can be modeled with the procedure.
  • the method can be used to model any technical system which changes dynamically over time based on corresponding observable state variables of the technical system, in order thereby to predict observables of the technical system with a correspondingly learned network.
  • a gas turbine for example, a gas turbine
  • the recurrent neural network used in the method according to the invention comprises a first subnet in the form of a causal network describing a temporally forward information flow between first state vectors of the dynamic system, wherein a first state vector comprises one or more first entries at a respective time each associated with an entry of the observable vector, and one or more hidden (ie unobservable) states of the dynamic system.
  • a second sub-network in the form of a retro-causal network is further provided, wherein the retro-causal network a time ⁇ Lich backward flow of information between second state vectors of the dynamic describes system wherein a second state vector comprises at a respective time egg NEN or more second entries, each entry of the egg ⁇ nem Observablenvektors belongs to, and ei ⁇ NEN or more hidden states of the dynamic system.
  • a respective determined that time of Observablenvektor such that the first entries of the first state vector to the two ⁇ ten entries of the second state vector are combined.
  • the causal and retro-causal networks are learned based on training data containing a sequence of temporally successive known observable vectors.
  • the inventive method is characterized in that a dynamic system is described by a recurrent neural network, which is both a flow of information from the past to the future as well as a flow of information from the future to the past into account ⁇ Untitled.
  • dynamic systems can be suitably modeled in which the observables are also influenced by predicted future observable values at a given time.
  • the first and second entries of the first and second state vectors are made using the difference between the one in the recurrent neural network corrected observable vector and the known observable vector corrected at the respective time.
  • the first and second state vectors with the corrected first and second entries are then reused in learning. In this way, a so-called teacher forcing is achieved at a particular time, in which observables determined in the recurrent neural network are always adapted to observables according to the training data.
  • causal and retro-causal networks are based on a
  • a target value is determined which determines the difference vector between the observable vector determined in the recurrent neural network and the known one Observable vector represents at the respective time.
  • learning is as optimization goal to minimize the sum of the amounts or squared values of the difference ⁇ vectors at the respective time points for which there exists a known Observablenvektor from the training data set. This ensures in a simple manner that the recurrent neural network correctly models the dynamics of the system under consideration.
  • a first state vector is converted at a respective time into a first state vector at a subsequent point in time by multiplication with a matrix assigned to the causal network and the application of an activation function.
  • the activation function is first applied to the state vector at the respective time, and only then is a multiplication carried out with the matrix assigned to the causal network. This ensures that observables can be described which are not limited by the value range of the activation function.
  • a second state vector at a respective point in time is converted into a second state vector at a preceding time by multiplication with a matrix assigned to the retro-causal network and applying transferred to an activation function.
  • the activation function is again first applied to the second state vector at the respective time, and only then is a multiplication carried out with the matrix assigned to the retro-causal network.
  • the above ⁇ be signed activation functions are tanh functions (hyperbolic tangent), which are often used in recurrent neural networks.
  • the invention comprises a method for predicting observables of a dynamic see system, in which the prediction is performed with a recurrent neural network, which is learned with the inventive learning ⁇ training method based on training data comprehensively known observable vectors of the dynamic system ,
  • the invention further relates to a computer program product having a program code stored on a machine-readable carrier for carrying out the methods described above when the program is run on a computer.
  • FIGS. 1 and 2 show two variants of known recurrent neural networks for modeling a dynamic system
  • FIG. 3 shows a variant of a recurrent neural network based on FIG. 2, which according to the invention is used as a causal subnetwork;
  • Fig. 4 is a known from the prior art
  • FIGS. 5 and 6 show variants of the learning of the causal network of FIG. 3, which are used in embodiments of the method according to the invention.
  • FIG. 7 shows a retro-causal network which is used in the method according to the invention in combination with the causal network of FIG. 3;
  • FIG. 10 is an embodiment of a erfindungsge ⁇ MAESSEN recurrent neural network which combines the networks of Figures 3 and 7 with each other ⁇ ..;
  • Recurrent neural networks for modeling the temporal behavior of a dynamic system are well known in the art. These networks typically comprise a plurality of layers which include a plurality of neurons and may be based on training data from known states of the dynamic system learned in a suitable manner such that future states of the dynamic Sys tems ⁇ can be predicted.
  • Fig. 1 shows a known prior art variant of the neural network that models an open dynamic Sys tem ⁇ .
  • the network in this case comprises an input layer I with temporally consecutive state vectors u t -3, Ut-2, ut-i and u t representing corresponding inputs of Dynami ⁇ 's system.
  • These input variables can be, for example, manipulated variables of a technical system modeled using the neural network.
  • the individual state vectors of the input layer I are connected via matrices B to corresponding hidden state vectors s t -2 r St-i, etc. of a hidden layer.
  • the hidden state vectors comprise a plurality of hidden states of the dynamic system and form the (unobservable) state space of the dynamic system.
  • the individual hidden state vectors are connected to each other via matrices A.
  • the network further includes an output layer having output 0 ⁇ sizes in the form of state vectors y t -2 / Yt-ir ⁇ / Yt + 4r which to corresponding hidden state vectors s t r -2 s t i, s t +4 are coupled via the matrix C.
  • the states of the output layer are states of the dynamic Sys tems ⁇ which result from the corresponding input values of the input layer I. Based on training data, wel ⁇ che from known input variables and from this there are resulting known output variables, the neural network of Figure 1 may be learned by known methods, such as error-back propagation and then be used to do so.
  • the network of FIG. 1 is based on a modeling of the considered dynamic system in the form of a superposition of an autonomous and an externally driven subsystem.
  • Fig. 2 shows a further variant of a recurrent neurona ⁇ len network, which is used in the described below embodiments of the method according to the invention is used.
  • This network models a closed dynamic system and differs from the network of FIG. 1 in that it no longer distinguishes between inputs u T and outputs y T , where ⁇ in the following designates an arbitrary point in time. Rather, both the input quantities and the output quantities are regarded as observables, ie observable states of an observable vector of the dynamic system.
  • the network of FIG. 2 comprises a first layer LI and a second layer L2, wherein the first
  • Layer LI represents a temporally forward information flow between individual state vectors s t -2 r s t -i, s t +3 of the modeled dynamic system.
  • a state vector s.sub.T initially contains as entries the observable observables which correspond to the state vectors y.sub.t and u.sub.t of FIG. 1, and then the unobservable hidden states, where the number in hidden states is usually much larger than the number of observables.
  • the individual state vectors in layer LI are interleaved by arrays A, which are learned appropriately based on training data. At the beginning of the learning there is a suitable bias in the
  • Layer LI predetermined which is designated in Fig. 2 and in all subsequent figures with So.
  • a suitably learned recurrent neural network of Figure 2 provides in the second layer the observables y t -i, Ut-2, Y t -ir Ut-i, ..., etc. at the respective times.
  • the matrix [Id, 0] via the matrix [Id, 0], those entries of the corresponding access Get state vectors s T , which observables correspond.
  • the matrix [Id, 0] has the dimension of the state vector s T for the columns and the dimension according to the number of observables for the rows.
  • the left part of the matrix forms a square identity matrix and for the rest
  • the matrix contains only zeros, whereby the filtering of observables from the state vector s T is achieved.
  • the observables are embedded in a large state vector s T.
  • the network of Fig. 2 also illustrates a causal network, since the flow of information between the stands to the layer LI ⁇ directed forward in time from the past is carried out in the future.
  • Fig. 3 shows a system based on Fig. 2 recurrent new ⁇ ronales network, now all observable throughout as Observablenvektoren y t -6, y t -s, yt + 3 are referred to.
  • the notation y T thus comprises both the output variable y T and the input quantity u T from FIG. 2. This notation is also used below in all other described variants of recurrent neural networks.
  • the observable vectors y t + i, y t + 2, and y t + 3 to be predicted by the network are indicated by dashed circles. That is, the current time is indicated by t in Fig. 3 and also in all other figures. Past times are thus the times t-1, t-2, etc., and future times are the times t + 1, t + 2, t + 3, and so on.
  • Fig. 4 is a known variant of the learning of rekurren ⁇ th neural network shows the FIG. 3, where y d t-3, y d t-2, y d ti and y d t known Observablenvektoren accordance with predetermined Trai- beginnings data in the modeling dynamic system.
  • the matrix [Id, 0] corresponds to the above-explained matrix for filtering the observables from the corresponding aggregate.
  • the matrix comprises one of the number of objects
  • the matrix forms a quadratic identity matrix and the remaining rows of the matrix contain only zeros.
  • the network of FIG. 4 further contains the matrix C, with which a state s T is converted into a state r T.
  • the state r T indicates a filtered stood to ⁇ , which contains only the hidden states of the vector s t. Consequently, the matrix C is a matrix which contains ones on the diagonal elements which correspond to the corresponding rows or columns of the hidden states and whose remaining entries are set to zero.
  • the search is for the matrix A, which minimizes the quadratic error summed over the times t-m ⁇ ⁇ t between known and known observable vectors over the network.
  • FIG. 5 designates a corresponding identity map for the state vector at which the arrow designated by the matrix begins.
  • a target variable or a target value tar is now introduced in FIG. 5, which determines the difference vector between the observable vector y T determined by the recurrent neural network within the state vector s T and the known observer vector y d T represents.
  • This target value in the ideal case ⁇ zero again serves to the corresponding determined observables known in the vectors s T by the Observables according to the training data to replace what through
  • the optimization target is analogous to the network of FIG. 4 given by:
  • FIG. 6 shows a preferred variant of a learning, which is also used in the neural network structure according to the invention described below.
  • the difference between the recurrent neural network of Fig. 6 versus the recurrent neural network of Fig. 5 is that in the above equations (5) and (6), the position of the matrix A is interchanged with the position of the function tanh ,
  • a suitable learning of a causal network with forward flow of information has been described.
  • the invention is based on the finding that a causal model is not always suitable for loading ⁇ scription of a dynamic system.
  • dynamic systems which also have a retro-causal information flow in the reverse direction from the future into the present.
  • This is to dynamic systems in their temporal development ⁇ development and planning, including the forecast of future observables flows.
  • temporal development ⁇ development and planning including the forecast of future observables flows.
  • not only temporally preceding state vectors, but also predicted future state vectors are taken into account in the temporal change of a corresponding state vector of the dynamic system.
  • the price is loading true not only by supply and demand, but also by planning aspects of the seller or buyer on the sale or purchase of energy or Rohstof ⁇ fen.
  • the method according to the invention is based on the idea of modeling a dynamic system in such a way that an information flow is viewed not only in the causal direction from the past into the future, but also an information flow in the retro-causal direction from the future into the gang unit.
  • Such an information flow can be realized by a retro-causal network.
  • Such a network is shown in FIG.
  • the network of FIG. 7 differs from the network of FIG. 3 in that the information flow between the states s T runs in the opposite direction from the future to the past, the method being in turn initialized with a bias So, which now, however, is a state in the future.
  • the network of FIG. 7 can be learned analogously to the network of FIG. 3 via the minimization of a target value tar, as indicated in FIG. 8.
  • the invention is now based on a combination of a causal network with a retro-causal network, whereby a recurrent neural network with an information flow of so ⁇ well from the past into the future as well as from the future into the past is made possible.
  • Kings ⁇ nen dynamic systems are modeled, which play a role in the dynamic development of the states also predicted future states.
  • 10 shows generically a combination according to the invention of a causal network with a retro-causal network, whereby a recurrent neural network is created, which can be learned in a suitable manner.
  • the network is in the lower part of a causal network Nl and in the upper part of a retro-causal network N2 together.
  • the network N1 corresponds to the causal network of FIG.
  • the network N2 corresponds to the retro-causal network of FIG. 7, where in the retro-causal network the matrices are now denoted by A 'and the states by su', since matrices and States for the causal and the retro-causal network may be different. Both networks are coupled to each other via the corresponding observable vector y T.
  • FIG. 11 shows, based on the network of FIG. 10, a learning of the network by means of teacher forcing.
  • This teacher forcing has been explained separately above for the causal network in Fig. 6 and the retro-causal network in Fig. 9.
  • the observables contained in the state vector s t are designated by A t and the observables contained in the state vector s t 'by A t ' for the time t.
  • the sum of A t and A t ' represents the case Observablenvektor determined by the rekurren ⁇ te network is and the target value is the difference between this sum and the actual Observablenvektor y d in accordance with the training data.
  • the error-repatriation with well-known weight well known from the prior art is used, which is shown in FIG.
  • the error-repatriation with divided weights is achieved by the fact that in two copies of the network of FIG. 11 the error backpropagation for the causal network N 1 and once the error backpropagation for the retrospective one causal network N2 is calculated, while at the sametechnischge ⁇ assumed that always the same matrix A is used in both copies of the network and always the same matrix A 'in both copies of the network.
  • the error return propagation with divided weights is well known to the person skilled in the art and will therefore not be explained in further detail.
  • the described in the foregoing inventive procedural ⁇ ren has a number of advantages.
  • those dynamic systems can be learned where to ⁇ future predicted states of the dynamic system play ei ⁇ ne role in the current state.
  • the method can be used for different dynamic systems.
  • the dynamic system can represent the development over time of energy prices or electricity prices and / or raw material prices, observables being various types of energy (eg gas, oil) and / or raw materials as well as other economic factors such as the conversion of different currencies and commodities Stock indices, can be considered.
  • With a trained by training data recurrent neural network then appropriate prediction of future price developments for energy and / or raw materials can be made.
  • Another area of application is the modeling of the dynamic behavior of a technical system.
  • the recurrent neural network according to the invention can be used for predicting the observable states of a gas turbine and / or a wind turbine or any other technical systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems, das zu jeweiligen Zeitpunkten durch einen Observablenvektor umfassend eine oder mehrere Observablen als Einträge charakterisiert wird. Erfindungsgemäß wird dabei ein neuronales Netz gelernt, welches sowohl ein kausales Netz mit einem zeitlich vorwärts gerichteten Infor- mationsfluss als auch ein retro-kausales Netz mit einem zeitlich rückwärts gerichteten Informationsfluss umfasst. Die Zustände des dynamischen Systems werden in dem kausalen Netz durch erste Zustandsvektoren und in dem retro-kausalen Netz durch zweite Zustandsvektoren charakterisiert, welche jeweils Observablen des dynamischen Systems sowie versteckte Zustände des dynamischen Systems enthalten. Beide Netze werden über die Kombination der Observablen der entsprechenden ersten und zweiten Zustandsvektoren miteinander verknüpft und basierend auf Trainingsdaten umfassend bekannte Observablenvektoren gelernt. Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass auch dynamische Systeme modelliert werden können, bei denen prognostizierte zukünftige Observablen einen Einfluss auf den aktuellen Wert der Observablen haben. Das Verfahren eignet sich insbesondere zur Modellierung der zeitlichen Entwicklung von Energiepreisen und/oder Rohstoffpreisen. Ebenso kann das Verfahren zur Modellierung von Observablen beliebiger technischer Systeme eingesetzt werden, wie z.B. Gasturbinen und/oder Windkraftanlagen.

Description

Beschreibung
Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems
Die Erfindung betrifft ein Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems sowie ein Verfahren zur Prädiktion der Observablen eines dynamischen Systems basierend auf einem gelernten rekurrenten neuronalen Netz und ein entsprechendes Computerprogrammprodukt .
Rekurrente neuronale Netze werden heutzutage in verschiedenen Anwendungsgebieten dazu verwendet, um die zeitliche Entwick- lung eines dynamischen Systems in geeigneter Weise derart zu modellieren, dass ein mit Trainingsdaten des dynamischen Systems gelerntes rekurrentes neuronales Netz gut die Obser¬ vablen (beobachtbaren Zustände) des betrachteten Systems vorhersagen kann. Dabei werden durch das rekurrente neuronale Netz als Zustände des dynamischen Systems neben den Observablen auch unbekannte versteckte Zustände modelliert, wobei in der Regel lediglich ein kausaler, d.h. zeitlich vorwärts gerichteter, Informationsfluss zwischen zeitlich aufeinander folgenden Zuständen betrachtet wird. Häufig beruhen dynami- sehe Systeme jedoch darauf, dass bei der zeitlichen Entwick¬ lung der Zustände des Systems auch zukünftige Prognosen über Observablen eine Rolle spielen. Solche dynamischen Systeme werden durch bekannte rekurrente neuronale Netze oftmals nur unzureichend beschrieben.
Aufgabe der Erfindung ist es deshalb, ein Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zu schaffen, mit dem dynamische Systeme besser modelliert werden können .
Diese Aufgabe wird durch die unabhängigen Patentansprüche ge¬ löst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert. Das erfindungsgemäße Verfahren dient zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems, das zu jeweiligen Zeitpunkten durch einen Observablenvektor umfassend eine oder mehrere Ob- servablen (d.h. beobachtbare Zustände des dynamischen Sys¬ tems) als Einträge charakterisiert ist. Das Verfahren ist da¬ bei auf beliebige dynamische Systeme anwendbar, beispielswei¬ se kann mit dem Verfahren die Entwicklung von Energiepreisen und/oder Rohstoffpreisen modelliert werden. Ebenso kann mit dem Verfahren jedes beliebige, sich dynamisch über die Zeit verändernde technische System basierend auf entsprechenden beobachtbaren Zustandsgrößen des technischen Systems modelliert werden, um hierdurch Observablen des technischen Sys- tems mit einem entsprechend gelernten Netz vorherzusagen. Beispielsweise kann mit dem Verfahren eine Gasturbine
und/oder eine Windkraftanlage geeignet modelliert werden.
Das in dem erfindungsgemäßen Verfahren verwendete rekurrente neuronale Netz umfasst ein erstes Teilnetz in der Form eines kausalen Netzes, das einen zeitlich vorwärts gerichteten In- formationsfluss zwischen ersten Zustandsvektoren des dynamischen Systems beschreibt, wobei ein erster Zustandsvektor zu einem jeweiligen Zeitpunkt einen oder mehrere erste Einträge umfasst, welche jeweils einem Eintrag des Observablenvektors zugeordnet sind, sowie einen oder mehrere versteckte (d.h. nicht beobachtbare) Zustände des dynamischen Systems. Um auch die zukünftige zeitliche Entwicklung des dynamischen Systems in dem rekurrenten neuronalen Netz zu berücksichtigen, ist ferner ein zweites Teilnetz in der Form eines retro-kausalen Netzes vorgesehen, wobei das retro-kausale Netz einen zeit¬ lich rückwärts gerichteten Informationsfluss zwischen zweiten Zustandsvektoren des dynamischen Systems beschreibt, wobei ein zweiter Zustandsvektor zu einem jeweiligen Zeitpunkt ei- nen oder mehrere zweite Einträge umfasst, welche jeweils ei¬ nem Eintrag des Observablenvektors zugeordnet sind, sowie ei¬ nen oder mehrere versteckte Zustände des dynamischen Systems. In dem rekurrenten neuronalen Netz wird dabei zu einem jewei- ligen Zeitpunkt der Observablenvektor derart ermittelt, dass die ersten Einträge des ersten Zustandsvektors mit den zwei¬ ten Einträgen des zweiten Zustandsvektors kombiniert werden. Schließlich werden das kausale und das retro-kausale Netz ba- sierend auf Trainingsdaten gelernt, welche eine Folge von zeitlich aufeinander folgenden bekannten Observablenvektoren enthalten .
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass ein dynamisches System durch ein rekurrentes neuronales Netz beschrieben wird, welches sowohl ein Informationsfluss von der Vergangenheit in die Zukunft als auch einen Informa- tionsfluss von der Zukunft in die Vergangenheit berücksich¬ tigt. Hierdurch können dynamische Systeme geeignet modelliert werden, bei denen die Observablen zu einem jeweiligen Zeitpunkt auch durch prognostizierte zukünftige Observablenwerte beeinflusst werden.
In einer besonders bevorzugten Ausführungsform werden beim Lernen des kausalen und retro-kausalen Netzes zu einem jeweiligen Zeitpunkt, für den ein bekannter Observablenvektor aus den Trainingsdaten existiert, die ersten und zweiten Einträge der ersten und zweiten Zustandsvektoren unter Verwendung des Unterschieds zwischen dem im rekurrenten neuronalen Netz er- mittelten Observablenvektor und dem bekannten Observablenvektor zu dem jeweiligen Zeitpunkt korrigiert. Die ersten und zweiten Zustandsvektoren mit den korrigierten ersten und zweiten Einträgen werden dann beim Lernen weiterverwendet. Auf diese Weise wird zu einem jeweiligen Zeitpunkt ein sog. Teacher-Forcing erreicht, bei dem in dem rekurrenten neuronalen Netz ermittelte Observablen immer an Observablen gemäß den Trainingsdaten angepasst werden.
In einer weiteren, besonders bevorzugten Ausführungsform wer- den das kausale und retro-kausale Netz basierend auf einer
Fehler-Rückpropagation mit geteilten Gewichten gelernt. Dieses auch unter dem englischen Begriff "error backpropagation with shared weights" bekannte Verfahren ist dem Fachmann hin- länglich geläufig und wird häufig in rekurrenten neuronalen Netzen beim Lernen eingesetzt. Durch die Verwendung dieses Verfahrens wird ein einfaches und effizientes Lernen des re¬ kurrenten neuronalen Netzes erreicht.
In einer weiteren, bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird in dem rekurrenten neuronalen Netz zu einem jeweiligen Zeitpunkt der Observablenvektor derart ermittelt, dass die jeweiligen ersten und zweiten Einträ- ge, welche dem gleichen Eintrag des Observablenvektors zuge¬ ordnet sind, addiert werden.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird beim Lernen des kausalen und retro-kausalen Netzes zu einem jeweiligen Zeitpunkt, für den ein bekannter Observablenvektor gemäß den Trainingsdaten existiert, ein Zielwert ermittelt, der den Differenzvektor zwischen dem im rekurrenten neuronalen Netz ermittelten Observablenvektor und dem bekannten Observablenvektor zu dem jeweiligen Zeitpunkt darstellt. Dabei ist als Lern-Optimierungsziel die Minimierung der Summe der Beträge oder quadrierte Beträge der Differenz¬ vektoren zu den jeweiligen Zeitpunkten, für die ein bekannter Observablenvektor aus den Trainingsdaten existiert, vorgegeben. Hierdurch wird auf einfache Weise sichergestellt, dass das rekurrente neuronale Netz die Dynamik des betrachteten Systems richtig modelliert.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird in dem kausalen Netz ein erster Zustandsvektor zu einem jeweiligen Zeitpunkt in einen ersten Zustandsvektor zu einem nachfolgenden Zeitpunkt durch eine Multiplikation mit einer dem kausalen Netz zugeordneten Matrix und das Anwenden einer Aktivierungsfunktion überführt. In einer besonders bevorzugten Variante wird dabei zunächst die Aktivierungsfunk- tion auf den Zustandsvektor zu dem jeweiligen Zeitpunkt angewendet und erst anschließend erfolgt eine Multiplikation mit der dem kausalen Netz zugeordneten Matrix. Hierdurch wird sichergestellt, dass Observablen beschrieben werden können, welche nicht durch den Wertebereich der Aktivierungsfunktion beschränkt sind.
In einer weiteren Ausgestaltung des erfindungsgemäßen Verfah- rens wird in dem retro-kausalen Netz ein zweiter Zustandsvek- tor zu einem jeweiligen Zeitpunkt in einen zweiten Zustands- vektor zu einem vorhergehenden Zeitpunkt durch eine Multiplikation mit einer dem retro-kausalen Netz zugeordneten Matrix und das Anwenden einer Aktivierungsfunktion überführt. Vor- zugsweise wird wiederum zunächst die Aktivierungsfunktion auf den zweiten Zustandsvektor zu dem jeweiligen Zeitpunkt angewendet und erst anschließend erfolgt eine Multiplikation mit der dem retro-kausalen Netz zugeordneten Matrix. Hierdurch wird auch für das retro-kausale Netz sichergestellt, dass die Observablen nicht durch den Wertebereich der Aktivierungsfunktion beschränkt sind.
In einer besonders bevorzugten Variante sind die oben be¬ schriebenen Aktivierungsfunktionen tanh-Funktionen (tangens hyperbolicus ) , welche häufig in rekurrenten neuronalen Netzen zum Einsatz kommen.
Neben dem oben beschriebenen Verfahren umfasst die Erfindung ein Verfahren zur Prädiktion von Observablen eines dynami- sehen Systems, bei dem die Prädiktion mit einem rekurrenten neuronalen Netz durchgeführt wird, welches mit dem erfin¬ dungsgemäßen Lernverfahren basierend auf Trainingsdaten umfassend bekannte Observablenvektoren des dynamischen Systems gelernt ist.
Die Erfindung betrifft darüber hinaus ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung der oben beschriebenen Verfahren, wenn das Programm auf einem Rechner abläuft.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben. Es zeigen:
Fig. 1 und Fig. 2 zwei Varianten von bekannten rekurrenten neuronalen Netzen zur Modellierung eines dynamischen Systems;
Fig. 3 eine auf Fig. 2 basierende Variante eines rekurrenten neuronalen Netzes, welches erfindungsgemäß als kausales Teilnetz zum Einsatz kommt;
Fig. 4 eine aus dem Stand der Technik bekannte
Variante des Lernens des kausalen Netzes gemäß Fig. 3;
Fig. 5 und Fig. 6 Varianten des Lernens des kausalen Netzes der Fig. 3, welche in Ausführungsformen des erfindungsgemäßen Verfahrens zum Einsatz kommen;
Fig. 7 ein retro-kausales Netz, welches in dem erfindungsgemäßen Verfahren in Kombination mit dem kausalen Netz der Fig. 3 zum Einsatz kommt;
Fig. 8 und Fig. 9 Varianten des Lernens des retro-kausalen
Netzes der Fig. 7, welche in Ausführungs¬ formen des erfindungsgemäßen Verfahrens zum Einsatz kommen;
Fig. 10 eine Ausführungsform eines erfindungsge¬ mäßen rekurrenten neuronalen Netzes, welches die Netze der Fig. 3 und Fig. 7 mit¬ einander kombiniert; und
Fig. 11 und Fig. 12 Ausführungsformen des erfindungsgemäßen
Lernens des in Fig. 10 gezeigten rekurrenten neuronalen Netzes. Rekurrente neuronale Netze zur Modellierung des zeitlichen Verhaltens eines dynamischen Systems sind hinlänglich aus dem Stand der Technik bekannt. Diese Netze umfassen in der Regel mehrere Schichten, welche eine Mehrzahl von Neuronen beinhalten und in geeigneter Weise basierend auf Trainingsdaten aus bekannten Zuständen des dynamischen Systems derart gelernt werden können, dass zukünftige Zustände des dynamischen Sys¬ tems prädiziert werden können.
Fig. 1 zeigt eine aus dem Stand der Technik bekannte Variante eines neuronalen Netzes, welches ein offenes dynamisches Sys¬ tem modelliert. Das Netz umfasst dabei eine Eingangsschicht I mit zeitlich aufeinander folgenden Zustandsvektoren ut-3, Ut-2, ut-i und ut, welche entsprechende Eingangsgrößen des dynami¬ schen Systems darstellen. Diese Eingangsgrößen können beispielsweise Stellgrößen eines mit dem neuronalen Netz modellierten technischen Systems sein. Die einzelnen Zustandsvektoren der Eingangsschicht I sind über Matrizen B mit entspre- chenden versteckten Zustandsvektoren st-2r St-i, usw. einer versteckten Schicht verbunden. Die versteckten Zustandsvektoren umfassen eine Mehrzahl von versteckten Zuständen des dynamischen Systems und bilden den (nicht beobachtbaren) Zu- standsraum des dynamischen Systems. Die einzelnen versteckten Zustandsvektoren sind über Matrizen A miteinander verbunden. Das Netz umfasst ferner eine Ausgangsschicht 0 mit Ausgangs¬ größen in der Form von Zustandsvektoren yt-2/ Yt-ir ···/ Yt+4r welche mit entsprechenden versteckten Zustandsvektoren st-2r st-i, st+4 über die Matrix C gekoppelt sind. Die Zustände der Ausgangsschicht sind dabei Zustände des dynamischen Sys¬ tems, welche sich aus den entsprechenden Eingangsgrößen der Eingangsschicht I ergeben. Basierend auf Trainingsdaten, wel¬ che aus bekannten Eingangsgrößen und sich daraus ergebenden bekannten Ausgangsgrößen bestehen, kann das neuronale Netz der Fig. 1 in geeigneter Weise mit bekannten Verfahren, wie z.B. Fehler-Rückpropagation, gelernt werden und anschließend dazu eingesetzt werden, um basierend auf vergangenen Ein¬ gangsgrößen Ut-3, Ut-2/ ··· t-i sowie der gegenwärtigen Eingangs- große ut in der Eingangsschicht I zukünftige Ausgangsgrößen Yt+i, Yt+2 r usw. in der Ausgangsschicht 0 vorherzusagen. Das Netz der Fig. 1 beruht dabei auf einer Modellierung des betrachteten dynamischen Systems in der Form einer Überlagerung eines autonomen und eines extern getriebenen Teilsystems.
Fig. 2 zeigt eine weitere Variante eines rekurrenten neurona¬ len Netzes, welches in den weiter unten beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens zum Einsatz kommt. Dieses Netz modelliert ein geschlossenes dynamisches System und unterscheidet sich von dem Netz der Fig. 1 darin, dass nicht mehr zwischen Eingangsgrößen uT und Ausgangsgrößen yT unterschieden wird, wobei τ im Folgenden einen beliebigen Zeitpunkt bezeichnet. Vielmehr werden sowohl die Eingangsgrö- ßen als auch die Ausgangsgrößen als Observablen, d.h. beobachtbare Zustände eines Observablenvektors des dynamischen Systems, betrachtet. Das Netz der Fig. 2 umfasst eine erste Schicht LI und eine zweite Schicht L2, wobei die erste
Schicht LI einen zeitlich vorwärts gerichteten Informations- fluss zwischen einzelnen Zustandsvektoren s t-2 r st-i, st+3 des modellierten dynamischen Systems darstellt. Im Unterschied zu Fig. 1 enthält in der Ausführungsform der Fig. 2 ein Zustandsvektor sT zunächst als Einträge die beobachtbaren Observablen, welche den Zustandsvektoren yt und ut der Fig. 1 entsprechen, und anschließend die nicht beobachtbaren versteckten Zustände, wobei die Anzahl an versteckten Zuständen in der Regel wesentlich größer ist als die Anzahl der Observablen. Die einzelnen Zustandsvektoren in der Schicht LI werden durch Matrizen A ineinander überführt, welche basierend auf Trainingsdaten in geeigneter Weise gelernt werden. Zu Beginn des Lernens wird dabei ein geeigneter Bias in der
Schicht LI vorgegeben, der in Fig. 2 und auch in allen nachfolgenden Figuren mit So bezeichnet ist. Ein geeignet gelerntes rekurrentes neuronales Netz der Fig. 2 liefert in der zweiten Schicht die Observablen yt-i, Ut-2, Yt-ir Ut-i, ... usw. zu den jeweiligen Zeitpunkten. Dabei werden über die Matrix [Id, 0] diejenigen Einträge der entsprechenden Zu- Standsvektoren sT erhalten, welche Observablen entsprechen. Die Matrix [Id, 0] weist für die Spalten die Dimension des Zustandsvektors sT auf und für die Zeilen die Dimension gemäß der Anzahl von Observablen. Der linke Teil der Matrix bildet eine quadratische Identitätsmatrix und für die restlichen
Spalten enthält die Matrix nur Nullen, wodurch die Filterung der Observablen aus dem Zustandsvektor sT erreicht wird. Mit dem Netz der Fig. 2 werden die Observablen in einem großen Zustandsvektor sT eingebettet. Es wird dabei eine dynamisch konsistente und in allen Variablen symmetrische Modellierung eines dynamischen Systems erreicht, wobei die Zeit keine spe¬ zielle Rolle spielt. Das Netz der Fig. 2 stellt ferner ein kausales Netz dar, da der Informationsfluss zwischen den Zu¬ ständen der Schicht LI zeitlich vorwärts gerichtet von der Vergangenheit in die Zukunft erfolgt.
Fig. 3 zeigt ein auf der Fig. 2 basierendes rekurrentes neu¬ ronales Netz, wobei nunmehr alle Observablen durchgängig als Observablenvektoren yt-6, yt-s, yt+3 bezeichnet werden. Die Notation yT umfasst somit sowohl die Ausgangsgröße yT als auch die Eingangsgröße uT aus Fig. 2. Diese Notation wird im Folgenden auch bei allen weiteren beschriebenen Varianten von rekurrenten neuronalen Netzen verwendet. Darüber hinaus sind in Fig. 3 zur Verdeutlichung die mit dem Netz vorherzusagen- den Observablenvektoren yt+i, yt+2, und yt+3 durch gestrichelte Kreise angedeutet. Das heißt, der gegenwärtige Zeitpunkt wird in Fig. 3 und auch in allen weiteren Figuren mit t bezeichnet. Vergangene Zeitpunkte sind somit die Zeitpunkte t-1, t-2 usw. und zukünftige Zeitpunkte sind die Zeitpunkte t+1, t+2, t+3 usw.
Fig. 4 zeigt eine bekannte Variante des Lernens des rekurren¬ ten neuronalen Netzes der Fig. 3, wobei ydt-3, ydt-2, ydt-i und yd t bekannte Observablenvektoren gemäß vorgegebenen Trai- ningsdaten des zu modellierenden dynamischen Systems darstellen. Die Matrix [Id, 0] entspricht der oben erläuterten Matrix zur Filterung der Observablen aus dem entsprechenden Zu- Id
Standsvektor sτ · Demgegenüber wird durch die Matrix eine
0
Umwandlung des bekannten Observablenvektors y t in einen Ob- servablenvektor erreicht, der neben den Einträgen für die bekannten Observablen auch Einträge für die weiteren versteck- ten Zustände enthält, welche jedoch alle auf Null gesetzt
Id
sind. Die Matrix umfasst dabei eine der Anzahl der Ob-
0
servablen entsprechende Anzahl an Spalten und eine der Dimension des Zustandsvektors sT entsprechende Anzahl an Zeilen. Im oberen Teil bildet die Matrix eine quadratische Identi- tätsmatrix und die restlichen Zeilen der Matrix enthalten ausschließlich Nullen. Das Netz der Fig. 4 enthält ferner die Matrix C, mit der ein Zustand sT in einen Zustand rT überführt wird. Der Zustand rT stellt dabei einen gefilterten Zu¬ stand dar, der nur die versteckten Zustände des Vektors sT enthält. Demzufolge ist die Matrix C eine Matrix, welche an den Diagonalelementen, die den entsprechenden Zeilen bzw. Spalten der versteckten Zustände entsprechen, Einsen enthält und deren restliche Einträge auf Null gesetzt sind. Durch die in Fig. 4 gezeigte Kopplung der bekannten Zustände yd T mit dem Zustand rT wird erreicht, dass die durch das neu¬ ronale Netz ermittelten Werte der Observablen durch die Observablen yd T gemäß den Trainingsdaten ausgetauscht werden. Somit wird in jedem Zeitschritt τ < t ein Ersetzen der er- mittelten Observablen durch die tatsächlichen Observablen gemäß den Trainingsdaten erreicht. Ein derartiges Lernverfahren ist auch unter dem Begriff "Teacher-Forcing" bekannt. Gemäß der Darstellung der Fig. 4 werden mit dem rekurrenten neuronalen Netz die folgenden Zusammenhänge modelliert, wobei - wie oben erwähnt - der Zeitpunkt t dem aktuellen Gegenwarts¬ zeitpunkt entspricht:
T>t: sT+l=tm (AsT) (2)
Das Lernen beruht dabei auf dem folgenden Optimierungsziel:
Das heißt, es wird nach der Matrix A gesucht, welche den über die Zeitpunkte t-m < τ < t summierten quadratischen Fehler zwischen über das Netz ermittelten und bekannten Observablen- vektoren minimiert.
Auch in dem rekurrenten neuronalen Netz, welches in dem erfindungsgemäßen Verfahren verwendet wird, kommt das oben beschriebene Teacher-Forcing zum Einsatz, jedoch in abgewandelten Varianten, welche in Fig. 5 und 6 für das kausale Netz der Fig. 3 verdeutlicht sind. Es werden dabei die analogen
Notationen (bis auf etwaige Vorzeichen) wie in Fig. 4 beibehalten. Die zusätzlich in Fig. 5 hinzukommende Matrix Id bezeichnet eine entsprechende Identitätsabbildung für den Zu- standsvektor, an dem der mit der Matrix bezeichnete Pfeil be- ginnt. Im Unterschied zur Ausführungsform der Fig. 4 wird nunmehr in Fig. 5 eine Zielgröße bzw. ein Targetwert tar eingeführt, welcher den Differenzvektor zwischen dem durch das rekurrente neuronale Netz ermittelten Observablenvektor yT innerhalb des Zustandsvektors sT und dem bekannten Obser- vablenvektor yd T darstellt. Dieser Targetwert, der im Ideal¬ fall Null ist, dient wiederum dazu, um die entsprechenden ermittelten Observablen in den Vektoren sT durch die bekannten Observablen gemäß den Trainingsdaten zu ersetzen, was durch
Id
die Kopplung über die Matrix zum Ausdruck gebracht
0
wird . Mit der Struktur des Netzes gemäß Fig. 5 werden folgende Gleichungen modelliert:
T>t: sT+l = tan (AsT) (6) für alle τ : yT = [ld,0]sT (7)
Das Optimierungsziel ist dabei analog zu dem Netz der Fig. 4 gegeben durch:
Mit der Architektur gemäß Fig. 5 können aufgrund der verwen- deten tanh-Funktion nur Observablen zwischen -1 und +1 modelliert werden, da zunächst die Matrixmultiplikation mit der Matrix A und erst anschließend das Anwenden der tanh-Funktion erfolgt, welche einen Wertebereich zwischen -1 und 1 aufweist. In einer abgewandelten Variante des Lernens gemäß Fig. 5 wird nunmehr zunächst die tanh-Funktion auf den entspre¬ chenden Zustand rT bzw. sT angewendet, und erst anschließend erfolgt die Matrixmultiplikation mit der Matrix A. Eine solche Variante des Netzes ist in Fig. 6 verdeutlicht, wobei das Anwenden der tanh-Funktion vor der Matrixmultiplikation mit der Matrix A dadurch verdeutlicht wird, dass in den Kreisen, welche in Fig. 5 die Zustände rT enthalten, sowie zwischen den Zuständen st+i und st+2 nunmehr die tanh-Funktion wiederge¬ geben ist. Gemäß dieser Variante können auch Observablen außerhalb des Wertebereichs zwischen -1 und +1 modelliert wer¬ den. Fig. 6 stellt dabei eine bevorzugte Variante eines Ler- nens dar, welche auch in der weiter unten beschriebenen erfindungsgemäßen neuronalen Netzstruktur eingesetzt wird. Mathematisch äußert sich der Unterschied zwischen dem rekurrenten neuronalen Netz der Fig. 6 gegenüber dem rekurrenten neuronalen Netz der Fig. 5 darin, dass in den obigen Gleichungen (5) und (6) die Position der Matrix A mit der Position der Funktion tanh vertauscht wird.
Im Vorangegangenen wurde ein geeignetes Lernen eines kausalen Netzes mit zeitlich vorwärts gerichtetem Informationsfluss beschrieben. Der Erfindung liegt dabei die Erkenntnis zu Grunde, dass ein kausales Modell nicht immer für die Be¬ schreibung eines dynamischen Systems geeignet ist. Insbesondere gibt es dynamische Systeme, welche auch einen retro- kausalen Informationsfluss in zeitlich umgekehrter Richtung aus der Zukunft in die Gegenwart aufweisen. Es handelt sich hierbei um dynamische Systeme, bei deren zeitlicher Entwick¬ lung auch eine Planung unter Einbeziehung der Prognose von zukünftigen Observablen einfließt. Es werden somit bei der zeitlichen Veränderung eines entsprechenden Zustandsvektors des dynamischen Systems nicht nur zeitlich vorhergehende Zu- standsvektoren, sondern auch prognostizierte zukünftige Zu- standsvektoren berücksichtigt. Betrachtet man beispielsweise die Entwicklung des Marktpreises von Energie oder Rohstoffen, so wird der Preis nicht nur durch Angebot und Nachfrage be- stimmt, sondern auch durch planerische Aspekte der Verkäufer bzw. Käufer beim Verkauf bzw. Kauf von Energie oder Rohstof¬ fen .
Das erfindungsgemäße Verfahren beruht auf der Idee, ein dyna- misches System derart zu modellieren, dass ein Informations- fluss nicht nur in kausaler Richtung aus der Vergangenheit in die Zukunft betrachtet wird, sondern auch ein Informations- fluss in retro-kausaler Richtung aus der Zukunft in die Ver- gangenheit. Ein solcher Informationsfluss kann durch ein retro-kausales Netz realisiert werden. Ein solches Netz ist in Fig. 7 wiedergegeben. Das Netz der Fig. 7 unterscheidet sich von dem Netz der Fig. 3 darin, dass der Informations- fluss zwischen den Zuständen sT in umgekehrter Richtung von der Zukunft in die Vergangenheit läuft, wobei das Verfahren wiederum mit einem Bias So initialisiert wird, der nunmehr jedoch ein Zustand in der Zukunft ist. Das Netz der Fig. 7 kann analog zu dem Netz der Fig. 3 über die Minimierung eines Zielwerts tar gelernt werden, wie in Fig. 8 angedeutet ist.
Die Fig. 8 entspricht dabei der Darstellung der Fig. 5, wobei nunmehr jedoch die Kausalitätsrichtung umgekehrt ist. Die Gleichungen (5) bis (8) können analog angewendet werden mit dem Unterschied, dass sT+i in Gleichungen (5) und (6) ersetzt wird durch sT-i. Es kann somit auch für das retro-kausale Netz das oben beschriebene Teacher-Forcing zum Lernen des Netzes verwendet werden. Ebenso kann für das retro-kausale Netz ana¬ log das in Fig. 6 gezeigte Lernen eingesetzt werden, bei dem beim Übergang von einem Zustand in einen Folgezustand zu- nächst die tanh-Funktion und erst anschließend die Matrixmul¬ tiplikation angewendet wird. Dies wird in der Darstellung der Fig. 9 verdeutlicht, welche der Darstellung der Fig. 6 mit dem Unterschied entspricht, dass der Informationsfluss von der Zukunft in die Gegenwart läuft.
Die Erfindung beruht nunmehr auf einer Kombination eines kausalen Netzes mit einem retro-kausalen Netz, wodurch ein rekurrentes neuronales Netz mit einem Informationsfluss von so¬ wohl aus der Vergangenheit in die Zukunft als auch aus der Zukunft in die Vergangenheit ermöglicht wird. Hierdurch kön¬ nen auch dynamische Systeme modelliert werden, bei denen bei der dynamischen Entwicklung der Zustände auch prognostizierte zukünftige Zustände eine Rolle spielen. Fig. 10 zeigt generisch eine erfindungsgemäße Kombination ei¬ nes kausalen Netzes mit einem retro-kausalen Netz, wodurch ein rekurrentes neuronales Netz geschaffen wird, welches in geeigneter Weise gelernt werden kann. Das Netz setzt sich da- bei im unteren Teil aus einem kausalen Netz Nl und in dem oberen Teils aus einem retro-kausalen Netz N2 zusammen. Das Netz Nl entspricht dem kausalen Netz der Fig. 3 und das Netz N2 entspricht dem retro-kausalen Netz der Fig. 7, wobei im retro-kausalen Netz die Matrizen nunmehr mit A' und die Zustände mit s-u' bezeichnet sind, da Matrizen und Zustände für das kausale und das retro-kausale Netz unterschiedlich sein können. Beide Netze sind über den entsprechenden Observablen- vektor yT miteinander gekoppelt.
Fig. 11 zeigt basierend auf dem Netz der Fig. 10 ein Lernen des Netzes mittels Teacher-Forcing . Dieses Teacher-Forcing wurde im Vorangegangenen getrennt für das kausale Netz in Fig. 6 und das retro-kausale Netz in Fig. 9 erläutert. In Fig. 11 sind beispielhaft für den Zeitpunkt t die im Zu- standsvektor st enthaltenen Observablen mit At und die im Zu- standsvektor st' enthaltenen Observablen mit At' bezeichnet. Die Summe von At und At' stellt dabei den durch das rekurren¬ te Netz ermittelten Observablenvektor dar und der Targetwert ist die Differenz zwischen dieser Summe und dem tatsächlichen Observablenvektor yd gemäß den Trainingsdaten. Durch die Kopplung der Targetwerte über die entsprechenden Matrizen
mit dem Zustandsvektor sT bzw. sT' wird wiederum für je-
den Zeitschritt τ < t ein Teacher-Forcing erreicht. In Fig. 11 ist dabei der entsprechende Zustand rT bzw. rT', der sich durch das Teacher-Forcing ergibt, beispielhaft nur für den Zeitpunkt τ = t angegeben. Auf diesen Zustand wird zunächst die tanh-Funktion und anschließend die Multiplikation mit der Matrix A bzw. A' angewendet.
Um ein Lernen gemäß Fig. 11 umzusetzen, wird die hinlänglich aus dem Stand der Technik bekannte Fehler-Rückpropagation mit geteilten Gewichten verwendet, was in Fig. 12 wiedergegeben ist. Die Fehler-Rückpropagation mit geteilten Gewichten wird dabei dadurch erreicht, dass in zwei Kopien des Netzes der Fig. 11 einmal die Fehler-Rückpropagation für das kausale Netz Nl und einmal die Fehler-Rückpropagation für das retro- kausale Netz N2 gerechnet wird, wobei gleichzeitig sicherge¬ stellt wird, dass immer die gleiche Matrix A in beiden Kopien des Netzes und immer die gleiche Matrix A' in beiden Kopien des Netzes verwendet wird. Die Fehler-Rückpropagation mit ge- teilten Gewichten ist dem Fachmann hinlänglich bekannt und wird deshalb nicht weiter im Detail erläutert.
Das im Vorangegangenen beschriebene erfindungsgemäße Verfah¬ ren weist eine Reihe von Vorteilen auf. Insbesondere können auch solche dynamischen Systeme gelernt werden, bei denen zu¬ künftige prognostizierte Zustände des dynamischen Systems ei¬ ne Rolle für den aktuellen Zustand spielen. Das Verfahren kann dabei für unterschiedliche dynamische Systeme eingesetzt werden. Beispielsweise kann das dynamische System die zeitli- che Entwicklung von Energiepreisen bzw. Strompreisen und/oder Rohstoffpreisen darstellen, wobei als Observablen verschiedene Arten von Energie (z.B. Gas, Öl) und/oder Rohstoffe sowie weitere wirtschaftliche Faktoren, wie z.B. die Umrechnung verschiedener Währungen und Aktienindizes, berücksichtigt werden können. Mit einem durch entsprechende Trainingsdaten gelernten rekurrenten neuronalen Netz können dann geeignete Vorhersage über zukünftige Preisentwicklungen für Energie und/oder Rohstoffe getroffen werden. Ein anderer Anwendungsbereich ist die Modellierung des dynamischen Verhaltens eines technischen Systems. Beispielsweise kann das erfindungsgemäße rekurrente neuronale Netz zur Prädiktion der beobachtbaren Zustände einer Gasturbine und/oder einer Windkraftanlage oder auch beliebiger anderer technischer Systeme eingesetzt werden .

Claims

Patentansprüche
1. Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems, das zu jeweiligen Zeitpunkten durch einen Observablenvektor
(yt_6, yt-5, yt+3) umfassend eine oder mehrere Observablen als Einträge charakterisiert wird, bei dem
das rekurrente neuronale Netz ein kausales Netz (Nl) um- fasst, das einen zeitlich vorwärts gerichteten Informati- onsfluss zwischen ersten Zustandsvektoren (st-6, st-s,
St+3) des dynamischen Systems beschreibt, wobei ein erster Zustandsvektor (st-6, st-s, St+3) zu einem jeweiligen Zeitpunkt (t-6, t-5, t+3) einen oder mehrere erste Ein¬ träge (At) umfasst, welche jeweils einem Eintrag des Ob- servablenvektors (yt-6, yt-s, Yt+3 ) zugeordnet sind, sowie einen oder mehrere versteckte Zustände des dynamischen Systems ;
das rekurrente neuronale Netz ein retro-kausales Netz (N2) umfasst, welches einen zeitlich rückwärts gerichteten In- formationsfluss zwischen zweiten Zustandsvektoren (s't-6, s't-5/ s't+3) des dynamischen Systems beschreibt, wobei ein zweiter Zustandsvektor (s't-6, s't-s, s't+3) zu einem jeweiligen Zeitpunkt (t-6, t-5, t+3) einen oder mehrere zweite Einträge (A't) umfasst, welche jeweils einem Ein- trag des Observablenvektors (yt-6, yt-s, yt+3) zugeordnet sind, sowie einen oder mehrere versteckte Zustände des dy¬ namischen Systems;
in dem rekurrenten neuronalen Netz zu einem jeweiligen Zeitpunkt (t-6, t-5, t+3) der Observablenvektor (yt-6, yt-5/ yt+3) durch eine Kombination der ersten Einträge
( t) des ersten Zustandsvektors (st-6, st-s, ···, st+3) mit den zweiten Einträgen (A't) des zweiten Zustandsvektors (s't-6/ s't-5/ ■■·, s't+3) ermittelt wird;
das kausale Netz (Nl) und das retro-kausale Netz (N2) basierend auf Trainingsdaten gelernt werden, welche eine
Folge von zeitlich aufeinander folgenden bekannten Obser- vablenvektoren (yd t-3, ydt-2, ydt) enthalten.
2. Verfahren nach Anspruch 1, wobei beim Lernen des kausalen und retro-kausalen Netzes (Nl, N2) zu einem jeweiligen Zeitpunkt (t-6, t-5, t+3) , für den ein bekannter Observablen- vektor (yd t_3, yd t-2, ■■·, yd t) aus den Trainingsdaten existiert, die ersten und zweiten Einträge (At, A't) der ersten und zweiten Zustandsvektoren (st-6, st-s, st+3, s't-6, s't-5/ - r s't+3) unter Verwendung des Unterschieds zwischen dem in dem rekurrenten neuronalen Netz ermittelten Observablenvektor (yt_6, yt-5, Yt+3 ) und dem bekannten Observablenvektor (yd t_3, yd t-2/ yd t) zu dem jeweiligen Zeitpunkt korrigiert werden, wobei die ersten und zweiten Zustandsvektoren (st-6, st-s, St+3/ s't-6/ s't-5/ ■■· , s't+3) mit den korrigierten ersten uns zweiten Einträgen zum Lernen weiterverwendet werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, bei dem das kausale Netz (Nl) und das retro-kausale Netz (N2) basie¬ rend auf einer Fehler-Rückpropagation mit geteilten Gewichten gelernt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in dem rekurrenten neuronalen Netz zu einem jeweiligen Zeitpunkt (t-6, t-5, t+3) der Observablenvektor (yt-6, yt-s, -r yt+3) derart ermittelt wird, dass die jeweiligen ersten und zweiten Einträge (At, A' ), welche dem gleichen Eintrag des Observablenvektors (yt-6, yt-s, -r yt+3) zugeordnet sind, ad¬ diert werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Lernen des kausalen und retro-kausalen Netzes (Nl, N2) in einem jeweiligen Zeitpunkt (t-6, t-5, t+3), für den ein bekannter Observablenvektor (yd t_3, yd t-2, ■■·, yd t) aus den Trai¬ ningsdaten existiert, ein Zielwert (tar) ermittelt wird, der den Differenzvektor zwischen dem im rekurrenten neuronalen Netz ermittelten Observablenvektor (yt-6, yt-5/ -r yt+3) und dem bekannten Observablenvektor (yd t_3, yd t-2, yd t) zu dem jewei¬ ligen Zeitpunkt (t-6, t-5, t+3) darstellt, wobei als Lern- Optimierungsziel die Minimierung der Summe der Beträge oder quadrierte Beträge der Differenzvektoren zu den jeweiligen Zeitpunkten (t-6, t-5, t+3) , für die ein bekannter Obser- vablenvektor (yd t_3, yd t-2, ydt) aus den Trainingsdaten exis¬ tiert, vorgegeben ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in dem kausalen Netz (Nl) ein erster Zustandsvektor (st-6, st- 5, St+3) zu einem jeweiligen Zeitpunkt (t-6, t-5, t+3) in einen ersten Zustandsvektor (st-6, st-s, ···, st+3) zu einem nachfolgenden Zeitpunkt durch eine Multiplikation mit einer dem kausalen Netz (Nl) zugeordneten Matrix (A) und das Anwenden einer Aktivierungsfunktion überführt wird.
7. Verfahren nach Anspruch 6, wobei zunächst die Aktivie¬ rungsfunktion auf den ersten Zustandsvektor (st-6, st-s,
St+3) zu dem jeweiligen Zeitpunkt angewendet wird und an¬ schließend eine Multiplikation mit der dem kausalen Netz (Nl) zugeordneten Matrix (A) erfolgt.
8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem in dem retro-kausalen Netz (N2) ein zweiter Zustandsvektor
(s't-6/ s't-5/ s't+3) zu einem jeweiligen Zeitpunkt (t-6, t- 5, t+3) in einen zweiten Zustandsvektor (s't-6, s't-s, ■■·, s't+3) zu einem vorhergehenden Zeitpunkt durch eine Multipli¬ kation mit einer dem retro-kausalen Netz (N2) zugeordneten Matrix (A' ) und das Anwenden einer Aktivierungsfunktion überführt wird.
9. Verfahren nach Anspruch 8, wobei zunächst die Aktivie¬ rungsfunktion auf den zweiten Zustandsvektor (s't-6, s't-5/ s't+3) zu dem jeweiligen Zeitpunkt angewendet wird und an¬ schließend eine Multiplikation mit der dem retro-kausalen Netz (N2) zugeordneten Matrix (A' ) erfolgt.
10. Verfahren nach einem der Ansprüche 6 bis 9, bei dem die Aktivierungsfunktion eine tanh-Funktion ist.
11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mit dem rekurrenten neuronalen Netz die zeitliche Ent- wicklung von Energiepreisen und/oder Rohstoffpreisen modelliert wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, bei dem mit dem rekurrenten neuronalen Netz ein technisches System modelliert wird.
13. Verfahren nach Anspruch 12, bei dem das technische System eine Gasturbine und/oder eine Windkraftanlage ist.
14. Verfahren zur Prädiktion von Observablen eines dynamischen Systems, bei dem die Prädiktion mit einem rekurrenten neuronalen Netz durchgeführt wird, welches mit einem Verfah¬ ren nach einem der vorhergehenden Ansprüche basierend auf Trainingsdaten umfassend bekannte Observablenvektoren (yd t_3, yd t-2, ydt ) des dynamischen Systems gelernt ist.
15. Computerprogrammprodukt mit einem auf einem maschinenles¬ baren Träger gespeicherten Programmcode zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Programm auf einem Rechner abläuft.
EP11714531A 2010-04-14 2011-04-12 Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems Withdrawn EP2543006A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010014906 2010-04-14
PCT/EP2011/055664 WO2011128313A1 (de) 2010-04-14 2011-04-12 Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems

Publications (1)

Publication Number Publication Date
EP2543006A1 true EP2543006A1 (de) 2013-01-09

Family

ID=44041664

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11714531A Withdrawn EP2543006A1 (de) 2010-04-14 2011-04-12 Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems

Country Status (4)

Country Link
US (1) US9235800B2 (de)
EP (1) EP2543006A1 (de)
CN (1) CN102934131A (de)
WO (1) WO2011128313A1 (de)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
DE102011004693A1 (de) * 2011-02-24 2012-08-30 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems
CN102982229B (zh) * 2012-09-06 2016-06-08 淮阴工学院 一种基于神经网络的多品种商品价格预测的数据预处理方法
CN103530690A (zh) * 2013-10-31 2014-01-22 中国科学院上海微系统与信息技术研究所 一种神经元器件及神经网络
KR102239714B1 (ko) 2014-07-24 2021-04-13 삼성전자주식회사 신경망 학습 방법 및 장치, 데이터 처리 장치
US9495633B2 (en) * 2015-04-16 2016-11-15 Cylance, Inc. Recurrent neural networks for malware analysis
US10387775B2 (en) * 2015-09-09 2019-08-20 Emerson Process Management Power & Water Solutions, Inc. Model-based characterization of pressure/load relationship for power plant load control
CN108351982B (zh) * 2015-11-12 2022-07-08 谷歌有限责任公司 卷积门控递归神经网络
JP6895440B2 (ja) 2015-12-31 2021-06-30 ヴィート エヌブイ ニューラルネットワークアーキテクチャを用いた分配システムの制御のための方法、制御装置およびシステム
EP3374932B1 (de) * 2016-02-03 2022-03-16 Google LLC Komprimierte rekurrente neuronale netzmodelle
EP3475889A4 (de) * 2016-06-23 2020-01-08 Capital One Services, LLC Neuronale netzwerksysteme und verfahren zur erzeugung von verteilten darstellungen elektronischer transaktionsinformationen
US11176588B2 (en) * 2017-01-16 2021-11-16 Ncr Corporation Network-based inventory replenishment
US10853724B2 (en) 2017-06-02 2020-12-01 Xerox Corporation Symbolic priors for recurrent neural network based semantic parsing
EP3639109A4 (de) 2017-06-12 2021-03-10 Vicarious FPC, Inc. Systeme und verfahren zur ereignisvorhersage unter verwendung von schemanetzwerken
US10715459B2 (en) 2017-10-27 2020-07-14 Salesforce.Com, Inc. Orchestration in a multi-layer network
US11250038B2 (en) * 2018-01-21 2022-02-15 Microsoft Technology Licensing, Llc. Question and answer pair generation using machine learning
EP3525507B1 (de) * 2018-02-07 2021-04-21 Rohde & Schwarz GmbH & Co. KG Verfahren und testsystem zur mobilnetzwerkprüfung sowie vorhersagesystem
US11194968B2 (en) * 2018-05-31 2021-12-07 Siemens Aktiengesellschaft Automatized text analysis
EP3751466A1 (de) * 2019-06-13 2020-12-16 Siemens Aktiengesellschaft Verfahren zur vorhersage eines schadstoffwertes in der luft
CN111259785B (zh) * 2020-01-14 2022-09-20 电子科技大学 基于时间偏移残差网络的唇语识别方法
US20230206254A1 (en) * 2021-12-23 2023-06-29 Capital One Services, Llc Computer-Based Systems Including A Machine-Learning Engine That Provide Probabilistic Output Regarding Computer-Implemented Services And Methods Of Use Thereof
CN117272303A (zh) * 2023-09-27 2023-12-22 四川大学 一种基于遗传对抗的恶意代码样本变体生成方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10324045B3 (de) * 2003-05-27 2004-10-14 Siemens Ag Verfahren sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemverhaltens eines dynamischen Systems
JP2007280054A (ja) * 2006-04-06 2007-10-25 Sony Corp 学習装置および学習方法、並びにプログラム
DE102008014126B4 (de) * 2008-03-13 2010-08-12 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2011128313A1 *

Also Published As

Publication number Publication date
US20130204815A1 (en) 2013-08-08
US9235800B2 (en) 2016-01-12
CN102934131A (zh) 2013-02-13
WO2011128313A1 (de) 2011-10-20

Similar Documents

Publication Publication Date Title
EP2543006A1 (de) Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems
EP2135140B1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
EP2106576B1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
EP2724296B1 (de) Verfahren zur rechnergestützten modellierung eines technischen systems
EP2519861B1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
EP2112568B1 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
EP2649567B1 (de) Verfahren zur rechnergestützten modellierung eines technischen systems
EP2296062B1 (de) Verfahren zum rechnergestützten Lernen einer Steuerung und/oder Regelung eines technischen Systems
EP2954467A1 (de) Verfahren und vorrichtung zur steuerung einer mit einer erneuerbaren energiequelle betreibbaren energieerzeugungsanlage
WO2020043522A1 (de) Verfahren zum steuern eines austauschs von energie zwischen energiesubsystemen zu angeglichenen konditionen; steuerungszentrale; energiesystem; computerprogramm sowie speichermedium
EP1627263B1 (de) Verfahren sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur ermittlung eines zukünftigen systemverhaltens eines dynamischen systems
WO2012113635A1 (de) Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems
DE102008014126B4 (de) Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes
EP3432093A1 (de) Verfahren zur modellierung eines dynamischen systems durch rechnergestütztes lernen von datengetriebenen modellen
DE102011076969B4 (de) Verfahren zum rechnergestützten Lernen einer Regelung und/oder Steuerung eines technischen Systems
WO2012113634A1 (de) Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems
WO1998034176A1 (de) Verfahren zur transformation einer zur nachbildung eines technischen prozesses dienenden fuzzy-logik in ein neuronales netz
EP3528063B1 (de) Verfahren zur rechnergestützten erstellung eines prognosemodells zur prognose von einer oder mehreren zielgrössen
DE102016209721A1 (de) Modellbasierte Ermittlung eines Systemzustandes mittels eines dynamischen Systems
EP1067444B1 (de) Verfahren und Anordnung zur Modellierung eines technischen Systems
WO2023179992A1 (de) Verfahren zur plausibilitätsprüfung einer prognose
WO2006061320A2 (de) Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur ermittlung eines zukünftigen systemzustandes eines dynamischen systems
Goderbauer et al. Mathematical optimization for optimal decision-making in practice: Energy systems and political districting
DE102021207753A1 (de) Effizientes beschneiden zweiter ordnung von computer-implementierten neuronalen netzwerken
DE112021005432T5 (de) Verfahren und System zum Vorhersagen von Trajektorien zur Manöverplanung basierend auf einem neuronalen Netz

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20121005

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20130817