DE102010011221A1

DE102010011221A1 - Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems

Info

Publication number: DE102010011221A1
Application number: DE102010011221A
Authority: DE
Inventors: Siegmund Düll; Volkmar Sterzing; Dr. Udluft Steffen
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2010-03-12
Filing date: 2010-03-12
Publication date: 2011-09-15
Anticipated expiration: 2030-03-13
Also published as: US20130013543A1; DK2519861T3; DE102010011221B4; EP2519861A1; EP2519861B1; CN102792234A; WO2011110404A1; CN102792234B

Abstract

Die Erfindung betrifft ein Verfahren zur rechnergestützten Regelung und/oder Steuerung eines technischen Systems. In dem Verfahren wird ein rekurrentes neuronales Netz zur Modellierung des dynamischen Verhaltens des technischen Systems eingesetzt, dessen Eingangsschicht Zustände des technischen Systems und am technischen System durchgeführte Aktionen enthält, die einer rekurrenten versteckten Schicht zugeführt werden. Die Ausgangsschicht des rekurrenten neuronalen Netzes wird dabei durch ein Bewertungssignal repräsentiert, welches die Dynamik des technischen Systems wiedergibt. Gegebenenfalls können als Zustände der Ausgangsschicht auch ausschließlich die das Bewertungssignal beeinflussenden Zustands- bzw. Aktionsvariablen der Zustände des technischen Systems bzw. der am technischen System ausgeführten Aktionen verwendet werden. Die mit diesem rekurrenten neuronalen Netz generierten versteckten Zustände werden zur Steuerung bzw. Regelung des technischen Systems basierend auf einem Lern- und/oder Optimierungsverfahren eingesetzt. Das erfindungsgemäße Verfahren hat den Vorteil, dass die Dimension des Zustandsraums der rekurrenten versteckten Schicht in geeigneter Weise reduziert werden kann und dennoch die Dynamik des technischen Systems gut modelliert wird. Hierdurch kann eine recheneffiziente und genaue Steuerung bzw. Regelung des technischen Systems erreicht werden.

Description

Die Erfindung betrifft ein Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems sowie ein entsprechendes Computerprogrammprodukt.
Heutzutage weisen technische Systeme in der Regel eine hohe Komplexität auf, d. h. sie werden durch Zustände mit einer Vielzahl von Zustandsvariablen beschrieben. Ferner können an dem technischen System viele unterschiedliche Aktionen basierend auf entsprechenden Aktionsvariablen durchgeführt werden. Die Zustandsvariablen sind hierbei insbesondere messbare Zustandsgrößen des technischen Systems, wie z. B. physikalische Größen, wie Druck, Temperatur, Leistung und dergleichen. Die Aktionsvariablen stellen insbesondere einstellbare Größen des technischen Systems dar, wie z. B. die Zufuhr von Brennstoff zu Brennkammern in Gasturbinen.
Bei der Steuerung von komplexen technischen Systemen werden oftmals rechnergestützte Verfahren verwendet, welche das dynamische zeitliche Verhalten des technischen Systems unter Berücksichtigung vorbestimmter Kriterien optimieren. Beispiele solcher Verfahren sind Lernverfahren, wie hinlänglich aus dem Stand der Technik bekannte bestärkende Lernverfahren (Reinforcement Learning). Eine Variante eines solchen Lernverfahrens ist in der Druckschrift DE 10 2007 001 025 B4 beschrieben. Die bekannten Verfahren optimieren das dynamische Verhalten eines technischen Systems durch Bestimmung von geeigneten, am technischen System durchzuführenden Aktionen, wobei diese Aktionen Veränderungen von bestimmten Stellgrößen im technischen System, wie z. B. Veränderung von Ventilstellungen, Erhöhung von Drucken und dergleichen, umfassen. Jede Aktion wird hierbei in geeigneter Weise durch ein Bewertungssignal in der Form einer Belohnung bzw. Bestrafung, beispielsweise unter Einbeziehung einer Kostenfunktion, bewertet, wodurch ein optimales dynamisches Verhalten des technischen Systems erzielt werden kann.
Bei den oben beschriebenen Standardverfahren zur Steuerung bzw. Optimierung des dynamischen Verhaltens von technischen Systemen besteht das Problem, dass solche Verfahren nur in begrenztem Umfang für technische Systeme mit einer Vielzahl von Zustandsvariablen und Aktionsvariablen (d. h. in einem hoch dimensionalen Zustandsraum aus Zuständen und Aktionen) eingesetzt werden können.
Zur Reduzierung der Zustandsvariablen ist es aus der Druckschrift DE 10 2007 001 026 B4 bekannt, ein technisches System basierend auf einem rekurrenten neuronalen Netz zu modellieren, bei dem die Anzahl der Zustände in der rekurrenten versteckten Schicht geringer ist als in der Eingangsschicht bzw. Ausgangsschicht. Die versteckten Zustände werden dabei als Eingaben für entsprechende Lern- bzw. Optimierungsverfahren zur Regelung und/oder Steuerung des technischen Systems verwendet. Das Verfahren dieser Druckschrift vermindert zwar die Dimension des Zustandsraums der versteckten Schicht, berücksichtigt jedoch nicht, welcher Informationsgehalt zur Modellierung des dynamischen Verhaltens des technischen Systems tatsächlich erforderlich ist. Insbesondere werden bei der dort modellierten Dynamik in der Ausgangsschicht immer alle Zustandsvariablen aus der Eingangsschicht prognostiziert, ohne zu analysieren, welche Zustandsvariablen tatsächlich für die Modellierung des dynamischen Verhaltens des technischen Systems erforderlich sind. Demzufolge arbeitet das Verfahren dieser Druckschrift zwar auf einem verkleinerten Zustandsraum, stellt jedoch nicht sicher, dass in dem verkleinerten Zustandsraum die Dynamik des technischen Systems richtig modelliert wird. Dies führt zu einem größeren Fehler bei der Modellierung bzw. bei der rechnergestützten Steuerung und/oder Regelung des technischen Systems.
Aufgabe der Erfindung ist es, ein Verfahren zur Steuerung und/oder Regelung eines technischen Systems zu schaffen, welches mit hoher Recheneffizienz und Genauigkeit das dynamische Verhalten des technischen Systems modelliert.
Diese Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 bzw. das Computerprogrammprodukt gemäß Patentanspruch 15 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.
Das erfindungsgemäße Verfahren dient zur rechnergestützten Steuerung bzw. Regelung eines technischen Systems, welches für mehrere Zeitpunkte jeweils durch einen Zustand mit einer Anzahl von Zustandsvariablen und eine am technischen System durchgeführte Aktion mit einer Anzahl von Aktionsvariablen sowie ein Bewertungssignal für den Zustand und die Aktion charakterisiert wird.
In dem erfindungsgemäßen Verfahren wird das dynamische Verhalten des technischen Systems mit einem rekurrenten neuronalen Netz umfassend eine Eingangsschicht, eine rekurrente versteckte Schicht und eine Ausgangsschicht basierend auf Trainingsdaten aus bekannten Zuständen, Aktionen und Bewertungssignalen modelliert, wobei:

i) die Eingangsschicht durch einen ersten Zustandsraum mit einer ersten Dimension gebildet wird, der die Zustände des technischen Systems und die am technischen System durchgeführten Aktionen umfasst;
ii) die rekurrente versteckte Schicht durch einen zweiten Zustandsraum mit einer zweiten Dimension gebildet wird, der versteckte Zustände mit einer Anzahl von versteckten Zustandsvariablen umfasst;
iii) die Ausgangsschicht durch einen dritten Zustandsraum mit einer dritten Dimension gebildet wird, welcher derart festgelegt wird, dass seine Zustände die Bewertungssignale oder ausschließlich solche Zustands- und/oder Aktionsvariablen repräsentieren, welche die Bewertungssignale beeinflussen.

Die Dimension des ersten Zustandsraums entspricht somit der Anzahl an Zustands- und Aktionsvariablen in der Eingangsschicht. Die Dimension des zweiten Zustandsraums ist durch die Anzahl an versteckten Zustandsvariablen gegeben. Die Dimension des dritten Zustandsraums entspricht der Dimension des Bewertungssignals (in der Regel eindimensional) bzw. der Anzahl an Zustands- und/oder Aktionsvariablen, welche dieses Signal beeinflussen.
Nach der Modellierung des dynamischen Verhaltens des technischen Systems wird im erfindungsgemäßen Verfahren auf den versteckten Zuständen in dem zweiten Zustandsraum ein Lern- und/oder Optimierungsverfahren zur Steuerung und/oder Regelung des technischen Systems durch Ausführen von Aktionen am technischen System durchgeführt.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass ein rekurrentes neuronales Netz verwendet wird, dessen Ausgangsschicht durch das Bewertungssignal bzw. ausschließlich das Bewertungssignal bestimmende Größen beeinflusst wird. Auf diese Weise wird sichergestellt, dass ausschließlich solche Größen im rekurrenten neuronalen Netz modelliert werden, welche tatsächlich die Dynamik des technischen Systems beeinflussen. Hierdurch kann selbst bei einer Reduzierung der zweiten Dimension des zweiten Zustandsraums das dynamische Verhalten des technischen Systems sehr gut modelliert werden. Es wird somit eine präzise und recheneffiziente Regelung und/oder Steuerung des technischen Systems basierend auf den versteckten Zuständen in der versteckten Schicht ermöglicht.
Vorzugsweise erfolgt in dem erfindungsgemäßen Verfahren die Modellierung des dynamischen Verhaltens des technischen Systems derart, dass das rekurrente neuronale Netz basierend auf den Trainingsdaten derart trainiert wird, dass die Zustände der Ausgangsschicht für einen oder mehrere zukünftige Zeitpunkte aus einem oder mehreren vergangenen Zeitpunkten prognostiziert werden. Dies wird z. B. dadurch erreicht, dass der Fehler zwischen den prognostizierten Zuständen und den Zuständen gemäß den Trainingsdaten minimiert wird. Vorzugsweise werden bei der Prognose der Erwartungswert der Zustände der Ausgangsschicht und besonders bevorzugt der Erwartungswert des Bewertungssignals prognostiziert.
Um eine geeignete Prognose mit dem rekurrenten neuronalen Netz der Erfindung zu erreichen, sind in einer bevorzugten Variante die versteckten Zustände in der versteckten Schicht über Gewichte derart verbunden, dass sich die Gewichte für zukünftige Zeitpunkte von den Gewichten für vergangene Zeitpunkte unterscheiden. Das heißt, es wird in dem rekurrenten neuronalen Netz zugelassen, dass die Gewichte für zukünftige Zeitpunkte anders gewählt werden als für vergangene Zeitpunkte. Die Gewichte können dabei Matrizen sein, jedoch gegebenenfalls auch durch neuronale Netze in der Form von Multi-Layer-Perzeptronen repräsentiert sein. Auch die Gewichte zwischen den einzelnen Schichten im neuronalen Netz können durch Matrizen oder gegebenenfalls auch durch Multi-Layer-Perzeptronen realisiert werden.
Das erfindungsgemäße Verfahren weist insbesondere den Vorteil auf, dass auch technische Systeme mit nicht-linearer Dynamik gesteuert bzw. geregelt werden können. Ferner kann in dem erfindungsgemäßen Verfahren ein rekurrentes neuronales Netz mit einer nicht-linearen Aktivierungsfunktion eingesetzt werden.
Als Lern- bzw. Optimierungsverfahren, welche auf die versteckten Zustände der rekurrenten versteckten Schicht des rekurrenten neuronalen Netzes angewendet werden, können beliebige, aus dem Stand der Technik bekannte Verfahren eingesetzt werden. Beispielsweise kann das in der oben erwähnten Druckschrift DE 10 2007 001 025 B4 beschriebene Verfahren verwendet werden. Allgemein wird für das Lern- bzw. Optimierungsverfahren ein maschinelles Lernverfahren und insbesondere ein bestärkendes Lernverfahren verwendet. Beispiele solcher Lernverfahren sind dynamische Programmierung und/oder Prioritized Sweeping und/oder Q-Learning.
Um die zweite Dimension des zweiten Zustandsraums in dem rekurrenten neuronalen Netz geeignet einzustellen, wird in einer weiteren bevorzugten Variante des erfindungsgemäßen Verfahrens die zweite Dimension des zweiten Zustandsraums variiert, bis eine zweite Dimension gefunden ist, welche ein oder mehrere vorgegebene Kriterien erfüllt. Diese aufgefundene zweite Dimension wird dann für den zweiten Zustandsraum der rekurrenten versteckten Schicht verwendet. In einer bevorzugten Variante wird dabei die zweite Dimension des zweiten Zustandsraums schrittweise solange vermindert, wie die Abweichung zwischen den mit dem rekurrenten neuronalen Netz bestimmten Zuständen der Ausgangsschicht und den bekannten Zuständen gemäß den Trainingsdaten kleiner als ein vorbestimmter Schwellwert ist. Hierdurch kann in geeigneter Weise ein zweiter Zustandsraum mit reduzierter Dimension gefunden werden, der eine gute Modellierung des dynamischen Verhaltens des technischen Systems ermöglicht.
In einer weiteren Variante des erfindungsgemäßen Verfahrens wird das Bewertungssignal durch eine Bewertungsfunktion repräsentiert, welche von einem Teil der Zustands- und/oder Aktionsvariablen abhängt. Dieser Teil der Zustands- und/oder Aktionsvariablen kann somit gegebenenfalls die Zustände der Ausgangsschicht bilden.
In einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird das im rekurrenten-neuronalen Netz verwendete Bewertungssignal auch in dem daran anschließenden Lern- und/oder Optimierungsverfahren eingesetzt, um die Aktionen im Hinblick auf ein optimales Bewertungssignal auszuführen. Optimal bedeutet dabei, dass die Aktion zu einer hohen Belohnung bzw. zu geringen Kosten gemäß dem Bewertungssignal führt.
Das erfindungsgemäße Verfahren kann in beliebigen technischen Systemen zu deren Steuerung bzw. Regelung eingesetzt werden. In einer besonders bevorzugten Variante wird das erfindungsgemäße Verfahren zur Steuerung einer Turbine, insbesondere einer Gasturbine oder Windturbine, verwendet. Für eine Gasturbine ist das Bewertungssignal beispielsweise zumindest durch den Wirkungsgrad und/oder die Schadstoffemission der Turbine und/oder die mechanischen Belastungen der Brennkammern der Turbine bestimmt. Ziel der Optimierung ist dabei ein hoher Wirkungsgrad bzw. eine geringe Schadstoffemission bzw. eine geringe mechanische Belastung der Brennkammern. Bei der Verwendung des Verfahrens zur Regelung bzw. Steuerung einer Windturbine kann das Bewertungssignal beispielsweise zumindest die (dynamischen) Kraftbelastung auf ein oder mehrere Rotorblätter der Windturbine und die erzeugte elektrische Leistung darstellen.
Neben dem oben beschriebenen Verfahren umfasst die Erfindung ferner ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Programm auf einem Rechner läuft.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:
1 ein schematisches Diagramm, welches allgemein die Modellierung des dynamischen Verhaltens eines technischen Systems verdeutlicht;
2 eine schematische Darstellung eines rekurrenten neuronalen Netzes, welches in einer Ausführungsform der Erfindung zur Berechnung von versteckten Zuständen verwendet wird;
3 eine schematische Darstellung eines technischen Systems in der Form einer Windturbine, wobei basierend auf Daten dieses Systems eine Ausführungsform des erfindungsgemäßen Verfahrens getestet wurde;
4 ein Diagramm, welches die Ergebnisse einer Ausführungsform des erfindungsgemäßen Verfahrens basierend auf Daten der Windturbine gemäß 3 verdeutlicht; und
5 ein Diagramm, welches Ergebnisse einer Ausführungsform des erfindungsgemäßen Verfahrens basierend auf dem an sich bekannten Cart-Pole-Problem wiedergibt.
1 zeigt schematisch die Dynamik eines in der Erfindung betrachteten technischen Systems, welches durch eine Box mit Bezugszeichen T angedeutet ist. Das technische System wird dabei zu einem jeweiligen Zeitpunkt t durch einen beobachtbaren Zustand bzw. eine Oberservable z_t und eine am technischen System durchgeführte Aktion a_t beschrieben. Dabei enthält das System interne bzw. versteckte Zustände s_t, welche nicht beobachtbar sind. Der versteckte Zustand s_t ändert sich dabei durch eine Aktion a_t und geht in den Zustand s_t+1 über. Der Zustand s_t+1 von der Aktion a_t sowie dem vorhergehenden Zustand s_t ab. Das technische System T ist ferner durch ein geeignetes Bewertungssignal (nicht aus 1 ersichtlich) spezifiziert, welches definiert, inwieweit die in einem Zustand des technischen Systems durchgeführte Aktion im Hinblick auf einen optimalen Betrieb des technischen Systems als gut einzustufen ist. Beispiele solcher Bewertungssignale sind die Schadstoffemission des technischen Systems oder die mechanische Belastung und Wechselbelastung des technischen Systems im Betrieb, wobei die Zielsetzung einer Steuerung bzw. Regelung des technischen Systems eine geringe Emission bzw. eine geringe mechanische Belastung ist.
Im erfindungsgemäßen Verfahren wird unter Berücksichtigung des Bewertungssignals zunächst eine geeignete Modellierung des dynamischen Verhaltens des technischen Systems basierend auf Trainingsdaten umfassend Zustände und Aktionen zu einer Vielzahl von Zeitpunkten durchgeführt. Im Folgenden wird als Bewertungssignal ein Belohnungssignal betrachtet, welches häufig auch als Reward bezeichnet wird und welches im Betrieb des technischen Systems möglichst groß sein sollte. Es wird davon ausgegangen, dass die Beschreibung des technischen Systems basierend auf den Zuständen und Aktionen einen sog. Markov-Entscheidungsprozess darstellt, wobei für diesen Entscheidungsprozess nur das Belohnungssignal eine relevante Information darstellt. Markov-Entscheidungsprozesse sind aus dem Stand der Technik bekannt und z. B. in der Druckschrift DE 10 2007 001 025 B4 näher definiert.
Mit dem erfindungsgemäßen Verfahren wird die für den durch die Belohnung definierten Markov-Entscheidungsprozess relevante Information in den versteckten Zustand s_t codiert, wobei – im Gegensatz zu bekannten Verfahren – für den Markov-Entscheidungsprozess nicht relevante Informationen unberücksichtigt bleiben. Um dies zu erreichen, ist das rekurrente neuronale Netz, welches zur Modellierung des dynamischen Verhaltens des technischen Systems verwendet wird, derart ausgestaltet, dass es in der Ausgangsschicht das Belohnungssignal bzw. ausschließlich das Belohnungssignal beeinflussende Größen enthält, wie weiter unten noch näher beschrieben wird.
Wie oben erwähnt, wird zunächst eine Modellierung des dynamischen Verhaltens des technischen Systems durchgeführt, wodurch geeignete versteckte Zustände des technischen Systems erhalten werden. Auf diese Zustände können anschließend geeignete Lern- bzw. Optimierungsverfahren zur Steuerung bzw. Regelung des technischen Systems angewendet werden. Diese Verfahren liefern dann im Realbetrieb des technischen Systems die jeweils optimale Aktion in einem bestimmten Zustand des technischen Systems, wobei die Optimalität durch das oben erwähnte Belohnungssignal festgelegt ist.
Zum besseren Verständnis wird zunächst erläutert, wie in herkömmlicher Weise mittels eines rekurrenten neuronalen Netzes das dynamische Verhalten eines technischen Systems modelliert werden kann und hierdurch entsprechende versteckte Zustände erhalten werden können. Allgemein kann die Dynamik eines technischen Systems für aufeinander folgende Zeitpunkte (t = 1, ..., T, T ∊ N) wie folgt beschrieben werden: s_t+1 = f(s_t, z_t, a_t) (1) z_t = g(s_t) (2)
In herkömmlichen Verfahren wird ein dynamisch konsistentes rekurrentes neuronales Netz verwendet, um den Markov-Zustandsraum zu beschreiben. Das Ziel dieses Netzes ist dabei eine Minimierung des Fehlers der prognostizierten Zustände z_t des technischen Systems gegenüber den gemessenen Zuständen z d / t . Mathematisch kann dies wie folgt beschrieben werden:
Es wird somit nach einer geeigneten Parametrisierung der Funktionen f und g gesucht, so dass die Abweichung zwischen prognostizierten und tatsächlichen beobachteten Zuständen minimal ist. In den Dokumenten DE 10 2007 001 025 B4 und DE 10 2007 001 026 B4 sind solche Modellierungen des technischen Systems basierend auf rekurrenten neuronalen Netzen gezeigt. Dabei enthalten die Ausgangsschichten in diesen Netzen, wie bereits oben erwähnt, die zu prognostizierenden Observablen.
Die Observablen werden in der Regel durch einen Vektor z_t aus einer Vielzahl von Zustandsvariablen beschrieben. Analog werden die Aktionen durch einen Vektor a_t mit einer Vielzahl von Aktionsvariablen beschrieben. Es wurde nunmehr erkannt, dass in vielen Fällen nicht alle Einträge der Vektoren z_t bzw. a_t berücksichtigt werden müssen, um die Dynamik des technischen Systems zu modellieren. Dies wird durch das nachfolgend beschriebene Markov-Entscheidungsprozess-Extraktions-Netzwerk erreicht, welches im Folgenden auch als MPEN-Netz bezeichnet wird. Es werden dabei gegenüber einem herkömmlichen, dynamisch konsistenten rekurrenten neuronalen Netz einige Änderungen vorgenommen.
Eine spezielle Ausführungsform eines MPEN-Netzes ist in 2 gezeigt. Die Eingangsschicht des MPEN-Netzes dieser Figur ist dabei mit I, die versteckte Schicht mit V und die Ausgangsschicht mit O bezeichnet. Der aktuelle Zeitpunkt ist der Zeitpunkt t. Man erkennt, dass die Eingangsschicht die Zustände z_t–2, z_t–1, z_t sowie die entsprechenden Aktionen a_t–3, a_t–2, a_t–1, umfasst, welche in geeigneter Weise in die entsprechenden versteckten Zustände in der versteckten Schicht V einfließen. In der Ausführungsform der 2 existieren für die Vergangenheit zwei Arten von versteckten Zuständen, nämlich s i / t–2 , s i / t–1 bzw. s_t–2, s_t–1. Darüber hinaus enthält das Netz zum aktuellen Zeitpunkt t die versteckten Zustände s * / t und s ** / t . An einen Zustand und eine in diesem Zustand ausgeführte Aktion ist ferner die bereits oben erwähnte Belohnung gekoppelt, welche für den Zeitpunkt t in 1 mit r_t bezeichnet ist. In 2 ist dabei für die Ausgangsschicht eine zum aktuellen Zeitpunkt t zu prognostizierende Belohnung wiedergegeben. In der Regel enthält die Ausgangsschicht noch weitere, in der Zukunft liegende Belohnungen r_t+1, r_t+2 usw., welche durch das Netz prognostiziert werden.
Der gestrichelte Teil des Netzes der 2 verdeutlicht die Prognose der Belohnung r_t zum Zeitpunkt t, welche an eine interne Belohnung r i / t gekoppelt ist. Im Unterschied zu bekannten Netzen wird nunmehr die Ausgangsschicht O durch Belohnungssignale und nicht durch Zustandsvektoren beschrieben. Dies macht es erforderlich, dass das Netz der 2 in zwei Teilnetze aufzuteilen ist, wobei das erste Teilnetz links von der Linie L der 2 liegt und die Vergangenheit und Gegenwart beschreibt, wohingegen das zweite Teilnetz rechts von der Linie L liegt und Informationen aus dem ersten Teilnetz für die Vorhersage von Belohnungen verwendet. Hierbei ist zu berücksichtigen, dass das Ziel des Netzwerks der 2 nicht die Vorhersage einer Sequenz von Aktionen ist, d. h. die dargestellte Aktion a_t und auch weitere (nicht gezeigte) zukünftige Aktionen sind vorgegeben. Lediglich die Belohnungen basierend auf den vorgegebenen Aktionen werden prognostiziert. Die einzelnen Zustände in den Schichten sind in geeigneter Weise über mit Großbuchstaben bezeichneten Gewichtsmatrizen miteinander verbunden, wobei sich die Dynamik des Netzes der 2 durch folgende Gleichungen beschreiben lässt: s_t–1 = f(A p / 2·s i / t–1 + B^p·z_t–1 – θ p / s) (4) s i / t = f(A p / 1·s i / t–1 + C^p·a_t–1 – θ^ip) (5) s * / t = f(A p / 2·s i / t + B^p·z_t – θ_s) (6) s^** = f(D·s * / t – θ^**) (7) s_t = f(E·s ** / t – θ_E) (8) s i / t+1 = f(A f / 1·s_t–1 + C^f·a_t–1 – θ^if) (9) s_t+1 = f(A f / 2·s i / t–1 – θ f / s) (10) r i / t = f(F·s_t + G·a_t + H·s_t+1 – θ i / r) (11) r_t = f(J·r i / t – θ_r) (12) wobei dick gedruckte Symbole reellwertige Vektoren darstellen, alle Großbuchstaben reellwertige Matrizen darstellen, alle θ reellwertige, skalare Schwellwerte darstellen und
eine beliebige, meistens sigmoidale, Aktivierungsfunktion ist.
Anstatt der Verwendung von Gewichtsmatrizen können gegebenenfalls auch Multi-Layer-Perzeptronen zur Beschreibung der Gewichtungen verwendet werden.
Ein wichtiger Aspekt in dem Netz der 2 besteht darin, dass für die Vergangenheit andere Gewichtsmatrizen (nämlich A p / 1 , A p / 2 ) als für die Zukunft (nämlich A f / 1 , A f / 2 ) verwendet werden. Dies wird durch die oben beschriebene Aufteilung in ein erstes und ein zweites Teilnetz erreicht. Allgemein kann diese Aufteilung in Teilnetze derart beschrieben werden, dass ein Teilnetz für vergangene Zustände und ein Teilnetz für zukünftige Zustände derart gebildet ist, dass für den vorherzusagenden versteckten Zustand folgende Bedingung gilt:
Durch die entsprechenden Funktionen f_past, f_present und f_future werden allgemein die entsprechenden, in 2 über Matrizen wiedergegebenen Kopplungen beschrieben. Erfindungsgemäß wird nunmehr anstatt aller beobachteter Zustandsvariablen das Belohnungssignal selbst als Zielgröße verwendet. Das heißt, es wird folgende Zustandsgröße prognostiziert: r_t = g(s_t, a_t), t ≥ 0 (14)
Hierbei ist zu beachten, dass der aktuelle versteckte Zustand s_t und die ausgeführte Aktion a_t ausreichend sind, um den Erwartungswert aller relevanter Belohnungsfunktionen zu beschreiben, da alle Informationen über den Nachfolgezustand s_t+1 in diesen Argumenten enthalten sein müssen. Mit dem Belohnungssignal als Zielgröße kann die durch das MPEN-Netzwerk durchgeführte Optimierung wie folgt beschrieben werden:
Man erkennt, dass im Unterschied zu der Gleichung (3) nunmehr basierend auf bekannten Belohnungssignalen r d / t aus Trainingsdaten nach einer Parametrisierung für f, g gesucht wird, welche den Fehler zwischen prognostiziertem Belohnungssignal und bekanntem Belohnungssignal minimiert. Ein derartiges rekurrentes neuronales Netz akkumuliert alle Information, welche für die Markov-Eigenschaft erforderlich ist, aus einer Sequenz von vergangenen Beobachtungen in dem ersten Teilnetz, wohingegen das zweite Teilnetz die Zustandsübergänge optimiert.
Das im Vorangegangenen beschriebene MPEN-Netz beruht auf der bewiesenen Erkenntnis, dass ein rekurrentes neuronales Netz zur Approximation eines Markov-Entscheidungsprozesses verwendet werden kann, indem alle erwarteten zukünftigen Folgezustände basierend auf einer Historie von Beobachtungen vorhergesagt werden. Aufgrund der rekurrenten neuronalen Netzstruktur muss jeder Zustand alle erforderliche Information codieren, um einen Folgezustand abzuschätzen, der sich aus der Durchführung einer Aktion ergibt. Aus diesem Grund muss ein rekurrentes neuronales Netz in der Lage sein, die erwarteten Belohnungssignale für jeden zukünftigen Zustand abzuschätzen, da eine Belohnungsfunktion nur einen Zustand, eine Aktion und einen Folgezustand als Argumente verwenden kann. Hieraus folgt, dass es für ein bestärkendes Lernen mit einem rekurrenten neuronalen Netz ausreichend ist, eine Dynamik zu modellieren, welche in der Lage ist, das Belohnungssignal für alle zukünftigen Zeitpunkte vorherzusagen. Basierend auf dieser Aussage wurde das oben beschriebene und beispielhaft in 2 gezeigte MPEN-Netz konstruiert.
Ein entsprechend mit Trainingsdaten gelerntes MPEN-Netz wird im Rahmen der Erfindung als Zustandsschätzer für den versteckten Zustand s_t+1 Dieser Zustand dient dann als Eingabe für ein weiteres Lern- und/oder Optimierungsverfahren. In diesem Aspekt entspricht das erfindungsgemäße Verfahren dem in der Druckschrift DE 10 2007 001 026 B4 beschriebenen Verfahren, wobei erfindungsgemäß jedoch eine andere Modellierung für das dynamische Verhalten des technischen Systems verwendet wird. Als nachgeschaltete Lern- und/oder Optimierungsverfahren werden aus dem Stand der Technik bekannte maschinelle Lernverfahren eingesetzt, beispielsweise kann das bestärkende Lernverfahren aus der Druckschrift DE 10 2007 001 025 B4 verwendet werden. Ebenso können die bekannten Lernverfahren Dynamische Programmierung, Prioritized Sweeping und Q-Learning eingesetzt werden.
3 verdeutlicht ein technisches System in der Form einer Windturbine, wobei basierend auf Betriebsdaten der Windturbine eine Ausführungsform des erfindungsgemäßen Verfahrens getestet wurde. Die Windturbine ist in 1 mit Bezugszeichen 1 bezeichnet und umfasst drei Rotorblätter 1a, 1b und 1c. Das dynamische Verhalten der Windturbine wurde sowohl mit einem herkömmlichen rekurrenten neuronalen Netz als auch mit dem erfindungsgemäßen MPEN-Netz modelliert, wobei als Belohnungssignal die auf die Rotorblätter wirkende Last verwendet wurde, welche zu minimieren ist. Eine an der Windturbine auszuführende Aktion ist dabei durch die Veränderung des Anstellwinkels der einzelnen Rotorblätter spezifiziert, wobei diese Veränderung durch entsprechende Kreise C in 3 angedeutet ist.
In den durchgeführten Experimenten wurden als Eingangsvariablen, d. h. als Zustände der Eingangsschicht, insgesamt 46 Variablen betrachtet. In dem herkömmlichen rekurrenten neuronalen Netz wurde auch die Ausgangsschicht mit diesen 46 Variablen beschrieben. Demgegenüber wurde in dem erfindungsgemäßen MPEN-Netz nur das Belohnungssignal als zu prognostizierende Ausgabe betrachtet. Es wurden dabei verschiedene rekurrente neuronale Netze mit unterschiedlich vielen vergangenen Zuständen sowie zukünftigen zu prognostizierenden Zuständen bzw. Belohnungen betrachtet. Ebenso wurde die Dimension der entsprechenden versteckten Zustände (d. h. die Anzahl der Zustandsvariablen eines versteckten Zustands) unterschiedlich gewählt.
4 zeigt ein Diagramm, welches den durchschnittlichen Prognosefehler PE für die Last auf die Rotorblätter in Abhängigkeit von dem prognostizierten Zeitschritt TS in der Zukunft wiedergibt. Die Linien L1 und L2 zeigen dabei den Fehler für herkömmliche neuronale Netze, bei denen jeweils versteckte Zustände mit 20 Zustandsvariablen betrachtet wurden. Für das Netz gemäß der Linie L2 wurden ferner anstatt von 46 Variablen in der Eingangsschicht nur 26 Variablen verwendet. Demgegenüber zeigt die Linie L3 ein MPEN-Netz mit versteckten Zuständen aus vier Zustandsvariablen und die Linie L4 ein MPEN-Netz mit versteckten Zuständen aus 20 Zustandsvariablen. Man erkennt, dass die MPEN-Netze bessere Prognosen als die herkömmlichen rekurrenten neuronalen Netze liefern, obwohl sie einen versteckten Zustandsraum mit nur vier Variablen verwenden. Das erfindungsgemäße MPEN-Netz, bei dem Belohnungssignale prognostiziert werden, beschreibt somit sehr gut die Dynamik eines technischen Systems in der Form einer Windturbine. Dabei ist das Verfahren sehr recheneffizient, da bereits eine geringe Anzahl von versteckten Zustandsvariablen zur Modellierung des Systems ausreichend ist. Es kann somit davon ausgegangen werden, dass eine nachfolgende Steuerung bzw. Regelung einer Windturbine basierend auf mit dem MPEN-Netz prognostizierten versteckten Zuständen einen optimierten Betrieb der Windturbine mit möglichst geringer Last auf die Rotorblätter ermöglicht.
Das erfindungsgemäße Verfahren wurde ferner anhand des hinlänglich aus dem Stand der Technik bekannten Cart-Pole-Problems getestet. Dieses Problem ist z. B. in der Druckschrift DE 10 2007 001 025 B4 näher erläutert. Das klassische Cart-Pole-Problem betrifft einen Stab, der auf einem sich in der Ebene bewegenden Fahrzeug schwenkbar befestigt ist, wobei sich das Fahrzeug zwischen zwei Begrenzungen hin und her bewegen kann. Der Stab ist nach oben ausgerichtet und Ziel ist es, den Stab so lange wie möglich durch Verschieben des Fahrzeugs innerhalb der Begrenzungen zu balancieren, ohne dass die Begrenzungen erreicht werden oder sich der Stab mehr als 12° gegenüber der Vertikalen neigt. Das Problem ist dann gelöst, wenn der Stab für mehr als 100000 Schritte, welche jeweils eine vorbestimmte Bewegung des Fahrzeugs darstellen, balanciert wird. Ein entsprechendes Belohnungssignal wird dabei durch den Wert –1 definiert, wenn eine der Grenzen erreicht wird. Ansonsten ist das Belohungssignal 0. Der Markovsche Zustand des Cart-Pole-Problems zu jedem Zeitpunkt t wird vollkommen durch die Position des Fahrzeugs x_t, die Geschwindigkeit des Fahrzeugs ẋ_t, den Winkel des Stabs senkrecht zum Fahrzeug α_t und die Winkelgeschwindigkeit α ._t des Stabs beschrieben. Mögliche Aktionen umfassen dabei eine Bewegung des Fahrzeugs nach links bzw. nach rechts mit einer konstanten Kraft F oder das Nichtanwenden einer Kraft.
Zum Test des erfindungsgemäßen Verfahrens wurden in der Eingangsschicht des MPEN-Netzes nur drei Observablen, nämlich die Position und Geschwindigkeit des Fahrzeugs und der Winkel des Stabs, betrachtet. Hierdurch wurde die Markov-Bedingung verletzt. Die mit dem MPEN-Netz erhaltenen versteckten Zustände wurden anschließend einem Lernverfahren basierend auf tabellenbasierter dynamischer Programmierung zugeführt. Obwohl die Markov-Bedingung durch die Betrachtung von nur drei Observablen verletzt ist, konnte mit dem MPEN-Netz trotzdem in geeigneter Weise ein Markov-Entscheidungsprozess extrahiert werden und das Cart-Pole-Problem zufriedenstellend gelöst werden.
Dies wird durch 5 veranschaulicht, welche ein Diagramm zeigt, das das die gelernten Aktionsauswahlregeln wiedergibt. Die Linie L' der 5 verdeutlicht die mit dem MPEN-Netz und der anschließenden dynamischen Programmierung erhaltene Anzahl von aufeinander folgenden Balancierungsschritten BS in Abhängigkeit von der Anzahl von Beobachtungen B, mit denen die dynamische Programmierung gelernt wurde. Demgegenüber repräsentiert die Linie L'' in 5 die Anzahl an aufeinander folgenden Balancierungsschritten für eine dynamische Programmierung basierend auf den ursprünglichen vier Observablen ohne vorgeschaltetes MPEN-Netz. Das MPEN-Netz wurde mit 25000 Trainingsdaten trainiert, wobei – wie oben erwähnt – nur drei Observablen berücksichtigt wurden. Man erkennt aus 5, dass trotz des Weglassens einer Observablen für das Cart-Pole-Problem sehr gute Ergebnisse mit einer hohen Anzahl von balancierten Schritten erreicht werden.
Wie sich aus den obigen Erläuterungen ergibt, weist das erfindungsgemäße Verfahren eine Reihe von Vorteilen auf. Insbesondere wird eine hohe Prognosegüte erreicht, welche wesentlich besser ist als bei herkömmlichen rekurrenten neuronalen Netzen. Ferner kann bei der Modellierung der Dynamik des technischen Systems ein kompakter interner Zustandsraum mit wenigen versteckten Zustandsvariablen verwendet werden. Dieser eröffnet die Möglichkeit, für die auf die versteckten Zustände angewendeten Lern- und/oder Optimierungsverfahren auch solche Verfahren zu verwenden, welche als Eingangsdaten einen Zustandsraum mit einer kleinen Dimension benötigen.
In dem erfindungsgemäßen Verfahren werden durch die Nutzung des Bewertungssignals bzw. der das Bewertungssignal ausschließlich beeinflussenden Größen als zu prognostizierende Zielwerte nur die für die Dynamik des Systems relevanten Aspekte berücksichtigt. Hierdurch kann ein Zustand mit minimaler Dimension in der versteckten Schicht eingesetzt werden, der anschließend als Zustand für ein entsprechendes Lern-Verfahren bzw. eine modellprädikative Regelung oder andere Optimierungsverfahren zur Suche im Raum der Aktionen genutzt werden kann, um somit ein auf dem Bewertungssignal basierendes Optimalsteuerungsproblem zu lösen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007001025 B4 [0003, 0016, 0030, 0035, 0045, 0049]
DE 102007001026 B4 [0005, 0035, 0045]

Claims

Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems (T), bei dem: a) das technische System (T) für mehrere Zeitpunkte (t) jeweils durch einen Zustand (x_t) mit einer Anzahl von Zustandsvariablen und eine am technischen System durchgeführte Aktion (a_t) mit einer Anzahl von Aktionsvariablen sowie ein Bewertungssignal (r_t) für den Zustand (x_t) und die Aktion (a_t) charakterisiert wird; b) das dynamische Verhalten des technischen Systems (T) mit einem rekurrenten neuronalen Netz umfassend eine Eingangsschicht (I), eine rekurrente versteckte Schicht (H) und eine Ausgangsschicht (O) basierend auf Trainingsdaten aus bekannten Zuständen (x_t), Aktionen (a_t) und Bewertungssignalen (r_t) modelliert wird, wobei: i) die Eingangsschicht (I) durch einen ersten Zustandsraum mit einer ersten Dimension gebildet wird, der die Zustände (x_t) des technischen Systems (T) und die am technischen System (T) durchgeführten Aktionen (a_t) umfasst; ii) die rekurrente versteckte Schicht (V) durch einen zweiten Zustandsraum mit einer zweiten Dimension gebildet wird, der versteckte Zustände (s_t, s_t ⁱ, s_t*, s_t**) mit einer Anzahl von versteckten Zustandsvariablen umfasst; iii) die Ausgangsschicht (O) durch einen dritten Zustandsraum mit einer dritten Dimension gebildet wird, welcher derart festgelegt wird, dass seine Zustände die Bewertungssignale (r_t) oder ausschließlich solche Zustands- und/oder Aktionsvariablen repräsentieren, welche die Bewertungssignale (r_t) beeinflussen; c) auf den versteckten Zuständen (s_t) in dem zweiten Zustandsraum ein Lern- und/oder Optimierungsverfahren zur Steuerung und/oder Regelung des technischen Systems (T) durch Ausführen von Aktionen (a_t) am technischen System (T) durchgeführt wird.
Verfahren nach Anspruch 1, bei dem bei der Modellierung des dynamischen Verhaltens des technischen System in Schritt b) das rekurrente neuronale Netz basierend auf den Trainingsdaten derart trainiert wird, dass die Zustände (r_t) der Ausgangsschicht (O) für einen oder mehrere zukünftige Zeitpunkte aus einem oder mehreren vergangenen Zeitpunkten prognostiziert werden.
Verfahren nach Anspruch 2, bei dem die versteckten Zustände (s_t, s_t ⁱ, s_t*, s_t**) in der versteckten Schicht (V) über Gewichte (A₁ ^p, A₁ ^p, A₁ ^f, A₁ ^f) derart verbunden sind, dass sich die Gewichte (A₁ ^f, A₁ ^f) für zukünftige Zeitpunkte von den Gewichten (A₁ ^p, A₁ ^p) für vergangene Zeitpunkte unterscheiden.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das technische System eine nicht-lineare Dynamik aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem in Schritt b) das rekurrente neuronale Netz eine nichtlineare Aktivierungsfunktion verwendet.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Lern- und/oder Optimierungsverfahren in Schritt c) ein maschinelles Lernverfahren und insbesondere ein bestärkendes Lernverfahren ist.
Verfahren nach Anspruch 6, bei dem das Lern- und/oder Optimierungsverfahren Dynamische Programmierung und/oder Prioritized Sweeping und/oder Q-Learning umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem in Schritt b) die zweite Dimension des zweiten Zustandsraums variiert wird, bis eine zweite Dimension gefunden ist, welche ein oder mehrere vorgegebene Kriterien erfüllt.
Verfahren nach Anspruch 8, bei dem in Schritt b) die zweite Dimension des zweiten Zustandsraums schrittweise solange vermindert wird, wie die Abweichung zwischen den mit dem rekurrenten neuronalen Netz bestimmten Zuständen (r_t) der Ausgangsschicht (O) und den bekannten Zuständen gemäß den Trainingsdaten kleiner als ein vorbestimmter Schwellwert ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Bewertungssignal (r_t) durch eine Bewertungsfunktion repräsentiert wird, welche von einem Teil der Zustands- und/oder Aktionsvariablen abhängt.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Lern- und/oder Optimierungsverfahren in Schritt c) die Bewertungssignale (r_t) verwendet, um die Aktionen (a_t) im Hinblick auf ein optimales Bewertungssignal (r_t) auszuführen.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das technische System (T) eine Turbine, insbesondere eine Gasturbine oder eine Windturbine, ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das technische System (T) eine Gasturbine ist, wobei das Bewertungssignal (r_t) zumindest durch den Wirkungsgrad und/oder die Schadstoffemission der Gasturbine und/oder die Wechseldrücke und/oder mechanischen Belastungen der Brennkammern der Gasturbine bestimmt ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem das technische System eine Windturbine ist, wobei das Bewertungssignal (r_t) zumindest durch die Kraftbelastung und/oder Wechselbelastung auf ein oder mehrere Rotorblätter der Windturbine bestimmt ist.
Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Programm auf einem Rechner abläuft.