-
Physikalische Systeme mit zeitlicher Dynamik können mit mathematischen Modellen beschrieben werden. Observablen können bei physikalischen Systemen beobachtet werden. Es kann sich um Vektoren handeln, die eine Vielzahl von einzelnen Observablenwerten zur Beschreibung eines Systemzustandes aufweisen. Observablen können mittels eines Modells ferner für bestimmte Zeitpunkte aus Systemzuständen oder Systemzustandsvektoren modelliert werden und somit ein physikalisches System zu diesem Zeitpunkt beschreiben. Der Zeitpunkt kann dabei in der Zukunft liegen, so dass Observablen prognostiziert werden können. Zur Zeitreihenanalyse oder zur Prognose von beobachtbaren Zeitreihen werden mathematische Modelle genutzt, welche auf Grundlage von historischen Daten einem System zugrundeliegende funktionale, lineare oder nicht-lineare, Eingabe-Ausgabebeziehungen ableiten. Beispielsweise werden Regressionsmodelle oder sogenannte Autoregressive-Moving Average-Modelle oder kurz ARMA-Modelle, oder Autoregressive-integrated-Moving-Average- oder ARIMA-Modelle oder Seasonal ARIMA-, kurz SARIMA-Modelle oder neuronale Netze eingesetzt. Im Umfeld der Modellierung physikalischer Systeme oder physikalischer Prozesse stammen die Zeitreihen der Input- und Zielgrößen meist aus Sensormessungen. Bei Modellen, welche die zeitliche Dynamik des zugrundeliegenden Systems erfassen und abbilden, insbesondere rekurrenten neuronalen Netzen, werden die Daten als Zeitreihe verarbeitet. Das heißt, dass Vektoren von Größen, welche das System zu unterschiedlichen, aufeinanderfolgenden Zeitpunkten beschreiben, vollständig vorliegen müssen, damit die gesamte Zeitreihe verarbeitet werden kann. Das Entfernen einzelner fehlender Zeitstempel ist nicht möglich, ohne die Modellgüte negativ zu beeinflussen. Insbesondere wird ein Systemzustand modelliert, der durch Lücken in der Zeitreihe verfälscht ist.
-
Es ist bekannt, Lücken in den Zeitreihen mithilfe von vorgeschalteten Algorithmen künstlich aufzufüllen und die Daten danach zur Modellierung zu verwenden. In einem besonders einfachen Fall wird bei kurzen Lücken der letzte bekannte Messwert solange festgehalten, bis eine neue gültige Messung vorliegt. Liegen insgesamt nur sehr wenige Lücken in einer Zeitreihe vor, so können Trainingsmuster, die Lücken enthalten, aus dem Trainingsdatensatz entfernt werden, da dies nur einen kleinen Teil der Daten betrifft. Lücken werden mit Einträgen wie beispielsweise NaN aufgefüllt. Trainingsdaten, die diese NaN-Vermerke enthalten, werden nicht zum Training benutzt. Sind dies nur wenige, so wird die Trainingsmenge nicht signifikant reduziert Ferner ist es bekannt, verschiedene Inter- oder Extrapolationsverfahren wie z. B. lineare oder nichtlineare Interpolation, trigonometrische Interpolation oder auf Spline-Funktionen basierende Interpolationen vorzunehmen. Zusätzlich zu den beschriebenen Verfahren, die auf Ableitung analytischer Näherungsfunktionen beruhen, werden häufig auch statistische Methoden eingesetzt, bei denen die Verteilungsfunktionen der Messwerte zugrundegelegt werden.
-
Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren sowie ein Computerprogramm-Produkt mit Computerprogramm zur Ausführung des Verfahrens bereitzustellen, welche ein verbessertes Ermitteln eines Systemzustandes ermöglichen. Diese Aufgabe wird durch die angegebenen unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Die Erfindung betrifft ein Verfahren zur modellbasierten Ermittlung eines Systemzustandes eines dynamischen Systems mittels eines Modells, wobei als Modell des dynamischen Systems ein rekurrentes neuronales Netz bereitgestellt wird, wobei dem Modell eine Zeitreihe aus potentiell erfassbaren Messwerten, umfassend erfassten und fehlenden Messwerten, als Eingangsgröße bereitgestellt wird,
- – wobei aus dem Modell mindestens ein zu einem Zeitpunkt zugehöriger Systemzustand generiert wird, aus welchem mindestens ein zu dem jeweiligen Zeitpunkt zugehöriger Zielwert ermittelbar ist;
- – wobei zeitlich aufeinanderfolgende Systemzustände durch einen jeweiligen Zustandsübergang ineinander überführt werden;
- – wobei eine Korrektur mindestens eines Systemzustandes auf Basis der Zeitreihe mithilfe des Zustandsüberganges vorgenommen wird;
dadurch gekennzeichnet, dass die Korrektur unbeeinflusst von den fehlenden Messwerten der Zeitreihe vorgenommen wird.
-
Zeitabhängige Systeme lassen sich besonders vorteilhaft durch rekurrente neuronale Netze beschreiben. Da die Eingangsgrößen für die Vorhersage zukünftiger Zeitschritte nicht zur Verfügung stehen, werden in sogenannten Historically Consistent Neural Networks oder historisch konsistenten neuronalen Netzen die Eingangs- und Ausgangsgrößen durch sogenannte Observable, d. h. beobachtbare Größen, ersetzt. Observable können für Zeitpunkte bis zur Gegenwart durch Messungen erfasst werden und können für beliebige Zeitpunkte aus einem sogenannten Systemzustand oder State Vector als Zielgrößen abgeleitet werden. Ein Systemzustand beruht auf Observablen als beobachtbare Größen und zusätzlich verdeckten Zustandsgrößen oder sogenannten Hidden States.
-
Die Modellierung lässt sich verfeinern, indem für Observable von Systemzuständen in der Vergangenheit die aufgrund des Observablen-Anteils im Systemzustand erwarteten Zielwerte durch tatsächlich erfasste Observablen ersetzt werden. Es handelt sich dabei um ein Verfahren auf Basis eines sogenannten Architectural Teacher Forcing oder kurz ATF für historisch konsistente neuronale Netze.
-
Das Anwenden eines weiterentwickelten ATFs im Sinne des Gegenstandes des unabhängigen Anspruchs bedeutet, dass beim Zustandsübergang von einem Zustandsvektor zu einem ersten Zeitpunkt t – 1 zu einem Zustandsvektor eines darauffolgenden Zeitpunktes t eine Korrektur vorgenommen wird, welche berücksichtigt, dass ein zum Zeitpunkt t – 1 modellierter Wert möglicherweise durch eine zum Zeitpunkt t – 1 vorgenommene Messung nicht bestätigt wird, sondern es eine Abweichung zwischen Prognose und realer Messung gibt. Diese Abweichung des tatsächlich beobachteten Wertes vom prognostizierten Zielwert oder modellierten Zielwert wird zur Ermittlung des Zustandsvektors, der das System zum Zeitpunkt t beschreibt, berücksichtigt. Somit wird die Prognose oder Ableitung eines modellbasierten Zielwertes verbessert. Insbesondere wird die Vorhersage des zum Zeitpunkt t zugehörigen Zielgrößenvektors, der aus dem zugehörigen Zustandsvektor ableitbar ist, verbessert. Der Zielgrößenvektor umfasst in der Regel mehrere Zielwerte, die beobachtbare Größen darstellen.
-
Die Korrektur wird dabei vorgenommen, falls ein Wert innerhalb des Observablenvektors auch tatsächlich gemessen wurde oder vorliegt. Liegt dagegen eine Lücke in der Zeitreihe vor, beispielsweise für einige oder mehrere Einträge eines oder mehrerer Observablenvektoren zu verschiedenen Zeitpunkten, so werden diese bei der Korrektur nicht berücksichtigt. Vorteilhafterweise wird die Korrektur nur in dem Fall vorgenommen, in dem ein Wert innerhalb des Observablenvektors auch tatsächlich gemessen wurde oder vorliegt. Insbesondere wird kein durch einen Algorithmus aufgrund der Zeitreihe festgesetzter Wert für die Korrektur verwendet, welcher nicht tatsächlich am System gemessen wurde. In Zeitschritten mit fehlenden Messwerten bleibt der Zustandsvektor unverändert, d. h. die Zielwerte der Observablen für einen jeweiligen nachfolgenden Zeitschritt werden aus dem internen Zustand des Modells abgeleitet. Eine Korrektur bleibt somit für Einträge oder Observablen eines Systemzustandes aus oder wird nicht vorgenommen, wenn für die entsprechende Observable im vorausgegangenen Zustand kein Messwert vorliegt. In diesem Fall erfolgt eine reine interne Ableitung eines modellierten Zielwertes aus dem Zustand des Modells ohne Berücksichtigung der historischen Messdaten. Die Korrektur wird somit durch fehlende Messwerte unverfälscht vorgenommen.
-
Auf vorteilhafte Weise werden zugrundeliegende dynamische Prozesse nicht dadurch verfälscht, dass Inter- oder Extrapolationsverfahren zur Ergänzung fehlender Werte in einer Zeitreihe angewandt werden. Insbesondere bei spärlich besetzten Messwertreihen, bei welchen ein hoher Anteil an Messwerten fehlt, verfälschen die Abschätzverfahren unter anderem die statistischen Eigenschaften der Zeitreihen, wie beispielsweise Mittelwert oder Varianz, was sich negativ auf die nachfolgende Modellbildung auswirkt. Somit ist die Güte von Vorhersagen der abgeleiteten Modelle aufgrund der beschriebenen Erfindung erheblich verbessert. Das vorgeschlagene Verfahren zur Erweiterung eines Historically Consistent Neural Network-Modells ermöglicht es, auf die Vorverarbeitung von Messdaten komplett zu verzichten und Lücken in den Daten der Zeitreihe vom Modell selbst ergänzen zu lassen. So können auch spärlich besetzte Zeitreihen konsistent verarbeitet und damit eine ebenfalls konsistente Modellierung der gesamten zugrundeliegenden Dynamik des Systems erreicht werden. Ferner ist kein Expertenwissen nötig, um manuell eine passende Interpolationsmethode zu wählen. Je nach fehlender Observablen müsste herkömmlicherweise ein passendes Modell gewählt werden, sodass eine Automatisierung des Korrekturverfahrens mit vertretbarem Aufwand bislang nicht möglich war.
-
Bei einer fehlerhaften oder unpassenden Abschätzung eines Wertes zum Auffüllen einer Lücke in den Observablen, wie es herkömmlicherweise durchgeführt wird, setzt sich dieser Fehler für Vorhersagen immer weiter fort. Durch das vorgeschlagene Ausblenden einzelner fehlender Werte innerhalb des Observablenvektors ist ein derartiges Verfälschen mit der damit einhergehenden Fortpflanzung eines Fehlers ausgeschlossen.
-
Gemäß einer Ausgestaltung wird die Korrektur unbeeinflusst durch die fehlenden Messwerte der Zeitreihe vorgenommen, indem ein je Zeitpunkt der Zeitreihe vorliegender Observablenvektor mit einem Vektor multipliziert wird und dieser Vektor derart aus 0-Einträgen aufgebaut ist, dass die fehlenden Messwerte im Observablenvektor durch die 0-Einträge nicht in die Korrektur des Systemzustandes eingehen. Es ist demnach ein Indexvektor vorgesehen, welcher durch 0-Einträge beim Multiplizieren diejenigen Werte im Observablenvektor für die Korrektur ausklammert oder vernachlässigt, welche zum vorherigen Zeitschritt nicht gemessen wurden, d. h. für welche beispielsweise eine Messung eines Sensors keinen oder keinen gültigen oder keinen verarbeitbaren Messwert geliefert hat.
-
Gemäß einer Ausgestaltung wird die Korrektur unbeeinflusst durch die fehlenden Messwerte der Zeitreihe vorgenommen, indem ein je Zeitpunkt der Zeitreihe vorliegender Observablenvektor mit einem Vektor multipliziert wird, und dieser Vektor derart aus 1-Einträgen aufgebaut ist, dass die erfassten Messwerte im Observablenvektor durch die 1-Einträge in die Korrektur des Systemzustandes eingehen. Der Indexvektor ist insbesondere in der Lage, durch 1-Einträge einige oder alle diejenigen Werte im Observablenvektor für die Korrektur zu berücksichtigen, welche zum vorherigen Zeitschritt tatsächlich gemessen wurden, d. h. für welche beispielsweise eine Messung eines Sensors einen gültigen oder verarbeitbaren Messwert geliefert hat. Für die tatsächlich gemessenen Messwerte wird beispielsweise ein Architectural Teacher Forcing nach bekannten Methoden durchgeführt, sodass ein Zustandsvektor des Systemzustandes zu einem bestimmten Zeitpunkt durch den Observablenvektor der beobachteten Zeitreihe zum vorhergehenden Zeitpunkt korrigiert wird. Dabei ist es wesentlich, dass der 1-Eintrag kein 0-Eintrag ist. Eine Ausweitung auf von einem 1-Eintrag abweichende Einträge ist denkbar, solange es sich nicht um 0-Einträge handelt.
-
Gemäß einer Ausgestaltung werden die fehlenden Messwerte der Zeitreihe nicht durch einen Algorithmus ergänzt oder abgeschätzt. Insbesondere liegen als Eingangsgrößen dem Observablenvektor lediglich die Messwerte in unveränderter Form vor.
-
Gemäß einer Ausgestaltung wird aus einem Systemzustand für einen zu einem fixierten Zeitpunkt zukünftigen Zeitpunkt ein zugehöriger zukünftiger modellbasierter Wert ermittelt. Somit kann das Verfahren insbesondere vorteilhaft für die Prognose von Observablen verwendet werden.
-
Gemäß einer Ausgestaltung gehen eine Vielzahl von Observablenvektoren der Zeitreihe zu vergangenen Zeitpunkten in die Korrektur eines zu einem auf einen jeweiligen vergangenen Zeitpunkt folgenden Zeitpunkt zugehörigen Zustandsvektors ein. Da jedes ATF je Zeitpunkt den jeweiligen folgenden Systemzustand optimiert, ist eine Prognose zukünftiger Werte besonders vielversprechend, wenn möglichst viele historische Werte in das ATF eingehen. Für eine Vielzahl von zu vergangenen Zeitpunkten zugehörigen Zustandsvektoren können die jeweiligen vorherigen Observablenvektoren eingehen.
-
Gemäß einer Weiterbildung wird die Korrektur in einer Anlernphase des dynamischen Systems oder in einer Betriebsphase vorgenommen. Somit kann das Verfahren auf vorteilhafte Weise sowohl zum Verbessern der Modellierung als auch zur Verbesserung einer Prognose verwendet werden. Die Modellierung von Observablen zu einer Vielzahl von Zeitpunkten in der Vergangenheit und der Abgleich mit zu den jeweiligen Zeitpunkten tatsächlich gemessenen Observablen kann einerseits vorteilhaft genutzt werden, um ein HCNN anzulernen. Ebenso kann in einer Betriebsphase das ATF für eine Vielzahl von Systemzuständen vergangener Zeitpunkte durchgeführt werden, um die Vorhersage eines zukünftigen Observablenvektors zu optimieren.
-
Gemäß einer Ausgestaltung wird der Zustandsübergang durch Anwenden einer nicht-linearen Aktivierungsfunktion und einer linearen Funktion ausgeführt. Insbesondere kommen Funktionen wie der Tangens Hyperbolicus und lineare Algebra zum Einsatz. Die Zustandsvektoren, welche in die Funktionen des Zustandsübergangs eingehen, sind insbesondere bereits durch die Korrektur bereinigt.
-
Gemäß einer Ausgestaltung ist der Systemzustand als Zustandsvektor aus Observablen und verdeckten Zuständen ausgestaltet. Lediglich für die Observablen kann die Korrektur vorgenommen werden, die verdeckten Zustände beschreiben nicht-beobachtbare Größen und sind nicht durch Messungen optimierbar.
-
Gemäß einer Ausgestaltung wird beim Zustandsübergang ein Differenzvektor auf die Observablen des Zustandsvektors zum zugehörigen Zeitpunkt angewendet, wobei der Differenzvektor einen Unterschied zwischen den Observablen und bekannten Observablen eines zugehörigen Observablenvektors der Zeitreihe beschreibt. Es handelt sich dabei beispielsweise um ein gängiges Architectural Teacher Forcing-Verfahren, bei welchem die modellierten Werte durch tatsächlich gemessene Werte aus historischen Zeitreihen ersetzt werden.
-
Gemäß einer Ausgestaltung wird ein aus einem Systemzustand erzeugter Wert, insbesondere ein prognostizierter zukünftiger Wert, zur Steuerung einer technischen Anlage an eine Steuerungseinheit der technischen Anlage übermittelt oder zur Optimierung des Modells für die Korrektur verwendet.
-
Die Erfindung betrifft ferner ein Computerprogrammprodukt mit einem Computerprogramm, das Mittel zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche aufweist, wenn das Computerprogramm auf einer programmgesteuerten Einrichtung zur Ausführung gebracht wird. Ein Computerprogrammprodukt, wie z. B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z. B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen. Als programmgesteuerte Einrichtung kommt insbesondere eine Steuereinrichtung, wie zum Beispiel ein Mikroprozessor für eine Smartcard oder dergleichen in Frage.
-
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen mithilfe der Figuren näher erläutert. Es zeigen:
-
1 eine schematische Darstellung eines bekannten rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems mit einem Architectural Teacher Forcing-Korrekturverfahren;
-
2 eine schematische Darstellung eines rekurrenten neuronalen Netzes zur Modellierung eines dynamischen Systems mit Architectural Teacher Forcing basiertem Korrekturverfahren gemäß einem Ausführungsbeispiel der Erfindung.
-
In den Figuren sind funktionsgleiche Elemente mit denselben Bezugszeichen versehen, sofern nichts anderes angegeben ist.
-
Rekurrente neuronale Netze zur Modellierung eines zeitlichen Verhaltens eines dynamischen Systems umfassen in der Regel mehrere Schichten, welche eine Mehrzahl von Neuronen beinhalten und in geeigneter Weise basierend auf Trainingsdaten aus bekannten Zuständen des dynamischen Systems derart gelernt werden können, dass zukünftige Zustände des dynamischen Systems prädiziert werden können. In den nachfolgend beschriebenen Figuren sind entsprechende Neuronencluster, welche Zustandsvektoren oder Observablenvektoren oder Differenzvektoren modellieren, durch Kreise wiedergegeben.
-
Mit Hilfe von rekurrenten neuronalen Netzen werden beispielsweise im Umfeld erneuerbarer Energien Schwankungen in der Stromerzeugung, insbesondere bei Windkraftanlagen, abgeschätzt. Dafür werden Umwelteinflüsse modelliert und auf Grundlage eines auf Basis von Trainingsdaten angelernten Modells werden Observablen wie Temperatur, Windstärke, Windrichtung, Druck, usw. genutzt und ermittelt, um daraus Rückschlüsse auf die Stromerzeugung ziehen zu können.
-
Ebenso können rekurrente neuronale Netze zur rechnergestützten Vorhersage von Strompreisen oder Energiebedarf oder von Rohstoffpreisen genutzt werden.
-
In 1 ist schematisch eine konventionelle Netzwerktopologie abgebildet, welche zur Modellierung eines dynamischen Systems dient. Es handelt sich um ein Historically Consistent Neuronal Network, bei welchem Zustandsvektoren st-3, st-2, st-1, st, st+1, st+2, auch State Vectors genannt, zu Zeitpunkten t – 3, t – 2, t – 1, t, t + 1 und t + 2 verwendet werden, um zu den jeweiligen Zeitpunkten zugehörige Zielgrößenvektoren yt-3, yt-2, yt-1, y0, yt+1, yt+2 bestehend aus beobachtbaren Größen oder Observablen und versteckten Zustandsgrößen über eine Multiplikation mit einer Matrix B abzuleiten. Über die Matrix B werden die Zielgrößen yt-3, yt-2, yt-1, yt, yt+1 und yt+2 jeweils aus den internen Zustandsvektoren st-3, st-2, st-1, st, st+1 und st+2 durch eine linear Transformation abgeleitet. Die Modellierung wird durch ein sogenanntes Architectural Teacher Forcing, kurz ATF, verfeinert, indem potentiell beobachtbare oder messbare Observablenvektoren ut-3, ut-2, ut-1, u, welche mehrere Observablen je Vektor umfassen können, beim Zustandsübergang von einem Zustandsvektor zum zeitlich darauf folgenden Zustandsvektor berücksichtigt werden. Die Werte der Observablen ut-3 gehen beispielsweise in die Ermittlung des Zustandsvektors St-2 aus dem Zustandsvektor st-3 ein. Dafür werden alle Einträge des Observablenvektors ut-3 verwendet. Existieren nicht für alle Einträge oder Zeilen des Observablenvektors Messwerte, so werden Werte geschätzt, damit eine vollständige Zeitreihe aus Observablenvektoren eingeht.
-
Für das ATF wird eine Output-Schicht auf einen festen Wert von 0 gesetzt, in der Figur durch den Kreis tar = 0 oder target gleich 0 veranschaulicht. Die tatsächlich beobachteten Werte im Vektor ut-3 werden negativ zur Ausgangsschicht hinzugefügt, veranschaulicht in 1 durch –Id. Aus dem Zustandsvektor st-3 werden zugleich über die Matrix [Id 0] die potentiell beobachtbaren Observablen aus dem Zustandsvektor st-3 gefiltert. Es handelt sich bei [Id 0] um die Identitätsmatrix mit 0-Einträgen zum Entfernen der versteckten Observablen aus dem State Vector. Die beobachtbaren Zustände werden positiv zur Output-Schicht hinzugefügt. Somit kann der Differenzvektor zwischen den modellierten Observablen und den tatsächlich beobachteten Observablen gebildet werden. Dieser Differenzvektor geht negativ in den Zustandsübergang ein. Vom Zustandsvektor St-3 werden die Observableneinträge des Zustandsvektors St-3 durch die tatsächlich beobachteten Observableneinträge korrigiert, da durch Anwenden der Matrix [ –Id / 0] der Differenzvektor, mit entsprechenden 0-Einträgen für die verdeckten Zustände, vom State Vector subtrahiert wird. Die versteckten Zustände bleiben durch die 0-Einträge unverändert.
-
Es wird dann wie üblich eine nicht-lineare Aktivierungsfunktion angewendet, z. B. eine Tangens Hyperbolicus-Funktion, in 1 veranschaulicht durch einen Kreis mit darin befindlichem tanh, sowie mit linearen Anteilen, veranschaulicht durch eine Gewichtsmatrix A, um im Modell zum darauffolgenden Zustandsvektor st-2 zu gelangen.
-
Dieses Vorgehen wird analog für alle Zustandsvektoren wiederholt, zu welchen Observablenvektoren aus der Historie vorliegen. Durch die derart bis zur Gegenwart hin verbesserte Qualität der Zustandsvektoren und der damit verbundenen verbesserten Qualität der modellierten Observablenwerte verbessert sich insbesondere die Qualität prognostizierter Observablenwerte, beispielsweise die Qualität der Vektoren yt+1, yt+2 und der entsprechenden Observablenwerte.
-
Zur Erläuterung der Anlernphase des beispielhaft beschriebenen rekurrenten neuronalen Netzes sei darauf verwiesen, dass als initialer Zustand ein Biasvektor s0 vorgegeben wird, welcher in einer Anlernphase des neuronalen Netzes zusammen mit der Gewichtsmatrizen A und B gelernt wird. Bei der Modellierung des dynamischen Verhaltens eines technischen Systems, welches durch eine Anzahl von Observablen und durch verdeckte Zustände beschrieben ist, werden beim Lernen des Netzes nicht alle Trainingsdaten auf einmal berücksichtigt, sondern das Lernen beruht auf einem Ausschnitt der Netzstruktur für eine Anzahl von aufeinander folgenden Zustandsvektoren, für welche bekannte Observablenvektoren aus Trainingsdaten vorliegen. Das Netz wird somit in Zeitfenstern gelernt, welche verschiedene Ausschnitte aus aufeinander folgenden Observablenvektoren der Trainingsdaten repräsentieren. Für Fälle, in welchen kein initialer Zustand existiert, wird beispielsweise ein intialer verrauschter Zustand verwendet, welcher nicht in der Anlernphase gelernt wird, sondern als Unsicherheit akzeptiert wird.
-
In 2 ist dargestellt, wie das Architectural Teacher Forcing aus 1 modifiziert wird, um eine verbesserte Modellierung bei spärlich besetzten Zeitreihen zu erreichen. Wie beim bekannten Architectural Teacher Forcing wird ausgehend von den Observableneinträgen des Zustandsvektors st-3 zu einem bestimmten Zeitpunkt t – 3 und von dem zu diesem Zeitpunkt beobachteten tatsächlichen Observablenvektor ut-3 ein Differenzvektor gebildet. Es ist überdies ein Indexvektor ct-3 vorgesehen, welcher 1-Einträge enthält, falls in dem entsprechenden Eintrag des Observablenvektors ut-3 tatsächlich Messwerte vorhanden sind, und welcher 0-Einträge enthält, falls dem entsprechenden Eintrag des Observablenvektors der Messwert fehlt. Durch Multiplikation des Differenzvektors mit dem Indexvektor – in der 2 veranschaulicht durch einen Kreis mit darin befindlichem x – werden nur diejenigen Observablen des darauffolgenden Systemzustandes st-2 korrigiert, für welche im Observablenvektor ut-3 tatsächliche Messwerte verfügbar sind. Der durch die Multiplikation mit dem Indexvektor ct-3 gefilterte Differenzvektor weist nur noch Korrekturen für die Einträge auf, zu welchen beobachtete Messwerte vorliegen. Durch Anwenden der Matrix [ –Id / 0] auf den gefilterten Differenzvektor kann der Systemzustand st-3 im Hinblick auf die Observablen korrigiert werden. Es wird wiederum die Aktivierungsfunktion umfassend eine Tangens Hyperbolicus-Funktion sowie eine Multiplikation mit Matrix A angewendet, um zum Zustandsvektor st-2 des darauffolgenden Zeitpunkts t – 2 zu gelangen.
-
Zu jedem der Zeitpunkte, zu denen Messwerte tatsächlich erfasst wurden, welche für das Korrekturverfahren verwendet werden können, wird die beschriebene Anpassung bei der Erstellung der Zustandsvektoren zur verbesserten Modellierung des Systems angewendet. Tatsächlich erfasste Messwerte zeichnen sich beispielsweise dadurch in der Erscheinung des Observablenvektors aus, dass zu einem von einem Sensor gelieferten Messwert zusätzlich ein Qualitätseigenschaftswert vorliegt. Fehlende Einträge sind so beispielsweise anhand eines Eintrages „not available” o. ä. erkennbar. Im einfachsten Fall kann der Messwert auch nur einen ungültigen Wert (NaN, „Not a Number”) enthalten. Der Indexvektor wird beispielsweise für jeden Zeitpunkt nach Erfassung der Messwerte automatisch angepasst, sodass die 0- und 1-Einträge passend vorliegen.
-
Auch für einen besonders kleinen Anteil an erfassten Messwerten an der Gesamtmenge der erfassbaren Messwerte je Observablenvektor oder bei über den Zeitbereich der Messungen hinweg betrachteten besonders lückenhaftem Vorliegen von Messwerten können die wenigen verfügbaren Messwerte auf vorteilhafte Weise zur Verbesserung der Modellierung berücksichtigt werden. Beispielsweise liegt nur zu den Zeitpunkten t – 3 und t – 1 ein Messwert für einen Temperaturverlauf vor. Außerdem liegt zum Zeitpunkt t – 3 lediglich der Messwert zum Temperaturverlauf vor und die übrigen potentiell erfassbaren Messwerte, wie beispielsweise Druck oder Windstärke usw., liegen zu diesem Zeitpunkt nicht vor. Zu den übrigen Zeitpunkten t – 2, t – 1 und t liegen beispielsweise die übrigen Messwerte wie Druck, Windstärke usw. vollständig vor. Es ist auf vorteilhafte Weise eine Interpolation von Tempertaturwerten für den dazwischenliegenden Zustand oder Messwert zum Zeitpunkt t – 2 nicht nötig. Ebenso ist eine Interpolation der Druck- oder Windstärke-Messwerte zum Zeitpunkt t – 3 nicht nötig und es kann dennoch der vorhandene Messwert der Temperatur zum Zeitpunkt t – 3 auf vorteilhafte Weise eingesetzt werden. Spärlich oder lückenhaft besetzte Zeitreihen können somit zur verbesserten Modellierung in rekurrenten neuronalen Netzen auf vorteilhafte Weise eingesetzt werden.
-
Obwohl die Erfindung im Detail durch die Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
