Beschreibung
Steuereinrichtung zum Steuern eines technischen Systems und Verfahren zum Konfigurieren der Steuereinrichtung
Bei der Steuerung komplexer technischer Systeme, wie z. B. Windturbinen, Gasturbinen, Motoren, Fertigungsanlagen, Hei zungsanlagen oder Robotern werden in zunehmendem Maße Simula tionsverfahren eingesetzt, die ein physisches Verhalten des zu steuernden technischen Systems simulieren. Häufig wird da bei angestrebt, einen sogenannten digitalen Zwilling des technischen Systems bereitzustellen, der sich in der Simula tion im Wesentlichen wie dieses technische System verhält.
Ein solcher digitaler Zwilling kann dann insbesondere zum op timierten Steuern, zum Testen sowie zum Optimieren des tech nischen Systems abhängig von einem gemäß der Simulation zu erwartenden Verhalten des technischen Systems eingesetzt wer den.
Zur Erstellung derartiger Simulationsmodelle werden häufig datenbasierte Verfahren des maschinellen Lernens eingesetzt. Hierbei werden insbesondere künstliche neuronale Netze darauf trainiert, ausgehend von Betriebsdaten des zu simulierenden technischen Systems ein resultierendes physisches Verhalten des technischen Systems zu reproduzieren und damit zu simu lieren. Für ein erfolgreiches Training werden jedoch in der Regel große Mengen von Betriebsdaten des technischen Systems als Trainingsdaten benötigt. Die Trainingsdaten sollten zudem die Betriebszustände und Betriebsbedingungen des technischen Systems möglichst repräsentativ abdecken.
In vielen Fällen zeigt sich indessen, dass derartige datenge trieben trainierte Simulationen nur unter solchen Betriebszu ständen und Betriebsbedingungen sinnvolle Ergebnisse liefern, die durch die verwendeten Trainingsdaten abgedeckt sind. Au ßerhalb derartiger Betriebszustände oder Betriebsbedingungen führt eine solche Simulation dagegen oft zu unrealistischen oder grob abweichenden Simulationsergebnissen.
Es ist Aufgabe der vorliegenden Erfindung, eine Steuerein richtung zum Steuern eines technischen Systems sowie ein Ver fahren zum Konfigurieren der Steuereinrichtung anzugeben, die eine bessere oder effizientere Simulation des technischen Systems erlauben.
Gelöst wird diese Aufgabe durch die nachstehenden Verfahren 1-8, Steuereinrichtung 9, Computerprogrammprodukt 10 und Speichermedium 11.
1. Computerimplementiertes Verfahren zum Konfigurieren einer Steuereinrichtung (CTL) für ein technisches System (TS), wo bei a) ein Simulationsmodul (SIM) bereitgestellt wird zum physi kalischen Simulieren des technischen Systems (TS) anhand von als Simulationseingabedaten eingespeisten physikali schen Größen des technischen Systems (TS), b) eine zeitliche Abfolge von Steuersignalen (CS) und eine zeitliche Abfolge von gemessenen Zustandsdaten (SD) des technischen Systems (TS) erfasst werden, c) die zeitliche Abfolge der Steuersignale (CS) in ein neuro nales Netz (NN) eingespeist wird, d) Ausgabedaten (PD) des neuronalen Netzes (NN) in das Simu lationsmodul (SIM) als Simulationseingabedaten eingespeist werden, e) durch das Simulationsmodul (SIM) eine physikalische Simu lation anhand der Ausgabedaten (PD) des neuronalen Netzes (NN) durchgeführt wird und dabei simulierte Zustandsdaten (SSD) des technischen Systems (TS) ermittelt werden, f) das neuronale Netz (NN) darauf trainiert wird, einen Ab stand (D) zwischen den gemessenen Zustandsdaten (SD) und den simulierten Zustandsdaten (SSD) zu verringern, und g) die Steuereinrichtung (CTL) durch das Training zum Simu lieren des technischen Systems (TS) anhand von Steuersig nalen (CS) des technischen Systems (TS) eingerichtet wird.
2. Verfahren nach Verfahren 1, dadurch gekennzeichnet,
dass durch das trainierte neuronale Netz (NN) und das Simula tionsmodul (SIM) ein hybrider Simulator (HSIM) zum Simulieren des technischen Systems (TS) anhand von Steuersignalen (CS) des technischen Systems (TS) gebildet wird, und dass das technische System (TS) abhängig von einer Simulation des hybriden Simulators (HSIM) gesteuert wird.
3. Verfahren nach Verfahren 2, dadurch gekennzeichnet, dass verschiedene Steuersignalvarianten in den hybriden Simu lator (HSIM) eingespeist werden und jeweils eine simulierte Reaktion des technischen Systems (TS) bewertet wird, dass abhängig von den Bewertungsergebnissen eine der Steuer signalvarianten selektiert wird, und dass das technische System (TS) mittels der selektierten Steuersignalvariante angesteuert wird.
4. Verfahren nach Verfahren 2 oder 3, dadurch gekennzeichnet, dass eine Vielzahl von Steuersignalen (CSG) generiert wird und mittels des hybriden Simulators (HSIM) jeweils eine simu lierte Reaktion des technischen Systems (TS) ermittelt wird, dass anhand der Vielzahl von Steuersignalen (CSG) und der si mulierten Reaktionen ein weiteres neuronales Netz (NNS) da rauf trainiert wird, simulierte Reaktionen anhand von Steuer signalen zu reproduzieren, und dass der hybride Simulator (HSIM) zumindest teilweise durch das trainierte weitere neuronale Netz (NNS) ersetzt wird.
5. Verfahren nach einem der vorhergehenden Verfahren 1-4, dadurch gekennzeichnet, dass
- gemessene Zustandsdaten (SD),
- simulierte Zustandsdaten (SSD),
- externe Zustandsdaten (ESD) über einen Zustand eines exter nen Systems und/oder
- Umgebungsdaten (ENV) über eine Umgebung des technischen Systems (TS) als Eingabedaten in das neuronale Netz (NN) eingespeist wer den.
6. Verfahren nach einem der vorhergehenden Verfahren 1-5, dadurch gekennzeichnet, dass zum Training des neuronalen Netzes (NN) eine Partikel schwarmoptimierung, ein gradientenbasiertes Optimierungsver fahren, ein stochastisches Gradientenabstiegsverfahren und/oder ein genetisches Optimierungsverfahren verwendet wird.
7. Verfahren nach einem der vorhergehenden Verfahren 1-6, dadurch gekennzeichnet, dass das neuronale Netz (NN) ein rekurrentes neuronales Netz, ein faltendes neuronales Netz, ein bayessches neuronales Netz, einen Autoencoder und/oder eine Deep-Learning-Architektur im plementiert.
8. Verfahren nach einem der vorhergehenden Verfahren 1-7, dadurch gekennzeichnet, dass das technische System (TS) eine Turbine, ein Solarkraft werk, eine Verbrennungskraftmaschine, ein Motor, ein Kraft fahrzeug, eine Fertigungsanlage, ein Verkehrsleitsystem, eine Energiesteuerung für ein Gebäude, eine Heizungsanlage, ein Roboter, ein Energieübertragungsnetz oder eine andere Maschi ne, ein anderes Gerät oder eine andere Anlage ist.
9. Steuereinrichtung (CTL) zum Steuern eines technischen Sys tems (TS) eingerichtet zum Ausführen eines Verfahrens nach einem der vorhergehenden Verfahren 1-8.
10. Computerprogrammprodukt eingerichtet zum Ausführen eines der Verfahren 1 bis 8.
11. Computerlesbares Speichermedium mit einem Computerpro grammprodukt 10.
Weitere Lösungen werden durch die in den Patentansprüchen be schriebenen Verfahren, Steuereinrichtungen, Computerprogramm produkte und computerlesbaren Speichermedien bereitgestellt.
Zum Konfigurieren einer Steuereinrichtung für ein technisches System wird ein Simulationsmodul zum physikalischen Simulie ren des technischen Systems anhand von als Simulationseinga bedaten eingespeisten physikalischen Größen des technischen Systems bereitgestellt. Weiterhin wird eine zeitliche Abfolge von Steuersignalen und eine zeitliche Abfolge von gemessenen Zustandsdaten des technischen Systems erfasst. Die zeitliche Abfolge der Steuersignale wird in ein neuronales Netz einge speist, und Ausgabedaten des neuronalen Netzes werden in das Simulationsmodul als Simulationseingabedaten eingespeist. Durch das Simulationsmodul wird anhand der Ausgabedaten des neuronalen Netzes eine physikalische Simulation durchgeführt, wobei simulierte Zustandsdaten des technischen Systems ermit telt werden. Das neuronale Netz wird dann darauf trainiert, einen Abstand zwischen den gemessenen Zustandsdaten und den simulierten Zustandsdaten zu verringern. Durch das Training wird die Steuereinrichtung zum Simulieren des technischen Systems anhand von Steuersignalen eingerichtet.
Zum Ausführen des erfindungsgemäßen Verfahrens sind eine ent sprechende Steuereinrichtung, ein Computerprogrammprodukt so wie ein computerlesbares, vorzugsweise nichtflüchtiges Spei chermedium vorgesehen.
Das erfindungsgemäße Verfahren sowie die erfindungsgemäße Steuereinrichtung können beispielsweise mittels eines oder mehrerer Prozessoren, anwendungsspezifischer integrierter Schaltungen (ASIC), digitaler Signalprozessoren (DSP) und/oder sogenannter „Field Programmable Gate Arrays" (FPGA) ausgeführt bzw. implementiert werden.
Durch das Verfahren kann das neuronale Netz automatisch da rauf trainiert werden, vom Simulationsmodul als Simulations eingabedaten benötigte physikalische Größen anhand von Steu ersignalen des technischen Systems zu ermitteln. Die Verwen dung eines physikbasierten Simulationsmoduls erlaubt in der Regel eine genauere und gegenüber Störeiflüssen oder Wechseln von Betriebsbedingungen weniger empfindliche Simulation eines
technischen Systems als ein rein datengetriebener Simulator. Darüber hinaus werden in der Regel erheblich weniger Trai ningsdaten dazu benötigt, um ein neuronales Netz zum Ermit teln von physikalischen Größen anhand von Steuersignalen zu befähigen, als um einen vollständig datengetriebenen Simula tor zu trainieren. Zudem können wechselnde physikalische Ein flüsse durch das physikbasierte Simulationsmodul meist auf einfache Weise berücksichtigt werden, während ein rein daten getriebener Simulator häufig neu trainiert werden müsste. Da eine physikbasierte Simulation verschiedene Parametrierungen haben kann, ist sie in der Regel vielfach wiederverwendbar, und muss bei kleinen Änderungen des technischen Systems nicht neu erstellt werden.
Ein weiterer Vorteil der Erfindung liegt darin, dass mit Hil fe eines erfindungsgemäß gebildeten hybriden Simulators für eine Vielzahl von generierten unterschiedlichen Steuersigna len auf Grund der Struktur des hybriden Simulators und dem in ihm enthaltenen physikbasierten Simulationsmoduls zur Durch führung einer physikalischen Simulation die voraussichtlichen Reaktionen des technischen Systems auf die jeweiligen Steuer signale sehr genau simuliert werden können.
Dies hat vor allem dann besonders schöne Vorteile, wenn eine zeitliche Äbfolge von Steuersignalen und eine zeitliche Ab folge von gemessenen Zustandsdaten des technischen Systems zu wenig Trainingsdaten für ein Training eines neuronalen Netzes umfassen, von dem die Funktion des gesamten technischen Sys tems erlernt werden soll. Dies kann zu einem sogenannten Overfitting führen, bei dem von dem derart trainierten neuro nalen Netz nicht nur die Funktion des technischen Systems ge lernt wird, sondern auch unerwünschte Effekte wie Fehler in den Trainingsdaten oder Rauschen. Im Falle eines Overfittings lässt sich dann nicht mehr unterscheiden, ob von dem neurona len Netz die Funktion des technischen Systems oder die eines Fehlers bzw. Rauschens als Ergebnis einer Simulation ausgege ben wird.
Der erfindungsgemäß vorgesehene hybride Simulator ist wegen seiner Struktur und des enthaltenen physikbasierten Simulati onsmoduls deutlich weniger anfällig gegen Overfitting. Das dem Simulationsmodul vorgeschaltete neuronale Netz muss in diesem Fall nicht die Funktion des gesamten technischen Sys tems erfassen, sondern nur Steuersignale mit physikalischen Größen korrelieren, die von dem Simulationsmodul als Simula tionseingabedaten benötigt werden. Im Fall eines Heizkörpers könnte beispielsweise von dem neuronalen Netz lediglich eine Korrelation zwischen dem am Steuerventil eingestellten Steu ersignal (z.B. ein Wert zwischen 1 und 5) und der daraus re sultierenden Durchflussmenge warmen Wassers zu lernen sein. Die hier benötigten Korrelationen haben oft eher den Charak ter einer einfachen linearen Abbildung, welche erheblich we niger komplex und anfällig gegen Overfitting sind als die deutlich umfangreichere und vielschichtigere Simulation der Funktion eines gesamten komplexen technischen Systems, in dem sich viele unterschiedliche physikalische Effekte gegenseitig überlagern .
Nach Erkenntnis der Erfindung kann wegen dieser Charakteris tik der hybride Simulator auch dann bereits mit sehr guter Qualität trainiert werden, wenn eine zeitliche Abfolge von Steuersignalen und eine zur Verfügung stehende zeitliche Ab folge von gemessenen Zustandsdaten des technischen Systems zu wenig Trainingsdaten für ein Training eines neuronalen Netzes umfassen, von dem die Funktion des gesamten technischen Sys tems erlernt werden soll.
Mit Hilfe des derart trainierten hybriden Simulators kann im Anschluss eine Vielzahl von qualitativ hochwertigen, unter schiedlichen weiteren Trainingsdaten erzeugt werden. Qualita tiv hochwertig bedeutet in diesem Fall, dass die derart gene rierten Trainingsdaten sehr gut mit tatsächlichen Reaktionen des technischen Systems auf die generierten Steuersignale übereinstimmen und, wenn überhaupt, nur sehr kleine Fehler oder sehr kleines Rauschen enthalten. Dabei werden unter schiedliche Steuersignale generiert und von dem hybriden Si-
mulator jeweils zugehörige simulierte Reaktionen des techni schen Systems, beispielsweise in Form von simulierten Zu standsdaten (SSD), ermittelt.
Die generierten Trainingsdaten können gleichmäßig über den gesamten Bereich an bekannten / möglichen / zulässigen / er laubten Steuersignalen des technischen Systems verteilt sein. Je nach Anwendungsfall sind auch andere Verteilungsmuster denkbar wie zum Beispiel eine zufällige Verteilung, eine Gauß-Verteilung oder eine Poisson-Verteilung.
Weiterhin ist es mit Hilfe eines erfindungsgemäß gebildeten hybriden Simulators möglich, sehr genau voraussichtliche Re aktionen des technischen Systems auf Steuersignale zu simu lieren, die außerhalb des Bereichs liegen, für den konkret gemessene Zustandsdaten des technischen Systems zur Verfügung stehen. Dies können Bereiche sein, in denen z.B. auf Grund von Beschränkungen des zur Ermittlung von konkreten Messdaten zur Vergütung stehenden technischen Systems keine konkreten Messwerte ermittelt werden können.
Bei Verwendung dieser generierten Trainingsdaten für ein nachgeschaltetes weiteres neurales Netz, von dem die Funktion des gesamten technischen Systems erlernt werden soll, kann ein Extrapolationsverhalten des weiteren neuronalen Netzes erheblich verbessert oder überhaupt erst ermöglicht werden. Vorteilhaft lässt sich somit eine Generalisierung der Steue rung erreichen, die ohne die Erfindung bei ausschließlicher Verwendung der vorhandenen, real gemessenen Trainingsdaten nicht möglich wäre.
Vorteilhafte Ausführungsformen und Weiterbildungen der Erfin dung sind in den abhängigen Ansprüchen angegeben.
Gemäß einer vorteilhaften Ausführungsformen der Erfindung kann durch das trainierte neuronale Netz und das Simulations modul ein hybrider Simulator zum Simulieren des technischen Systems anhand von Steuersignalen des technischen Systems ge-
bildet werden. Das technische System kann dann abhängig von einer Simulation des hybriden Simulators gesteuert werden.
Der hybride Simulator kann insbesondere als digitaler Zwil ling des technischen Systems verwendet werden.
Vorteilhafterweise können verschiedene Steuersignalvarianten in den hybriden Simulator eingespeist werden und jeweils eine simulierte Reaktion des technischen Systems bewertet werden. Abhängig von den Bewertungsergebnissen kann dann eine der Steuersignalvarianten selektiert werden, um das technische System mittels der selektierten Steuersignalvariante anzu steuern. Vorzugweise kann hierbei eine Steuersignalvariante selektiert werden, die zu einer besonders vorteilhaften oder in anderer Hinsicht optimalen simulierten Reaktion des tech nischen Systems führt. Auf diese Weise kann eine optimierte Steuerung des technischen Systems beispielsweise im Rahmen einer modellprädiktiven Regelung (MPC: Model Predictive Con trol) implementiert werden.
Nach einer vorteilhaften Weiterbildung der Erfindung können eine Vielzahl von Steuersignalen generiert werden und mittels des hybriden Simulators jeweils eine simulierte Reaktion des technischen Systems ermittelt werden. Anhand der Vielzahl von Steuersignalen und der simulierten Reaktionen kann ein weite res neuronales Netz darauf trainiert werden, simulierte Reak tionen anhand von Steuersignalen zu reproduzieren. Der hybri de Simulator kann dann zumindest teilweise durch das trai nierte weitere neuronale Netz ersetzt werden. Dies ist inso fern vorteilhaft, als ein trainiertes neuronales Netz häufig mit erheblich geringerem Rechenaufwand ausgewertet werden kann als eine physikbasierte Simulation.
Gemäß weiterer vorteilhafter Ausführungsvarianten der Erfin dung können gemessene Zustandsdaten, simulierte Zustandsda ten, externe Zustandsdaten über einen Zustand eines externen Systems und/oder Umgebungsdaten über eine Umgebung des tech nischen Systems als zusätzliche Eingabedaten in das neuronale Netz eingespeist werden. Insofern physikalische Größen des
technischen Systems häufig auch von dessen Umgebung oder von externen Systemen abhängen, kann ein Trainingserfolg in der Regel erheblich verbessert werden, wenn die Einflussgrößen ebenfalls in das neuronale Netz eingespeist werden. Durch die Einspeisung von simulierten Zustandsdaten können insbesondere Veränderungen des technischen Systems gegenüber der Simulati on berücksichtigt, detektiert und/oder kompensiert werden.
Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnung näher erläutert. Dabei zeigen jeweils in sche matischer Darstellung:
Figur 1 eine erfindungsgemäße Steuereinrichtung in einer Kon figurationsphase,
Figur 2 die Steuereinrichtung beim Steuern eines technischen Systems und
Figur 3 die Steuereinrichtung in einer weiteren Konfigurati onsphase.
In Figur 1 ist eine erfindungsgemäße Steuereinrichtung CTL in einer Konfigurationsphase schematisch dargestellt. Die Steu ereinrichtung CTL dient zum Steuern eines technischen Systems TS, z. B. einer Gasturbine, einer Windturbine, eines So larkraftwerks, einer Verbrennungskraftmaschine, eines Motors, eines Kraftfahrzeugs, einer Fertigungsanlage, eines Verkehrs leitsystems, einer Energiesteuerung für ein Gebäude, eines Roboters oder eines Energieübertragungsnetzes. Unter einem technischen System sei insbesondere auch eine Komponente oder ein Teilsystem eines zusammengesetzten technischen Systems verstanden. Im vorliegenden Ausführungsbeispiel wird als technisches System TS eine Heizungsanlage für ein Gebäude be trachtet.
Die Steuereinrichtung CTL verfügt über eine oder mehrere Pro zessoren PROC zum Ausführen von Verfahrensschritten der Steu ereinrichtung CTL sowie über einen oder mehrere mit dem Pro-
zessor PROC gekoppelte Speicher MEM zum Speichern der von der Steuereinrichtung CTL zu verarbeitenden Daten.
Die Steuereinrichtung CTL ist in Figur 1 extern zum techni schen System TS dargestellt und mit diesem gekoppelt. Alter nativ oder zusätzlich kann die Steuereinrichtung CTL auch ganz oder teilweise in das technische System TS integriert sein.
Das technische System TS verfügt über eine Sensorik S zum Messen oder Erfassen von Messgrößen, die einen Zustand des technischen Systems TS quantifizieren. Die Messgrößen werden in Form von gemessenen Zustandsdaten SD von der Sensorik S zur Steuerung CTL übermittelt und von dieser erfasst. Die ge messenen Zustandsdaten SD können beispielsweise Daten über Temperatur, Druck oder Reibung im technischen System TS oder andere physikalische Daten umfassen. Weiterhin können Daten über eine Auslastung oder einen Ressourcenverbrauch des tech nischen Systems TS enthalten sein. Im Fall einer Heizungsan lage kann die Sensorik S beispielsweise über Temperatursenso ren zum Messen einer Raumtemperatur oder einer Wassertempera tur verfügen.
Das technische System TS wird mittels und anhand von Steuer signalen CS gesteuert. Die Steuersignale CS können Stellsig nale, Steuerdaten oder andere für die Steuerung des techni schen Systems TS relevante Signale umfassen und unterschied liche Steuergrößen betreffen. Derartige Steuersignale können beispielsweise durch eine Betätigung von Drehknöpfen, von Schaltern, von Gaspedalen oder durch andere Benutzeraktionen erzeugt werden oder für eine Ansteuerung von Komponenten des technischen Systems TS verwendet werden. Die Steuersignale CS können im technischen System TS erfasst und zur Steuerein richtung CTL übermittelt werden, z. B. eine durch einen Be nutzer vorgenommene Thermostateinstellung, oder durch die Steuereinrichtung CTL zum Steuern des technischen Systems TS erzeugt und zu diesem übertragen werden, z. B. ein Einschalt-
signal für eine Pumpe. Darüber hinaus können die Steuersigna le CS auch Steuersignale von externen Komponenten umfassen.
Die Steuersignale CS werden fortlaufend in zeitlicher Abfol ge, z. B. alle hundert Millisekunden erfasst. Darüber hinaus werden durch die Steuereinrichtung CTL die gemessenen Zu standsdaten SD fortlaufend in korrespondierender zeitlicher Abfolge erfasst. Bei einer Heizungsanlage können beispiels weise ein Stellsignal für einen Thermostaten als Steuersignal und eine Raumtemperatur oder Wassertemperatur als gemessene Zustandsdaten erfasst werden.
Die Steuereinrichtung CTL weist erfindungsgemäß ein Simulati onsmodul SIM zur physikalischen Simulation des technischen Systems TS auf. Das Simulationsmodul SIM führt eine physikba sierte, auf mechanischen, thermodynamischen oder anderen phy sikalischen Modellen gestützte Simulation aus. Die physikali schen Modelle bilden hierbei physikalische, naturgesetzliche Wirkungszusammenhänge des technischen Systems ab. Das Simula tionsmodul SIM wertet diese Wirkungszusammenhänge beispiels weise durch numerisches Lösen von Bewegungsgleichungen, ther modynamischen Gleichungen oder anderen statischen oder dyna mischen Gleichungen für Elemente des technischen Systems TS aus. Für derartige physikbasierte Simulationen sind eine Vielzahl von hinreichend genauen physikalischen Modellen ver fügbar.
Die Simulationen werden durch das Simulationsmodul SIM anhand von physikalischen Größen durchgeführt, die für das physika lische Verhalten des technischen Systems TS maßgeblich sind oder dieses Verhalten zumindest beeinflussen. Derartige phy sikalische Größen können beispielsweise Temperaturen, Kräfte, Wärmeströme, Durchflussmengen oder andere physikalische Ei genschaften des technischen Systems TS mit physikalischer Be deutung umfassen. Zur Durchführung der Simulationen benötigt das Simulationsmodul SIM physikalische Simulationseingabeda ten PD, die diese physikalischen Größen quantifizieren.
In der Praxis tritt indessen häufig das Problem auf, dass sich ein physikalisches Simulationsmodell auf physikalische Größen stützt, die nur schwer messbar sind. So können Tempe raturen, Kräfte oder Wärmeströme im Inneren einer Maschine zwar für ein Verhalten und damit für eine Simulation dieser Maschine maßgeblich, aber nur sehr schwer zu messen sein. Falls derartige physikalische Größen nicht oder nur ungenau verfügbar sind, kann die Genauigkeit der Simulation erheblich beeinträchtigt werden.
Anders als manche physikalischen Größen sind Steuersignale eines technischen Systems häufig leichter erfassbar. Die ver fügbaren Steuersignale können jedoch häufig nicht direkt in physikalischen Simulationsmodellen verwendet werden, da sie nicht zu den physikalischen Größen des Simulationsmodells passen und nicht in die zugrunde liegenden physikalischen Gleichungen einsetzbar sind. Wenn ein Zusammenhang zwischen Steuersignalen und physikalischen Größen a priori nicht be kannt ist, können diese physikalischen Gleichungen nicht ver wendet werden. Falls beispielsweise ein Heizkörper durch ei nen drehbaren Thermostaten im Bereich von 1 bis 5 eingestellt werden kann, kann ein die Zahlen 1 bis 5 quantifizierendes Steuersignal in der Regel nicht direkt in eine physikalische Gleichung zur thermodynamischen Simulation des Heizkörpers eingesetzt werden.
Darüber hinaus hängt ein Verhalten des technischen Systems TS in vielen Fällen nicht nur von internen Steuersignalen ab, sondern auch von einer Umgebung des technischen Systems und/oder von externen Systemen. So ist beispielsweise für ei nen Wärmestrom in einem Heizkörper nicht nur eine Durchfluss menge an Warmwasser, sondern auch die Temperatur des Wassers maßgeblich, welche eventuell nicht von der Heizung, sondern von einem externen Wärmeerzeuger bestimmt werden könnte. In solchen Fällen können die für die Simulation maßgeblichen physikalischen Größen in sehr komplexer Weise von einer Viel zahl von Steuersignalen oder externen Einflussfaktoren abhän-
gig sein, was eine direkte Verwendung in physikbasierten Si mulationsmodellen erheblich erschwert.
Erfindungsgemäß wird nun anstatt die Simulation auf schwer oder ungenau zu messende physikalische Größen zu stützen, ein künstliches neuronales Netz NN mit dem Ziel trainiert, die für das Simulationsmodel SIM benötigten physikalischen Größen zu ermitteln oder zumindest Daten zu ermitteln, die zu zu treffenden Simulationsergebnissen führen. Die benötigen phy sikalischen Größen sollen durch das trainierte neuronale Netz NN aus den erfassten Steuersignalen CS und anderen leicht zu erfassenden Daten ermittelt werden.
Zum Training des neuronalen Netzes NN werden eine zeitliche Abfolge der Steuersignale CS und eine zeitliche Abfolge der gemessenen Zustandsdaten SD durch die Steuereinrichtung CTL erfasst und in das neuronale Netz NN als Eingabedaten einge speist. Als weitere Eingabedaten werden Umgebungsdaten ENV über eine Umgebung des technischen Systems TS sowie externe Zustandsdaten ESD über einen Zustand eines externen Systems durch die Steuereinrichtung CTL erfasst und in das neuronale Netz NN eingespeist. Die Umgebungsdaten ENV können insbeson dere eine Umgebungstemperatur, Wetterdaten, Zeitangaben und/oder Datumsangaben umfassen. Die externen Zustandsdaten ESD können z. B. einen Füllstand eines Öltanks oder eine Tem peratur in einem externen Wärmeerzeuger betreffen. Insofern die physikalischen Größen des technischen Systems TS erheb lich von seiner Umgebung und angekoppelten externen Systemen abhängig sein können, wird durch die zusätzliche Berücksich tigung der Umgebungsdaten ENV und der externen Zustandsdaten ESD ein Trainingserfolg in der Regel erheblich verbessert.
Das Training des neuronalen Netzes NN erfolgt vorzugsweise mittels eines Verfahrens des maschinellen bestärkenden Ler nens. Unter einem Training sei hierbei allgemein eine Opti mierung einer Abbildung von Eingabedaten, hier CS, SD, ENV und ESD, eines neuronalen Netzes, hier NN, auf Ausgabedaten, hier PD, verstanden. Diese Abbildung wird nach vorgegebenen,
gelernten und/oder zu lernenden Kriterien während einer Trai ningsphase optimiert. Als Kriterien können hierbei z. B. bei Steuermodellen ein Erfolg einer Steueraktion, bei Prädikti onsmodellen ein Prädiktionsfehler oder bei Simulationsmodel len - wie im vorliegenden Fall - ein Simulationsfehler heran gezogen werden. Durch das Training können beispielsweise Ver netzungsstrukturen von Neuronen des neuronalen Netzes und/oder Gewichte von Verbindungen zwischen den Neuronen so eingestellt bzw. optimiert werden, dass die vorgegebenen Kri terien möglichst gut erfüllt werden. Das Training kann somit als Optimierungsproblem aufgefasst werden. Für derartige Op timierungsprobleme auf dem Gebiet des maschinellen Lernens sind eine Vielzahl von effizienten Optimierungsverfahren ver fügbar.
Im vorliegenden Fall werden die Ausgabedaten PD des neurona len Netzes NN als Simulationseingabedaten in das Simulations modul SIM eingespeist. Die Ausgabedaten PD können dabei di rekt oder über einen Zwischenverarbeitungsschritt in das Si mulationsmodul SIM eingespeist werden. Anhand der Simulati onseingabedaten PD führt das Simulationsmodul SIM eine physi kalische Simulation durch, wobei insbesondere simulierte Zu standsdaten SSD des technischen Systems TS ermittelt werden. Die simulierten Zustandsdaten werden unter anderem als Einga bedaten in das Simulationsmodul SIM zurückgeführt, um anhand des aktuellen simulierten Zustands im nächsten Zeitschritt einen simulierten Folgezustand zu ermitteln. Darüber hinaus werden die simulierten Zustandsdaten SSD vorzugsweise als zu sätzliche Eingabedaten in das neuronale Netz NN eingespeist. Auf diese Weise können Veränderungen des technischen Systems TS, die sich häufig in einer zunehmenden Diskrepanz zwischen den gemessenen Zustandsdaten SD und den simulierten Zustands daten SSD niederschlagen, beim Training berücksichtigt wer den.
Durch das Training wird angestrebt, dass die simulierten Zu standsdaten SSD möglichst gut mit den tatsächlich gemessenen Zustandsdaten SD übereinstimmen. Zu diesem Zweck wird ein Ab-
stand D zwischen den gemessenen Zustandsdaten SD und den dazu korrespondierenden, simulierten Zustandsdaten SSD ermittelt. Der Abstand D repräsentiert hierbei einen Simulationsfehler des mit dem neuronalen Netz NN zusammenwirkenden Simulations moduls SIM.
Der Abstand D wird, wie in Figur 1 durch einen strichlierten Pfeil angedeutet, zum neuronalen Netz NN zurückgeführt. An hand des zurückgeführten Abstands D wird das neuronale Netz NN darauf trainiert, diesen Abstand D und damit den Simulati onsfehler zu minimieren. Falls die Zustandsdaten SD und SSD durch Datenvektoren repräsentiert sind, kann der Abstand D beispielsweise als euklidischer Abstand oder gewichteter euk lidischer Abstand zwischen diesen Datenvektoren ermittelt werden.
Zur Minimierung des Abstands D ist eine Vielzahl von effi zienten Optimierungsverfahren verfügbar, z. B. gradientenba sierte Optimierungsverfahren, insbesondere stochastische Gra dientenabstiegsverfahren, Partikelschwarmoptimierungen und/oder genetische Optimierungsverfahren. Bei gradientenba sierten Optimierungsverfahren können Differenzialquotienten oder Differenzenquotienten der physikbasierten Simulation er mittelt und beim Training in effizienzsteigender Weise be rücksichtigt werden. Falls Differenzialquotienten oder Diffe renzenquotienten der Simulation nicht verfügbar sind, erwei sen sich Partikelschwarmoptimierungen oder genetische Opti mierungsverfahren als vorteilhaft.
Durch die Minimierung des Abstands D wird das neuronale Netz NN automatisch darauf trainiert, die vom Simulationsmodul SIM als Simulationseingabedaten benötigten physikalischen Größen aus den Eingabedaten CS, SD, ENV und ESD des neuronalen Net zes NN zu ermitteln. Dies basiert auf der Erwägung, dass so lange das neuronale Netz NN nicht die vom Simulationsmodul SIM benötigten physikalischen Größen mit hinreichender Genau igkeit ermittelt, die darauf basierenden simulierten Zu standsdaten SSD nicht mit der gemessenen Realität überein-
stimmen würden. Die Abweichung von der Realität wird aber ge rade durch das oben beschriebene Training minimiert.
Durch das Training des neuronalen Netzes NN wird die Steuer einrichtung CTL zum Simulieren des technischen Systems TS an hand von dessen Steuersignalen CS und anderen leicht erfass baren Daten, hier SD, ENV und SSD konfiguriert.
Die Verwendung eines physikbasierten Simulationsmoduls SIM erlaubt gegenüber einem rein datengetriebenen Simulator eine genauere und gegenüber Störeinflüssen oder Wechseln von Be triebsbedingungen weniger empfindliche Simulation. Durch das trainierte neuronale Netz NN können auch schwer messbare phy sikalische Größen mit hinreichender Genauigkeit ermittelt werden, die für eine physikbasierte Simulation vom Simulati onsmodul SIM benötigt werden oder zumindest genauigkeitsstei gernd sind. Es erweist sich, dass eine datengetriebene Er mittlung der physikalischen Größen in der Regel erheblich stabiler trainierbar ist als eine vollständig datengetriebene Simulation. Zudem werden meist erheblich weniger Trainingsda ten benötigt. Insbesondere können Steuersignale und andere leicht erfassbare Daten als Eingabedaten für die Simulation verwendet werden, ohne auf die Vorteile einer physikbasierten Simulation zu verzichten.
Figur 2 zeigt die Steuereinrichtung CTL beim Steuern des technischen Systems TS in schematischer Darstellung. Insofern in Figur 2 die gleichen oder korrespondierende Bezugszeichen wie in Figur 1 verwendet werden, bezeichnen diese Bezugszei chen die gleichen oder korrespondierende Entitäten, die ins besondere wie oben beschrieben, implementiert oder ausgestal tet sein können.
Durch das Simulationsmodul SIM und das vorgeschaltete, trai nierte neuronale Netz NN wird ein hybrider Simulator HSIM ge bildet. Der hybride Simulator HSIM simuliert das technische System TS anhand von Steuersignalen CS und anderen leicht er fassbaren Daten, hier SD, ENV und ESD, anstatt anhand von ge-
gebenenfalls schwer messbaren, aber vom Simulationsmodul SIM benötigten physikalischen Größen. Insofern der hybride Simu lator HSIM sich in vielerlei Hinsicht wie das technische Sys tem TS verhält, kann der hybride Simulator HSIM insbesondere als digitaler Zwilling des technischen Systems TS verwendet werden.
Wie oben beschrieben, werden durch das trainierte neuronale Netz NN aus den Steuersignalen CS, den gemessenen Zustandsda ten SD, den Umgebungsdaten ENV und den externen Zustandsdaten ESD physikalische Größen des technischen Systems TS abgelei tet, die als Simulationseingabedaten PD in das Simulationsmo dul SIM eingespeist werden. Das Simulationsmodul SIM ermit telt daraus die simulierten Zustandsdaten SSD, die zu einer Steuersignalausgabe CSO der Steuereinrichtung CTL übermittelt werden. Die Steuersignalausgabe CSO erzeugt anhand der simu lierten Zustandsdaten SSD Steuersignale CS zum Steuern des technischen Systems TS. Diese Steuersignale CS werden zum technischen System TS übermittelt und steuern dieses an.
Gegebenenfalls können durch einen Steuersignalgenerator (nicht dargestellt) Steuersignalvarianten generiert und je weils in den hybriden Simulator HSIM eingespeist werden. Der hybride Simulator HSIM ermittelt für die Steuersignalvarian ten jeweils eine simulierte Reaktion des technischen Systems TS auf die jeweilige Steuersignalvariante. Abhängig von den simulierten Reaktionen wird dann vorzugsweise diejenige Steu ersignalvariante durch die Steuersignalausgabe CSO selek tiert, die zu einer möglichst günstigen Reaktion des techni schen Systems führt. Das technische System TS kann dann durch die Steuersignalausgabe CSO mittels der selektierten Steuer signalvariante in optimierter Weise angesteuert werden.
Der hybride Simulator HSIM kann außer zum Steuern des techni schen Systems TS auch zum Testen sowie zur Designoptimierung während eines Designprozesses verwendet werden. Aufgrund der größeren Robustheit der erfindungsgemäßen hybriden Simulation können auch simulative Tests unter ungewöhnlichen Betriebsbe-
dingungen durchgeführt werden, die am realen technischen Sys tem mit Risiken verbunden, sehr aufwändig oder unmöglich wä ren.
Figur 3 zeigt die Steuereinrichtung CTL in einer weiteren Konfigurationsphase in schematischer Darstellung. Insofern in Figur 3 die gleichen oder korrespondierende Bezugszeichen wie in den vorangegangenen Figuren verwendet werden, bezeichnen diese Bezugszeichen die gleichen oder korrespondierende Enti täten.
In der weiteren Konfigurationsphase wird der das trainierte neuronale Netz NN enthaltende hybride Simulator HSIM dazu ge nutzt, ein weiteres künstliches neuronales Netz NNS der Steu ereinrichtung CTL darauf zu trainieren, die durch den hybri den Simulator HSIM simulierten Reaktionen anhand von Steuer signalen und anderen leicht erfassbaren Daten zu reproduzie ren. Dieses Training kann vorzugsweise mittels eines modell basierten Verfahrens des bestärkenden Lernens durchgeführt werden.
Zum Training des Weiteren neuronalen Netzes NNS werden durch einen Generator GEN der Steuereinrichtung CTL eine Vielzahl von Steuersignalen CSG und eine Vielzahl von Zustandsdaten SDG generiert und sowohl in den trainierten hybriden Simula tor HSIM als auch in das zu trainierende weitere neuronale Netz NNS als Eingabedaten eingespeist. Zusätzlich können, wie oben beschrieben, auch noch eine Vielzahl von Umgebungsdaten ENV und/oder eine Vielzahl von externen Zustandsdaten ESD durch den Generator GEN generiert und in den hybriden Simula tor HSIM und das weitere neuronale Netz NNS als Eingabedaten eingespeist werden.
Der Generator GEN ist spezifisch dazu eingerichtet, Steuer signale, Zustandsdaten und gegebenenfalls Umgebungsdaten und externe Zustandsdaten zu generieren, die möglichst alle er reichbaren Betriebszustände oder Betriebsbedingungen des technischen Systems TS abdecken. Anhand der generierten Ein-
gabedaten werden durch den hybriden Simulator HSIM, wie oben beschrieben, simulierte Zustandsdaten SSD des technischen Systems TS erzeugt und durch das weitere neuronale Netz NNS Ausgabedaten NNO. Analog zum oben beschriebenen Training des neuronalen Netzes NN wird durch die Steuereinrichtung CTL ein Abstand D zwischen den simulierten Zustandsdaten SSD und den Ausgabedaten NNO des Weiteren neuronalen Netzes NNS ermit telt. Der ermittelte Abstand D wird, wie durch einen strich- lierten Pfeil veranschaulicht, zum weiteren neuronalen Netz NNS zurückgeführt, um dieses darauf zu trainieren, den Ab stand D zu minimieren. Für diese Minimierung stehen, wie oben bereits erwähnt, eine Vielzahl von Optimierungsverfahren, insbesondere des bestärkenden Lernens zur Verfügung.
Das weitere neuronale Netz NNS wird durch das Training zum Simulieren des technischen Systems TS anhand von Steuersigna len und anderen leicht erfassbaren Größen konfiguriert. Das weitere neuronale Netz NNS erwirbt hierdurch gewissermaßen die Fähigkeit des hybriden Simulators HSIM zur steuersignal basierten Simulation des technischen Systems TS.
Nach dem Training kann der hybride Simulator HSIM durch das trainierte weitere neuronale Netz NNS zumindest teilweise er setzt werden. Dies ist insofern vorteilhaft, als eine Auswer tung eines trainierten neuronalen Netzes, hier NNS in vielen Fällen erheblich schneller als eine physikbasierte Simulation erfolgen kann. Somit kann in dem in Figur 2 dargestellten Wirkungszusammenhang das trainierte weitere neuronale Netz NNS anstelle des hybriden Simulators HSIM zum Steuern des technischen Systems TS verwendet werden. Aufgrund des gegen über dem hybriden Simulator HSIM in der Regel erheblich ge ringeren Rechenaufwands können Echtzeiterfordernisse, z. B. im Rahmen einer modellprädiktiven Steuerung in der Regel bes ser erfüllt werden.