DE102019125961A1

DE102019125961A1 - System und Verfahren zur Kalibrierung der Abgastemperatur bei einer Verbrennungsmaschine

Info

Publication number: DE102019125961A1
Application number: DE102019125961.4A
Authority: DE
Inventors: Matteo Skull
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2021-04-01

Abstract

Die Erfindung bezieht sich auf ein Verfahren zum Kalibrieren einer Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors, umfassend:- Bestimmen (S10) eines Zustandes (si) der Verbrennungsmaschine durch ein Zustandsmodul (300), wobei ein Zustand (si) durch Daten und Messwerte von zumindest einem Parameter (pi) der Verbrennungsmaschine definiert wird und der Wert der Abgastemperatur zumindest teilweise von diesem Parameter (pi) abhängt;- Auswählen (S20) einer Berechnungsfunktion (fi) und/oder einer Aktion (ai) für den Parameter (pi) von einem Lernverstärkungs-Agenten (200);- Berechnen (S30) eines modellierten Temperaturwertes (TM) für die Abgastemperatur mittels der ausgewählten Berechnungsfunktion (fi) und/oder der Aktion (ai) von dem Lernverstärkungs-Agenten (200);- Bereitstellen (S40) eines realen Temperaturwertes (TR) für die Abgastemperatur von einem Umgebungsmodul (400) aufgrund von Messergebnissen;- Vergleichen (S50) des modellierten Temperaturwertes (TM) für die Abgastemperatur mit dem realen Temperaturwert (TR);- Weitergeben (S60) des Vergleichsergebnisses an ein Belohnungsmodul (500) und Ermitteln einer Belohnung für das Vergleichsergebnis;- Weitergeben (S70) der Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) und basierend auf dieser Belohnung erneutes Auswählen von einer weiteren Aktion (aj) von dem Lernverstärkungs-Agenten (200).

Description

Die Erfindung betrifft ein System und Verfahren zur Kalibrierung der Abgastemperatur bei einer Verbrennungsmaschine, insbesondere bei einem Verbrennungsmotor.
Als Abgastemperatur wird die Temperatur der Abgase, die beispielsweise in Verbrennungsmotoren und Heizkesseln entstehen, bezeichnet. Bei Benzinmotoren entstehen an Abgasen überwiegend unverbrannte Kohlenwasserstoffe (HC), Kohlenmonoxid (CO) und Stickoxide (NOx). Bei Dieselmotoren erweitert sich die Liste um Rußpartikel und Schwefeldioxid.
In Kombination mit der Abgasmenge pro Zeiteinheit kann durch die Messung der Abgastemperatur herausgefunden werden, wie effizient eine Maschine arbeitet. Die Abgastemperatur ist abhängig vom Verbrennungsverfahren des Antriebsmotors, sowie der Last und der Drehzahl des Motors, Kraftstoffmenge, Einspritzzeitpunkt. Die Abgastemperatur bei einem Dieselmotor liegt im Leerlauf üblicherweise bei ungefähr 250°C und bei ungefähr 500°C unter Volllast, wobei bei aufgeladenen Dieselmotoren mit Direkteinspritzung auch eine maximale Abgastemperatur von 800°C erreicht werden kann. Bei Ottomotoren liegt die Abgastemperatur bei ungefähr 800°C im Leerlauf und bei ungefähr 900°C unter Volllast, wobei die maximalen Abgastemperaturen auch Bereiche von über 1050°C erreichen können.
Die Temperatur spielt eine wichtige Rolle bei der Abgasentgiftung. Von ihr hängt entscheidend das Anspringverhalten des Katalysators bzw. das Anspringen der Lambda-Sonde ab. Sinkt die Temperatur unter 250 - 300°C, sinkt auch der Konvertierungsgrad des Katalysators. Die Aufgabe des Katalysators ist es, all die Schadstoffe, die bei einer Verbrennung entstehen, in Wasser und CO₂ umzuwandeln. Die Abgastemperatur ist indirekt auch ein Maß für die Güte der Verbrennung. So wird bei einem hohen Verdichtungsverhältnis beim Ottomotor eine niedrigere Temperatur aufgrund eines hohen thermischen Wirkungsgrades erzeugt.
Das Größensymbol Lambda (λ) steht in der Abgastechnik für das Verhältnis Luft zu Brennstoff im Vergleich zu einem verbrennungsstöchiometrischen Gemisch. Beim stöchiometrischen Kraftstoffverhältnis ist genau die Luftmenge bzw. die Sauerstoffkonzentration vorhanden, die theoretisch benötigt wird, um den Kraftstoff vollständig zu verbrennen. Dies wird als λ=1 bezeichnet. Bei Benzin beträgt dieses Massenverhältnis 14,5:1, das heißt, man braucht 14,5 kg Luft, um 1 kg Treibstoff vollständig zu verbrennen. Bei Ethanol ist das Verhältnis 9:1 und bei Dieselkraftstoff und Heizöl 14,7:1. Ist mehr Kraftstoff vorhanden, spricht man von einem fettem Gemisch (λ<1), bei Luftüberschuss von einem magerem Gemisch (λ>1).
Die Sauerstoffkonzentration in einem Gasgemisch wird mittels einer sauerstoffempfindlichen Gassonde, einer Lambdasonde, bestimmt. Dabei stellt die Lambdasonde ein von dem Sauerstoffgehalt des Gasgemisches abhängiges Ist-Sondensignal bereit, bei dem es sich beispielsweise bei Sprung-Lambdasonden um eine Sondenspannung oder bei Linear-Lambdasonden um eine Stromstärke handeln kann. Dieses Sondensignal wird mittels einer gespeicherten Kennlinie oder einer entsprechenden Rechenvorschrift in den Lambda-Wert umgerechnet.
Die Einhaltung eines bestimmten Lambdawertes hat großen Einfluss auf die Qualität der Verbrennung und die Möglichkeit einer vollständigen katalytischen Abgasreinigung. Der Kraftstoffverbrauch erreicht in der Regel sein Minimum bei einem Wert von λ=1,1. Für ein maximales Motormoment, wenn auch mit erhöhtem Kraftstoffverbrauch (wegen Luftmangel unvollständige Verbrennung), ist ein Wert von ca. λ=0,85 optimal. Bei hoher Motorleistung wird durch einen fetten Motorbetrieb und dadurch ein kälteres Abgas einer Überhitzung und Zerstörung von Abgaskomponenten wie zum Beispiel Krümmer, Turbolader, Katalysator vorgebeugt. Moderne Motoren erreichen durch konstruktive Maßnahmen (etwa wassergekühlter Krümmer, Direkteinspritzung oder eine gekühlte Abgasrückführung) eine geringere Abgastemperatur, so dass eine Anfettung des Gemisches aus Bauteilschutzgründen nicht, oder nur noch in einem kleinen Bereich notwendig ist.
Die Modellierung einer maximal zulässigen Abgastemperatur insbesondere bei Vollgas ist daher für den Komponentenschutz wie für Katalysatoren, Ottopartikelfilter (OPF) und Auslassventile bedeutsam. Aber auch die Modellierung einer Mindest-Abgastemperatur ist wichtig, da eine Lambdaregelung nur dann starten kann, wenn der Lambda-Sensor auf die erforderliche Betriebstemperatur aufgeheizt worden ist.
Es sind vor allem zwei Ansätze zur Bestimmung und Vorhersage der Abgastemperatur eines Verbrennungsmotors bekannt. Der erste Ansatz basiert auf einem physikalischen Modell. Hierbei wird die Abgastemperatur für einen bestimmten Zustand des Motors, der sich durch Parameter wie der Gasladung und der Umdrehungszahl beschreiben lässt, durch die Multiplikation einer Abgastemperatur T_L für einen bestimmten Lambdafaktor mit einer Abgastemperatur Tz für eine bestimmte Zündungseffizienz berechnet. Die entsprechenden Werte in Abhängigkeit von dem Zustand des Motors sind in Tabellen und Diagrammen hinterlegt, vorzugsweise in einer elektronischen Steuereinheit des Fahrzeugs.
Ein anderer Ansatz verwendet Regressionsanalysen zur Modellierung und Vorhersage der Abgastemperatur. Regressionsverfahren sind statistische Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Die Regressionsmodelle erhalten als Eingabe beispielsweise die Gasladung, die Umdrehungszahl oder die Ansaugtemperatur und berechnen mittels mathematischer Verfahren wie beispielsweise die Methode der kleinsten Quadrate oder neuronaler Netze einen geschätzten Wert für die Abgastemperatur.
Allerdings beruhen diese Tabellen und Diagramme oder die verwendeten mathematischen Verfahren auf Expertenwissen und werden nach ihrer Implementierung nicht mehr verändert. Des Weiteren werden sie für einen individuellen Motor nicht angepasst, sondern sie sind für eine bestimmte Modellbaureihe festgelegt.
Die DE 102018107831 A1 beschreibt ein Verfahren zum Ermitteln eines Zustands eines Kraftfahrzeugs. Das Verfahren umfasst das Erfassen von Umgebungsinformationen wie beispielsweise die Temperatur und die Strömung der Umgebungsluft mittels eines Einlassluftsensors und die Bestandteile des Abgases mittels eines Abgas-Sensors. Diese Daten werden klassifiziert mittels Verfahren der künstlichen Intelligenz, um Änderungen der Umgebung zu identifizieren. So kann anhand der Veränderung der Strömung der Umgebungsluft und der Abgaszusammensetzung ermittelt werden, ob das Fahrzeug einen Berg hinauffährt.
Die DE 102018107746 A1 beschreibt ein Verfahren zum Erfassen und Abschwächen von Ausgabesignaldaten, die sich auf Betriebsparameter eines Fahrzeugsystems beziehen. Es werden Mustern der Ausgabesignaldaten im Vergleich zu Signaldaten von einem Nennbetriebssensor oder - aktuator unter Verwendung eines Programms künstlicher Intelligenz analysiert und identifiziert, wann ein statistischer Bereich der Muster einen ersten Schwellenwert überschreitet. Ein Steuersignal wird modifiziert, um die Betriebsparameter des Fahrzeugsystems zu ändern.
Die DE 102017120838 A1 bezieht sich auf ein System und Verfahren zur automatischen Kalibrierung eines Motors, der mit einem ersten Kraftstoff und einem zweiten Kraftstoff arbeitet. Die Turboladerdrehzahl und der Abgastemperatur wird mit einem Grenzwert verglichen und beim Überschreiten eines Grenzwertes wird der Einspritzzeitpunkt automatisch und schrittweise verändert.
Die DE 102013216024 A1 betrifft ein Verfahren zur Lambda-Regelung eines Verbrennungsmotors durch Messen oder Bestimmen einer Temperatur eines Abgasstroms oder eines abgasführenden Bauteils einer Abgasanlage an einer vorbestimmten Position mittels eines Sensors, Messen eines Abgas-Lambdas mittels einer in der Abgasanlage angeordneten Lambdasonde und Übermitteln eines gemessenen Lambda-Wertes an ein Abgastemperaturmodell des Motors, erneutes Bestimmen der Temperatur mittels des Abgastemperaturmodells in Abhängigkeit des gemessenen Lambda-Wertes, Überprüfen des Überschreitens einer maximal zulässigen Kalibrierabweichung zwischen der mittels des Sensors gemessenen oder bestimmten Temperatur und der mittels des Abgastemperaturmodells bestimmten Temperatur, und Kalibrieren des Modells, wenn die maximal zulässige Abweichung überschritten ist.
Die DE 102010028266 A1 beschreibt ein Steuergerät in einem Fahrzeug, das während des Fahrbetriebs auf Basis während des Betriebs ermittelten Eingangsgrößen wie der Abgastemperatur, dem Füllungsstand, Rohemissionswerten etc. Ausgangsgrößen für die Steuerung der Funktionen des Fahrzeugs ermittelt, wobei eine Bayessche Regression von vor dem Betrieb für die Ausgangsgrößen und die Eingangsgrößen ermittelten Trainingswerten durchgeführt wird.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, ein Verfahren und ein System zum automatischen Kalibrieren der Abgastemperatur bei einer Verbrennungsmaschine, insbesondere bei einem Verbrennungsmotor zu schaffen, das sich durch eine hohe Zuverlässigkeit und Genauigkeit auszeichnet und sich einfach implementieren lässt.
Gemäß der vorliegenden Erfindung wird ein Verfahren vorgeschlagen, durch das eine automatische Kalibrierung der Abgastemperatur ermöglicht wird, um hierdurch die Grundlage für eine zuverlässige und genaue Steuerung durch eine Steuer- und Regelvorrichtung zu schaffen.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, und hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 8 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Kalibrieren einer Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors. Das Verfahren umfasst das Bestimmen eines Zustandes s_i der Verbrennungsmaschine durch ein Zustandsmodul, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i der Verbrennungsmaschine definiert wird und der Wert der Abgastemperatur zumindest teilweise von diesem Parameter p_i abhängt. Eine Berechnungsfunktion f_i und/oder einer Aktion a_i für den Parameter p_i wird von einem Lernverstärkungs-Agenten ausgewählt und ein modellierter Temperaturwert T_M für die Abgastemperatur mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i berechnet. Von einem Umgebungsmodul wird ein realer Temperaturwert T_R für die Abgastemperatur aufgrund von Messergebnissen bereitgestellt. Der modellierte Temperaturwertes T_M für die Abgastemperatur wird mit dem realen Temperaturwert T_R verglichen. Das Vergleichsergebnis wird an ein Belohnungsmodul weitergegeben und eine Belohnung für das Vergleichsergebnis ermittelt. Die Belohnung für das Vergleichsergebnis wird an den Lernverstärkungs-Agenten weitergegeben und basierend auf dieser Belohnung wird erneut eine weitere Aktion a_j von dem Lernverstärkungs-Agenten ausgewählt.
Vorteilhafterweise sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter p_i vorgesehen.
In einer vorteilhaften Weiterentwicklung sind eine positive Aktion A+ die den Wert für einen Parameter p_i erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters p_i gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters p_i verringert, vorgesehen.
In einer weiteren Ausführungsform umfasst das Belohnungsmodul eine Datenbank oder Matrix für die Bewertung der Aktionen a_i .
Vorteilhafterweise ist der Lernverstärkungsagent ausgebildet, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
In einer weiteren Ausgestaltung ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation ausgebildet.
Vorteilhaftweise stellt zumindest ein Parameter p_i eine Motorumdrehungszahl, die Zusammensetzung eines Gasgemisches, und/oder den Lambda-Wert einer Lambdasonde dar.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zum Kalibrieren einer Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors, bereit. Das System umfasst ein Zustandsmodul, das ausgebildet ist, einen Zustand s_i der Verbrennungsmaschine zu bestimmen, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i der Verbrennungsmaschine definiert wird und der Wert der Abgastemperatur zumindest teilweise von diesem Parameter p_i abhängt. Zudem weist das System einen Lernverstärkungs-Agenten auf, der ausgebildet ist, eine Berechnungsfunktion f_i und/oder einer Aktion a_i für den Parameter p_i auszuwählen und einen modellierten Temperaturwert T_M für die Abgastemperatur mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i zu berechnen. Des Weiteren ist ein Umgebungsmodul vorgesehen, das ausgebildet ist, einen realen Temperaturwert T_R für die Abgastemperatur aufgrund von Messergebnissen bereitzustellen. Das Zustandsmodul ist ausgebildet, den modellierten Temperaturwert T_M für die Abgastemperatur mit dem realen Temperaturwert T_R zu vergleichen. Des Weiteren umfasst das System ein Belohnungsmodul, das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten weiterzugeben, wobei der Lernverstärkungs-Agenten ausgebildet ist, basierend auf dieser Belohnung erneut eine weitere Aktion a_j auszuwählen.
In einer vorteilhaften Weiterbildung sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter p_i vorgesehen.
Vorteilhafterweise sind eine positive Aktion A+, die den Wert für einen Parameter p_i erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters p_i gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters p_i verringert, vorgesehen.
In einer weiteren Ausgestaltung umfasst das Belohnungsmodul eine Datenbank oder Matrix für die Bewertung der Aktionen a_i .
In einer weiteren Ausführungsform ist der Lernverstärkungsagent ausgebildet, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
Vorteilhafterweise ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation ausgebildet.
In einer Weiterbildung stellt zumindest ein Parameter p_i eine Motorumdrehungszahl, die Zusammensetzung eines Gasgemisches, und/oder den Lambda-Wert einer Lambdasonde dar.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagram zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
3 zeigt schematisch ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
1 zeigt ein erfindungsgemäßes System 100 zur Kalibrierung der Abgastemperatur bei einer Verbrennungsmaschine. Vorzugsweise handelt es sich bei der Verbrennungsmaschine um den Verbrennungsmotor bei einem Kraftfahrzeug. Im Rahmen der Erfindung ist es jedoch auch möglich, das erfindungsgemäße System und Verfahren für andere Anlagen oder Maschinen wie Heizkessel oder Brennöfen einzusetzen, in denen ein Verbrennungsprozess abläuft, der Verbrennungsgase mit einer Abgastemperatur erzeugt.
Das erfindungsgemäße System beruht auf einem Lernverstärkungs-Agenten (LV) (Reinforcement Learning Agent) 200, der für einen bestimmten Zustand s_i ∈ S aus einer Menge verfügbarer Zustände zumindest eine Aktion a_i ∈ A aus einer Menge verfügbarer Aktionen auswählt. Für die ausgewählte Aktion a_i erhält der Agent 200 eine Belohnung r_i ∈ ℝ. Die Zustände s_i ∈ S erhält der Agent 200 von einem Zustandsmodul 300, auf das der LV-Agent 200 zugreifen kann und das vorzugsweise einen Datenspeicher 320 mit Daten von verschiedenen Sensoren und Datenquellen sowie Berechnungsergebnisse enthält. Das Zustandsmodul 300 bearbeitet die Daten von verschiedenen Parametern p_i aus einem Datenspeicher 320 oder einer anderen Datenquelle und ordnet diesen verarbeiteten Daten Zustände s_i ∈ S zu.
Ein Zustand s_i ∈ S ist somit durch die Auswahl von bestimmten Parameterwerten von Parametern wie der Umdrehungszahl des Motors, der Einlasstemperatur des Gasgemisches, der Zusammensetzung des Gasgemisches etc. definiert. Ein Zustand s_i ist somit durch gemessene und/oder berechnete Werte von ausgewählten Parametern p_i gekennzeichnet und stellt somit eine konkrete Betriebssituation des Motors oder der Maschine dar. Die Daten bzw. Messwerte sind von einem Umgebungsmodul 400 ermittelt worden sind und wurden vorzugsweise in dem Datenspeicher 320 gespeichert. Das Umgebungsmodul 400 enthält zumindest einen Sensor 420, kann aber weitere Sensoren 440 enthalten oder mit diesen verbunden sein. In einem Belohnungsmodul 500 wird der ausgewählten Aktion a_i eine Belohnung r_i ∈ ℝ zugeordnet, die an den LV-Agenten 200 übermittelt wird.
Bei den Sensoren 440 kann es sich beispielsweise um Drucksensoren, Piezosensoren, Drehzahlsensoren, elektrische Sensoren, Temperatursensoren, Hallsensoren und/oder bildaufnehmende Sensoren wie Kameras sowie um eine Lambda-Sonde handeln. Die Sensoren 420, 440 ermitteln Messwerte wie die Abgastemperatur oder einen Lambdawert, die an das Zustandsmodul 300 oder einen weiteren Prozessor weitergegeben werden. Das Zustandsmodul 300 weist vorteilhafterweise ebenfalls einen Prozessor auf, der die die Daten mittels einer Softwareapplikation mit einem Algorithmus bearbeitet. Es ist aber auch denkbar, dass die Daten zunächst in einer weiteren Speichereinheit oder einem Softwaremodul gespeichert werden und erst zu einem späteren Zeitpunkt in den Datenspeicher 320 übertragen und/oder von dem Zustandsmodul 300 und/oder einem Prozessor verarbeitet werden.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert.
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor und/oder die Steuereinheit Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.
Unter „Messwerten“ sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren zu verstehen.
Der Lernverstärkungs-Agent 200 enthält Berechnungsverfahren und Algorithmen f_i für mathematische Regressionsverfahren oder physikalische Modellberechnungen, die eine Korrelation zwischen ausgewählten Parametern p_i ∈ P aus einer Menge von Parametern und einer Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors, beschreiben. Bei den mathematischen Funktionen f_t kann es sich um Mittelwerte, Minimal- und Maximalwerte, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Verfahren der linearen Regression, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Temporal Difference Learning, aber auch erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netze, künstliche neuronale Netze und/oder rückgekoppelte neuronale Netze handeln. Der LV-Agent 200 wählt für einen Zustand s_i eine oder mehrere dieser Berechnungsfunktionen f_i aus. Er berechnet für diesen bestimmten Zustand s_i und mittels der ausgewählten Berechnungsfunktionen f_i eine modellierte Abgastemperatur T_M, wobei der gemessene oder berechnete Wert für zumindest einen Parameter p_i einen Eingabewert für die Berechnungsfunktionen f_i darstellt.
In dem Lernverstärkungs-Agenten (Reinforcement Learning Agent) 200 sind zudem als Aktionen a_i die Aktionen A+, A0 und A- definiert, die aufgrund der verwendeten Berechnungsverfahren f_i ausgewählt werden, um eine Anpassung eines gemessenen oder berechneten Parameterwertes eines Parameters p_i ∈ P aus der Menge der Parameter in einer Wertetabelle und dergleichen vorzunehmen. Bei den Parametern p_i ∈ P handelt es sich beispielsweise um den Lambdawert, die Umdrehungszahl des Motors, Kraftstoffmenge, Einspritzzeitpunkt, die Einlasstemperatur des Gasgemisches, die Gasdichte und/oder die Zusammensetzung des Gasgemisches. Bei einer positiven Aktion A+ handelt es sich um eine Aktion, die den Wert für einen Parameter p_t erhöht, bei einer neutralen Aktion A0 handelt es sich um ein Aktion, bei der der Wert des Parameters p_t gleichbleibt, und bei einer negativen Aktion A- wird der Wert des Parameters p_t verringert. Der LV-Agent 200 wählt für den durch diese gemessenen und berechneten Daten definierten Zustand s_i insbesondere eine der Aktionen A+, A0 oder A- aus zur Anpassung des Parameterwertes eines Parameters p_i in einer Wertetabelle oder dergleichen. Für die ausgewählte Aktion a_i berechnet nun der LV-Agent 200 nun die Modelltemperatur T_M, die von der ausgewählten Aktion a_i für den Parameter p_i abhängt.
Diese berechnete Modelltemperatur T_M für eine bestimmte Aktion a_i wird nun an das Zustandsmodul 300 weitergegeben. Das Umgebungsmodul 400 bestimmt aufgrund einer direkten Messung oder einer Berechnung eine reale Temperaturwert T_R der Abgastemperatur. Für die Berechnung des realen Temperaturwertes T_R der Abgastemperatur kann vorteilhafterweise ein neuronales Netz verwendet werden. Es können aber auch andere Berechnungsverfahren wie Regressionsverfahren eingesetzt werden. Die reale Abgastemperatur wird vorzugsweise von einem Sensor 420 gemessen.
Wie bereits ausgeführt, wird in dem Zustandsmodul 300 ein aktueller oder zukünftiger Zustand s_i durch verschiedene Datenwerte von Parametern p_i definiert, beispielsweise ein bestimmter Lambdawert, die aktuelle Umdrehungszahl des Motors, die aktuelle Einlasstemperatur des Gasgemisches, die aktuelle Gasdichte und/oder die Zusammensetzung des Gasgemisches. Insbesondere berechnet das Zustandsmodul 300 die aktuelle Abweichung Δ zwischen dem gemessenen (realen) Wert der Abgastemperatur T_R und dem berechneten Modellwert T_M für eine ausgewählte Aktion a_i durch den LV-Agenten 200.
In dem Zustandsmodul 300 wird nun der berechnete Modellwert T_M der Abgastemperatur mit dem tatsächlich gemessenen Wert T_R der Abgastemperatur verglichen. Der berechnete Wert T_M der Abgastemperatur beruht dabei auf den geänderten Werten für die ausgewählten Parameter p_i durch den LV-Agenten 200. In dem Belohnungsmodul 500 wird der Grad der Abweichung Δ zwischen dem berechneten Modellwert T_M und dem gemessenen Wert T_R der Abgastemperatur verglichen und dem Grad der Abweichung Δ eine Belohnung B_i zugeordnet. Da der Grad der Abweichung Δ von der Auswahl der jeweiligen Aktion (A+), (A0), (A-) abhängig ist, wird vorzugsweise in einer Matrix oder einer sonstigen Datenbank 520 der jeweiligen ausgewählten Aktion (A+), (A0), (A-) die Belohnung B_i zugeordnet. Die Belohnung B_i weist vorzugsweise die Werte +1 und -1 auf, wobei eine geringe Abweichung Δ zwischen dem berechneten Wert T_M und dem gemessenen Wert T_R mit +1 belohnt wird und somit verstärkt wird, während eine erhebliche Abweichung Δ mit -1 belohnt wird und somit negativ bewertet wird. Es ist aber auch denkbar, dass Werte > 1 und Werte < 1 Verwendung finden.
Nun beginnt ein zweiter Zyklus zur Kalibrierung der Abgastemperatur. Hierbei kann eine andere Aktion a_i und/oder eine andere Berechnungsfunktion f_i und/oder ein anderer Parameter p_i ausgewählt werden. Das Ergebnis wird wiederum dem Zustandsmodul 300 zugeführt und das Ergebnis des Vergleichs in dem Belohnungsmodul 500 bewertet. Der LV-Agent 200 wiederholt die Kalibrierung der Abgastemperatur für alle vorgesehenen Aktionen a_i und Parameter p_i solange, bis sich eine größtmögliche Übereinstimmung zwischen dem kalibrierten Modellwert T_M der Abgastemperatur und dem gemessenen Temperaturwert T_R erreicht ist.
Vorzugsweise ist der Endzustand der Kalibrierung der Abgastemperatur erreicht, wenn die Abweichung im Bereich von +/- 5% liegen.
Vorzugsweise wird als Algorithmus für den LV-Agenten 200 ein Markow-Entscheidungsprozess verwendet. Es kann aber auch vorgesehen sind, einen Temporal Difference Learning (TD-Learning)-Algorithmus zu verwenden. Ein LV-Agent 200 mit einem TD-Learning-Algorithmus nimmt die Anpassung der Aktionen A+, A0, A- nicht erst dann vor, wenn er die Belohnung erhält, sondern nach jeder Aktion a_i auf Basis einer geschätzten erwarteten Belohnung. Des Weiteren sind auch Algorithmen wie Q-Learning und SARSA denkbar oder auch Monte-Carlo-Simulationen.
Gemäß dem Verfahren und des Systems der vorliegenden Erfindung wird ein verstärkendes Lernen (Reinforcement Learning) eingesetzt, um die Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors, automatisch zu kalibrieren. Da verschiedene Parameter p_i wie die Umdrehungszahl oder der Sauerstoffgehalt der Gasmischung in das Berechnungsverfahren eingehen und hierfür Aktionen a_i ausgewählt werden, können insbesondere nichtlineare Zusammenhänge zwischen diese Parametern p_i erfasst und berücksichtigt werden, was in herkömmlichen Steuerungsverfahren kaum möglich ist. Es handelt sich somit um eine optimierte Kalibrierungsmethode, da eine Variation von verschiedenen Parametern p_i, die einen Einfluss auf die Abgastemperatur haben und miteinander wechselwirken, berücksichtigt wird. Da der LV-Agent 200 die Aktionen a_i selbst auswählt und für diese jeweils eine Belohnung erhält, kann er eine optimale Kalibrierungsstrategie für die Abgastemperatur bereitstellen.
Da die Kalibrierung der Abgastemperatur automatisch und zeitgleich während des Betriebs des Verbrennungsmotors erfolgt, kann die Leistungsfähigkeit des Verbrennungsmotors erhöht werden, da eine individuelle Anpassung der Abgastemperatur an den jeweiligen Motor erfolgen kann. Dies kann zu einer Reduzierung des Schadstoffausstoßes und damit zu einer verbesserten Umweltbilanz führen. Zudem kann der Kraftstoffverbrauch des Verbrennungsmotors gesenkt werden. Darüber hinaus können Kosten für eine bisherige manuelle und damit zeitintensive Kalibrierung gesenkt werden.
In 2 sind die Verfahrensschritte zum Kalibrieren der Abgastemperatur einer Verbrennungsmaschine dargestellt.
In einem Schritt S10 erhält ein Lernverstärkungs-Agenten 200 einen Zustand s_i einer Verbrennungsmaschine von einem Zustandsmodul 300, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i der Verbrennungsmaschine definiert ist und der Wert der Abgastemperatur zumindest teilweise von diesem Parameter p_i abhängt.
In einem Schritt S20 wählt der LV-Agent 200 für den Zustand s_i zumindest eine Berechnungsfunktion f_i und/oder eine Aktion a_i für den Parameter p_i aus.
In einem Schritt S30 berechnet der LV-Agent einen modellierten Temperaturwert T_M für die Abgastemperatur mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i .
In einem Schritt S40 wird ein realer Temperaturwert T_R für die Abgastemperatur von einem Umgebungsmodul 400 aufgrund von Messergebnissen bereitgestellt.
In einem Schritt S50 werden der modellierte Temperaturwert T_M für die Abgastemperatur und der reale Temperaturwert T_R für die Abgastemperatur miteinander verglichen.
In einem Schritt S60 wird das Vergleichsergebnis an das Belohnungsmodul 500 weitergegeben und eine Belohnung für das Vergleichsergebnis wird in dem Belohnungsmodul 500 ermittelt.
In einem Schritt S70 wird die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten 200 weitergegeben und eine weitere Aktion a_j wird von dem Lernverstärkungsagenten 200 basierend auf der Belohnung für das Vergleichsergebnis für den Zustand s_i ausgewählt.
3 stellt schematisch ein Computerprogrammprodukt 700 dar, das einen ausführbaren Programmcode 750 umfasst, der konfiguriert ist, um das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen, wenn es ausgeführt wird.
Mit dem Verfahren gemäß der vorliegenden Erfindung können zuverlässig optimierte Zustände s_i durch die Auswahl von passenden Aktionen a_i gefunden werden, um beispielsweise eine Steuer- und Regelvorrichtung für die Einstellung der Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors, zuverlässig und automatisch zu kalibrieren. Durch die Verwendung eines Lernverstärkungs-Agenten 200 mit einem Algorithmus des verstärkenden Lernens ist eine autonome Anpassung und Kalibrierung der Abgastemperatur für ein individuelles Kraftfahrzeug autonom und automatisch ermöglicht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102018107831 A1 [0012]
DE 102018107746 A1 [0013]
DE 102017120838 A1 [0014]
DE 102013216024 A1 [0015]
DE 102010028266 A1 [0016]

Claims

Ein Verfahren zum Kalibrieren einer Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors, umfassend: - Bestimmen (S10) eines Zustandes (s_i) der Verbrennungsmaschine durch ein Zustandsmodul (300), wobei ein Zustand (s_i) durch Daten und Messwerte von zumindest einem Parameter (p_i) der Verbrennungsmaschine definiert wird und der Wert der Abgastemperatur zumindest teilweise von diesem Parameter (p_i) abhängt; - Auswählen (S20) einer Berechnungsfunktion (f_i) und/oder einer Aktion (a_i) für den Parameter (p_i) von einem Lernverstärkungs-Agenten (200); - Berechnen (S30) eines modellierten Temperaturwertes (T_M) für die Abgastemperatur mittels der ausgewählten Berechnungsfunktion (f_i) und/oder der Aktion (a_i) von dem Lernverstärkungs-Agenten (200); - Bereitstellen (S40) eines realen Temperaturwertes (T_R) für die Abgastemperatur von einem Umgebungsmodul (400) aufgrund von Messergebnissen; - Vergleichen (S50) des modellierten Temperaturwertes (T_M) für die Abgastemperatur mit dem realen Temperaturwert (T_R); - Weitergeben (S60) des Vergleichsergebnisses an ein Belohnungsmodul (500) und Ermitteln einer Belohnung für das Vergleichsergebnis; - Weitergeben (S70) der Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) und basierend auf dieser Belohnung erneutes Auswählen von einer weiteren Aktion (a_j) von dem Lernverstärkungs-Agenten (200).
Verfahren nach Anspruch 1, wobei Sensoren (420, 440) und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter (p_i) vorgesehen sind.
Verfahren nach Anspruch 1 oder 2, wobei eine positive Aktion (A+), die den Wert für einen Parameter (p_i) erhöht, vorgesehen ist, wobei eine neutrale Aktion (A0), bei der der Wert des Parameters(p_i) gleichbleibt, vorgesehen ist, und wobei eine negative Aktion (A-), bei der sich der Wert des Parameters (p_i)verringert, vorgesehen ist.
Verfahren nach einem der vorangehenden Ansprüche 1 bis 3, wobei das Belohnungsmodul (500) eine Datenbank (520) oder Matrix für die Bewertung der Aktionen (a_i) umfasst.
Verfahren nach einem oder mehreren der vorangehenden Ansprüche 1 bis 4, wobei der Lernverstärkungs-Agent (200) ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
Verfahren nach Anspruch 5, wobei der Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als DYNAQ oder als Monte-Carlo-Simulation ausgebildet ist.
Verfahren nach einem oder mehreren der Ansprüche 1 bis 6, wobei zumindest ein Parameter (p_i) eine Motorumdrehungszahl, die Zusammensetzung eines Gasgemisches, und/oder den Lambda-Wert einer Lambdasonde darstellt.
Ein System (100) zum Kalibrieren einer Abgastemperatur einer Verbrennungsmaschine, insbesondere eines Verbrennungsmotors, mit einem Zustandsmodul (300), das ausgebildet ist, einen Zustand (s_i) der Verbrennungsmaschine zu bestimmen, wobei ein Zustand (s_i) durch Daten und Messwerte von zumindest einem Parameter (p_i) der Verbrennungsmaschine definiert ist und der Wert der Abgastemperatur zumindest teilweise von diesem Parameter (p_i) abhängt, und mit einem Lernverstärkungs-Agenten (200), der ausgebildet ist, eine Berechnungsfunktion (f_i) und/oder einer Aktion (a_i) für den Parameter (p_i) auszuwählen und einen modellierten Temperaturwert (T_M) für die Abgastemperatur mittels der ausgewählten Berechnungsfunktion (f_i) und/oder der Aktion (a_i) zu berechnen; und mit einem Umgebungsmodul (400), das ausgebildet ist, einen realen Temperaturwert (T_R) für die Abgastemperatur aufgrund von Messergebnissen bereitzustellen, wobei das Zustandsmodul (300) ausgebildet ist, den modellierten Temperaturwert (T_M) für die Abgastemperatur mit dem realen Temperaturwert (T_R) zu vergleichen, und mit einem Belohnungsmodul (500), das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) weitergibt, wobei der Lernverstärkungs-Agenten (200) ausgebildet ist, basierend auf dieser Belohnung erneut eine weitere Aktion (a_j) auszuwählen.
System (100) nach Anspruch 8, wobei Sensoren (420, 440) und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter (p_i) vorgesehen sind.
System (100) nach Anspruch 8 oder 9, wobei eine positive Aktion (A+), die den Wert für einen Parameter (p_i) erhöht, vorgesehen ist, wobei eine neutrale Aktion (A0), bei der der Wert des Parameters(p_i) gleichbleibt, vorgesehen ist, und wobei eine negative Aktion (A-), bei der sich der Wert des Parameters (p_i)verringert, vorgesehen ist.
System (100) nach einem der vorangehenden Ansprüche 8 bis 10, wobei das Belohnungsmodul (500) eine Datenbank (520) oder Matrix für die Bewertung der Aktionen (a_i) umfasst.
System (100) nach einem oder mehreren der vorangehenden Ansprüche 8 bis 11, wobei der Lernverstärkungs-Agent (200) ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
System (100) nach Anspruch 12, wobei der Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als DYNAQ oder als Monte-Carlo-Simulation ausgebildet ist.
System (100) nach einem oder mehreren der Ansprüche 8 bis 13, wobei zumindest ein Parameter (p_i) eine Motorumdrehungszahl, die Zusammensetzung eines Gasgemisches, und/oder den Lambda-Wert einer Lambdasonde darstellt.
Computerprogrammprodukt (700), umfassend einen ausführbaren Programmcode (750), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 7 ausführt.