DE102020212457A1

DE102020212457A1 - Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors, Motorsteuergerät und ein Fahrzeug

Info

Publication number: DE102020212457A1
Application number: DE102020212457.4A
Authority: DE
Inventors: Ilja Faktorovich; Jan Vogelsang
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2020-10-01
Filing date: 2020-10-01
Publication date: 2022-04-07

Abstract

Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors, umfassend:Ermitteln einer Führungsgröße, wobei die Führungsgröße ein Betriebsparameter des Verbrennungsmotors ist;Bestimmen einer Stellgröße basierend auf der Führungsgröße;Erfassen einer Regelgröße;Bestimmen einer Sollwertabweichung basierend auf einer Abweichung der Führungsgröße und der Regelgröße; undKorrigieren der Stellgröße basierend auf einer gelernten Aufschaltungsgröße, wobei die gelernte Aufschaltungsgröße basierend auf der Führungsgröße und der Sollwertabweichung gelernt ist und das Lernen der Aufschaltungsgröße ein modellfreies bestärkendes Lernen umfasst.

Description

Die Erfindung betrifft ein Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors, ein Motorsteuergerät zur Durchführung des Verfahrens und ein Fahrzeug welches das Motorsteuergerät umfasst.
Verbrennungsmotoren wandeln chemische Energie in mechanische Energie um. Zu diesem Zweck wird ein entzündbares Gemisch aus Kraftstoff und Luft in eine Brennkammer eingebracht und dort gezündet. Bei derzeitigen Verbrennungsmotoren dient ein Motorsteuergerät dazu, die Verbrennungsvorgänge im Motor so zu steuern und zu überwachen, dass das gewünschte Fahrverhalten erreicht und die gültige Abgasnorm eingehalten wird (z.B. Lambda-Regelung). Das Motorsteuergerät kann hierzu Steuersignale synchron zum innermotorischen Prozess berechnen und ausgeben. Dies gilt insbesondere für die Luftfüllung des Brennraums, die Kraftstoffeinspritzung und die Steuerung des Zündzeitpunkts bis zur Regeneration/Reinigung der Abgasanlage. Häufig ist das Motorsteuergerät kein offenes, sondern ein geschlossenes Regelsystem, da der von einem Sensor gemessene IST-Zustand mit einem berechneten SOLL-Zustand (Rückmeldung) verglichen wird und die Abweichung im geschlossenen Regelkreis dann durch ein Stellglied minimiert wird.
EP 1 507 079 A2 offenbart ein Abgassystem des Verbrennungsmotors, das einen Vorkatalysator und einen Hauptabgaskatalysator enthält. Ferner offenbart die EP 1 507 079 A2 ein Regelsystem welches als Gemischregelung fungieren kann und ein Blockschaltbild mit einem Eingang von einem Sensor stromabwärts des Vorkatalysators und einem Luftmassenstrom-Eingang umfasst. Das Blockschaltbild enthält einen Filter, einen Gradientenblock und einen Setzkontrollblock.
Offene und geschlossene Regelkreise in technischen Systemen unterliegen oftmals dem Einfluss von periodischen und randomisierten Störungseinflüssen, welche die Leistung in Bezug auf das Erreichen eines vorgegebenen Sollwertes beeinträchtigen können. Herkömmliche Regler garantieren in ihrer gängigen Form nur eine asymptotische Störgrößenkompensation bei sich langsam ändernden Störungen. Dieses Verhalten ist oftmals unzureichend, was den Einsatz von komplexeren Verfahren notwendig macht. In einer Vielzahl von Situationen tritt dabei der Fall auf, dass die Störung selbst, oder mit dem Störeinfluss stark korrelierende Größen gemessen werden. Einen stöchiometrischen Betrieb eines Verbrennungsmotors in der Dynamik zu gewährleisten kann aus regelungstechnischer Sicht als ein Störgrößenkompensationsproblem betrachtet werden.
Das Störgrößenkompensationsproblem ist in der Literatur schon seit längerer Zeit bekannt. Der prominenteste Algorithmus zur Lösung des Problems der adaptiven Störgrößenkompensation ist der sogenannte FXLMS-Algorithmus (Filtered-X-LMS), welcher vor allem im Bereich der Audiotechnik anzutreffen ist. Dieser Algorithmus arbeitet mittels einer Gradienten basierten Optimierung, daneben existieren auch rekursive Ausführungen und andere Derivate. Abseits von lernenden Vorsteuerungen existieren auch Regelungskonzepte, die unter Kenntnis eines System- und Störungsmodells eine dynamischere Störkompensation versprechen.
Der Hauptnachteil der adaptiven Störgrößenkompensation ist der Umstand, dass diese in aller Regel nicht gänzlich modellfrei ist. Selbst der aufgrund seiner Einfachheit populärste FXLMS-Algorithmus kommt nicht gänzlich ohne eine vorherige Systemidentifikation aus (Schätzen von sog. Primär- und Sekundärpfaden). Weiterhin ist bei einer Gradienten basierten Implementierung o.g. Algorithmen häufig ein relativ langsames Konvergenzverhalten zu beobachten. Zur Beschleunigung der Konvergenz werden oftmals rekursive Algorithmen verwendet.
Nichtlineare dynamische Modelle sind auch bekannt, welche parametrisch so angepasst werden, dass auch im dynamischen Betrieb eine quantitativ zuverlässige Aussage über die aktuellen Betriebsparameter getroffen werden kann. Außerdem existieren Regelungsansätze, welche auf Grundlage eines dynamischen Modells der Regelstrecke eine komplexere Reglerstruktur vorschlagen, um das dynamische Verhalten („Einschwingverhalten“) gegenüber einem Standardregler zu verbessern. Bei den nichtlinearen dynamischen Modellen besteht ein allgemeines Problem, dass keine dynamische Referenz direkt gemessen werden kann, um die Parameter solcher Modelle zu bestimmen. Daher erfolgt die Parametrierung solcher Modelle oft anhand einer Referenz, welche sich ihrerseits selbst aus Modellwerten und gemessenen Werten ergibt. Diese Referenz muss oftmals aufgrund der Totzeit zwischen der Regelstrecke und dem Messglied zeitlich synchronisiert werden. Aufgrund vieler Berechnungsschritte unter Einbeziehung nicht direkt gemessener Größen können solche Modelle aufgrund zusätzlicher Streuungen von Bauteilen und Sensorik schwer einsetzbar sein.

Eine weitere verbreitete Vorgehensweise besteht darin, durch ein prädiktives (statisches oder dynamisches) Modell im dynamischen Betrieb einzelne Zustandsgrößen oder die Gesamtgröße zu prädizieren. Eine Korrektur erfolgt im Rahmen dieser Konzepte auf Basis dieser prädizierten Größen. Diese Herangehensweisen zeichnen sich durch eine hohe Leistungsfähigkeit aus, die jedoch stark durch die Güte des Modells begrenzt sein kann. Außerdem fordern diese Ansätze einen hohen Berechnungsaufwand im Motorsteuergerät.

US2020/0063681A1 offenbart, dass ein Motorsystem ein Luftbehandlungs- und Kraftstoffsystem umfasst, dessen Zustände von einer Referenzmanagementeinheit verwaltet werden. Das Motorsystem hat eine Vielzahl von Sensoren, deren Sensorsignale zumindest teilweise einen aktuellen Zustand des Motorsystems definieren. Die Referenzmanagementeinheit enthält einen Regler, der das Luftbehandlungs- und Kraftstoffsystem des Motorsystems steuert, sowie eine mit den Sensoren und dem Regler gekoppelte Verarbeitungseinheit. Die Verarbeitungseinheit enthält einen Agenten, der eine Policy-Funktion lernt, die darauf trainiert ist, den aktuellen Zustand zu verarbeiten, der nach Erhalt des aktuellen Zustands als Eingabe unter Verwendung der Policy-Funktion Luftbehandlungs- und Kraftstoffsystem-Referenzen bestimmt und der die Luftbehandlungs- und Kraftstoffsystem-Referenzen an das Steuergerät ausgibt. Dann erhält der Agent einen nächsten Zustand und einen Belohnungswert von der Verarbeitungseinheit und aktualisiert die Richtlinienfunktion unter Verwendung eines Richtlinienbewertungsalgorithmus und eines Richtlinienverbesserungsalgorithmus auf der Grundlage des erhaltenen Belohnungswerts. Anschließend steuert das Steuergerät als Reaktion auf den Empfang der Luftaufbereitungsreferenzen und der Kraftstoffsystemreferenzen das Luftaufbereitungs- und Kraftstoffsystem des Motors.
Lernkonzepte einer Vorsteuerungsstruktur auf Basis einer einfachen Regelung sind effektiv allerdings durch die Güte des Regelalgorithmus inhärent begrenzt und als Lösung für das Problem der adaptiven Störgrößenkompensation nur bedingt geeignet. Ansätze des bestärkenden Lernens machen typischerweise Gebrauch von mindestens einem, in der Regel aber zwei neuronalen Netzen um sowohl das Stellgesetz, als auch eine Bewertungsfunktion des Stellgesetzes (sog. Value-Functions/Q-Functions) zu erlernen. Aufgrund der komplexen Struktur neuronaler Netze ist deren Training zum einen langwierig und kann zum anderen eine große Trainingsdatenmenge erfordern. Darüber hinaus werden die Stellgesetze dieser Algorithmen bisher ausschließlich als sogenannte Zustandsrückführungen realisiert. Diese können jedoch zu einem instabilen Systemverhalten führen.
Aufgabe der vorliegenden Erfindung ist es, ein vorteilhaftes Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors bereitzustellen, um den Störeinfluss additiv zum bestehenden Stellgesetz aufzuschalten und so den Einfluss der Störung zu kompensieren.
Diese Aufgabe wird durch das Verfahren nach Anspruch 1, das Motorsteuergerät nach Anspruch 9 und das Fahrzeug nach Anspruch 10 gelöst. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen und der folgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung.
Ein erster Aspekt der vorliegenden Erfindung betrifft ein Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors, umfassend:

Ermitteln einer Führungsgröße, wobei die Führungsgröße ein Betriebsparameter des Verbrennungsmotors ist;
Bestimmen einer Stellgröße basierend auf der Führungsgröße;
Erfassen einer Regelgröße;
Bestimmen einer Sollwertabweichung basierend auf einer Abweichung der Führungsgröße und der Regelgröße; und
Korrigieren der Stellgröße basierend auf einer gelernten Aufschaltungsgröße, wobei die gelernte Aufschaltungsgröße basierend auf der Führungsgröße und der Sollwertabweichung gelernt ist und das Lernen der Aufschaltungsgröße ein modellfreies bestärkendes Lernen umfasst.

Der Verbrennungsmotor kann ein Ottomotor sein. Ein Ottomotor ist ein Verbrennungsmotor mit Fremdzündung. Dabei wird ein Luft-Kraftstoff-Gemisch verbrannt und damit die im Kraftstoff gebundene chemische Energie freigesetzt und in mechanische Energie umgewandelt.
Bestärkendes Lernen oder verstärkendes Lernen (englisch Reinforcement Learning) ist eine Reihe von automatischen Lernmethoden, bei denen eine lernende Vorkontrollstruktur selbständig eine Strategie erlernt, um die erhaltenen Belohnungen zu maximieren. Dabei zeigt die lernende Vorsteuerungsstruktur nicht auf, welche Aktion in welcher Situation am besten ist, sondern erhält zu bestimmten Zeiten eine Belohnung. Durch die Verwendung dieser Belohnungen nähert sich der Lernende einer Nutzenfunktion, die den Wert eines bestimmten Zustands beschreibt. Die Modelle des bestärkenden Lernens versuchen das Lernverhalten in der Natur nachzubilden.
Das Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors ermöglicht die Einstellung einer Aufschaltungsgröße und das direkte und unmittelbare Arbeiten mit einem Rückführungssignal (Feedbacksignal) der Regelstrecke. Diese Aufschaltungsgröße ist während des Lernens stochastischer Natur und kann daher aus einer Verteilung generiert werden. Durch die stochastische Natur kann eine Exploration des Raums der Stellgrößen durchgeführt werden (es werden dabei nämlich Stellgrößen „ausprobiert“). Das Verfahren bietet eine Störgrößenkompensation ohne das Vorhandensein eines Modells der Regelstrecke oder des Störungssystems. Das Verfahren korrigiert eine Stellgröße anhand eines Zusammenhangs zwischen der wirkenden Störung und einem Störungsvektor, wobei der Zusammenhang unbekannt ist und durch bestärkendes Lernen gelernt wird. Das Verfahren bietet zudem eine Stellgrößenkompensation auf der Grundlage der Führungsgröße. In diesem Fall ist das Ziel nicht eine Störgröße zu kompensieren, sondern eine Führungsfolge (die Folge der Regelgröße im Bezug zum Sollwert) zu optimieren. Alternativ kann das Verfahren gleichzeitig eine Stellgrößen- und eine Störgrößenkompensation durchführen.
Ferner kann das Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors durch ein Blockschaltbild dargestellt werden, wobei das Blockschaltbild eine lernende Vorkontrollstruktur umfassen kann. Die lernende Vorkontrollstruktur kann dazu geeignet sein, modellfrei und ohne a-priori Kenntnisse bezüglich eines Störsystems adaptiv eine Aufschaltungsgröße für den dynamischen Betrieb des Verbrennungsmotors zu berechnen. Durch die Struktur der Aufschaltung neigt das System gegenüber einer klassischen Regelungsstruktur mit einer Rückführung der Ausgangsgröße bei einer beschränkten Stellgröße prinzipbedingt nicht zur Instabilität. Weiterhin kann aufgrund der direkten Verwendung der Belohnungsfunktion und dem Verzicht auf das Erlernen einer Bewertungsfunktion eine hohe Ersparnis an Berechnungsressourcen verzeichnet werden.
In manchen Ausführungsformen kann das Lernen der Aufschaltungsgröße basierend auf einer gewichteten Regression optimiert werden.
Die gewichtete Regression ist eine Methode, die verwendet werden kann, wenn die mit Hilfe der kleinsten Quadrate aufgestellte Annahme einer konstanten Varianz der Residuen verletzt wird (Heteroskedastizität). Bei korrekter Gewichtung minimiert diese Methode die Summe der gewichteten quadratischen Residuen, um Residuen mit einer konstanten Varianz zu erhalten (Homoskedastizität). Durch die Formulierung des Optimierungsproblems der Aufschaltungsgröße als ein gewichtetes Regressionsproblem kann die Berechnungseffizienz im Adaptionsprozess weiter gesteigert werden, weswegen auch ein Lernen auf der Zielhardware (z.B. im Motorsteuergerät) selbst prinzipiell möglich wäre.
In manchen Ausführungsformen kann das Lernen der Aufschaltungsgröße auf einem linearparametrischen Modell basieren.
In der Statistik ist ein parametrisches Modell ein Modell, das mit einer endlichen Anzahl von Parametern beschrieben werden kann. Diese Parameter werden in der Regel zu einem eindimensionalen Parametervektor zusammengefasst. Mit Hilfe des linearen parametrischen Modells kann das Verfahren die unbekannte stochastische Aufschaltungsgröße parametrisieren, und die unbekannte Störung kann mit Hilfe der parametrisierten Aufschaltungsgröße optimiert werden. Die Linearität des parametrischen Modells ist vorteilhaft, da eine eindeutige Lösung für die Auflösung der Optimierung ermittelt werden kann.
In manchen Ausführungsformen kann dabei das Lernen folgende Schritte umfassen:

Bestimmen einer stochastischen Aufschaltungsgröße, wobei die stochastische Aufschaltungsgröße aus einer Normalverteilungsfunktion entnommen wird, wobei die Normalverteilungsfunktion einen Mittelwert und eine Varianz umfasst.

Durch die Normalverteilungsfunktion können verschiedene Aufschaltungsgröße explorieren und eine Stellgröße kann durch das bestärkendes Lernen sich verbessern. Somit kann die Güte des Regelkreises verbessert werden.
In manchen Ausführungsformen kann das Lernen folgende Schritte umfassen:

Ermitteln eine Belohnungsfunktion, wobei die Belohnungsfunktion invers proportional zur Sollwertabweichung repräsentiert;
Ableiten einer Kostenfunktion nach einem stochastisch gewählten Parametervektor, wobei die Kostenfunktion durch die Belohnungsfunktion gewichtet ist;
Null setzen der abgeleiteten Kostenfunktion; und
Auflösen der auf Null gesetzten abgeleiteten Kostenfunktion nach einem Parametervektor.

Der Parametervektor wird partiell nach dem Parametervektor abgeleitet und die Nullsetzung der Ableitung führt zum Verbesserungsschritt des Parametervektors. Die Gewichtung der Kostenfunktion ist vorteilhaft, da durch die Gewichtung bei der Parameteraktualisierung (Parameterupdate) die Regression zu den Punkten mit den höheren Gewichten verschoben werden kann.
In manchen Ausführungsformen kann die Aufschaltungsgröße aus einer Normalverteilungsfunktion des Sollwertes entnommen werden, wobei die Kostenfunktion wie folgt lautet: $J (θ) = {\sum_{k = 1}^{N} ({\hat{S}}_{w, e v a l} (k) - θ^{T} \times S_{w} (k)))}^{2} \times r [k],$
wobei Ŝ_w,eval(k) die Aufschaltungsgröße zum Zeitpunkt k, θ der Parametervektor, S_w(k) der Sollwert zum Zeitpunkt k, r[k] die Belohnungsfunktion zum Zeitpunkt k und N die Durchführungsanzahl der Optimierung des Parametervektor θ ist.
In manchen Ausführungsformen kann die Aufschaltungsgröße aus einer Normalverteilungsfunktion eines Störgrößenvektors entnommen werden, wobei die Kostenfunktion wie folgt lautet: $J (θ) = {\sum_{k = 1}^{N} ({\hat{S}}_{V, e v a l} (k) - θ^{T} \times S_{V} (k)))}^{2} \times r [k],$
wobei Ŝ_V,eval(k) die Aufschaltungsgröße zum Zeitpunkt k, θ der Parametervektor, S_v(k) der Störgrößenvektor zum Zeitpunkt k, r[k] die Belohnungsfunktion zum Zeitpunkt k und N die Durchführungsanzahl der Optimierung des Parametervektor θ ist.
In manchen Ausführungsformen kann die Stellgröße anhand einer Überlagerung der Aufschaltungsgröße und einer Regler-Stellgröße eines Reglers ermittelt werden.
Die Stellgröße kann sich ergeben aus der Überlagerung der Vorsteuerung und eines Regelkreises. Jedoch ist es bevorzugt, dass das Lernen nur auf Basis der vorgesteuerten Stellgröße erfolgt.
Ein zweiter Aspekt betrifft ein Motorsteuergerät, welches dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ausführungsformen durchzuführen.
Ein dritter Aspekt betrifft ein Fahrzeug mit dem vorhergehenden Motorsteuergerät.
Ausführungsbeispiele der Erfindung werden nun beispielhaft und unter Bezugnahme auf die beigefügte Zeichnung beschrieben:

1 zeigt ein Blockschaltbild, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt;
2 zeigt, als Ausführungsbeispiel, ein Blockschaltbild für eine Regelung eines Verbrennungsmotors
3 zeigt, als weiteres Ausführungsbeispiel, ein Blockschaltbild für eine Regelung eines Verbrennungsmotors; und
4 zeigt, als Ausführungsbeispiel, ein Blockschaltbild für eine Regelung einer Einspritzmenge eines Kraftstoffes für einen Verbrennungsmotor.

1 zeigt ein Blockschaltbild, das schematisch die Konfiguration eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt. Das Fahrzeug 1 umfasst mehrere Komponenten, die über einen Datenbus 20 miteinander kommunizieren, nämlich ein Motorsteuergerät 10, einen Verbrennungsmotor 30, eine Sensoranordnung 50 und Stellglieder 70.
Ein Motorsteuergerät (ECU) 10 ist ein elektronisches Steuergerät, das eine Reihe von Aktoren des Verbrennungsmotors optimiert, um eine optimale Motorleistung zu gewährleisten. Beispielsweise kann das Motorsteuergerät (ECU) 10 eine Einspritzmenge eines Einspritzsystems optimieren. Die Optimierung des Einspritzsystems kann auf einer Regelung (Saugrohrdruckregelung, Ladedruckregelung) über den gesamten Betriebsbereich (Ansaugbereich, Überwegbereich (Druckausgleich), aufgeladener Betriebsbereich) des Verbrennungsmotors 30 basieren. Die Optimierung kann ohne Kenntnisse des System- und/oder Störungsmodells angegangen werden. Dabei wird Gebrauch gemacht von einer Methodik aus dem Bereich des bestärkenden Lernens („Reinforcement Learning“), welches auf Grundlage einer sogenannten Belohnungsfunktion ein Stellsignal erlernt. Dieses Stellsignal ist während des Lernens stochastischer Natur, wird demnach aus einer Verteilung generiert. Die Adaption der lernenden Vorsteuerung evaluiert dabei die Sollwertabweichung und berechnet eine Belohnungsfunktion. Die Belohnungsfunktion ist dabei eine reziproke Funktion der Sollwertabweichung. Mit anderen Worten, je kleiner die Sollwertabweichung über ein bestimmtes Zeitintervall ist, desto höher wird ein Belohnungssignal durch die Belohnungsfunktion für das ausgeführte Steuersignal bestimmt.
Das Motorsteuergerät (ECU) 10 kann zwei Lernprozesse zur Optimierung des Betriebsparameters eines Verbrennungsmotors durchführen, nämlich einen Lernschritt und einen Regressionsschritt. Im Lernschritt wird eine Verteilung über die möglichen Stellgrößenkorrekturen so angepasst, dass die Wahrscheinlichkeit von höheren Belohnungen erhöht wird. Dies wird über ein gewichtetes Regressionsproblem realisiert, bei dem durch eine linearparametrische Regression ein funktioneller Zusammenhang zwischen der Eingangsgröße in die Korrektur und einer daraus zu resultierenden Stellgröße gelernt wird. Im Regressionsschritt werden die Stellgrößen über dem Belohnungsfunktion höher gewichtet, welche in einer geringeren Sollwertabweichung resultiert haben. Nach Abschluss des Lernprozesses (Adaptionsalgorithmus) kommt der Lernprozess zum Stillstand und es findet eine deterministische Störgrößenaufschaltung statt. Die deterministische Störgrößenaufschaltung kann der Mittelwertfunktion der Verteilung entsprechen, aus der zuvor Samples entnommen wurden. Das Lernen erfolgt dabei durch ein gewichtetes Regressionsproblem und nicht mittels eines Gradienten basierten Verfahrens. Eine ausführlichere Erläuterung der Regelung ist in 2, 3 und 4 unten zu finden.
Der Datenbus 20 kann beispielsweise gemäß Kommunikationstechnologien wie CAN (controller area network), LIN (local interconnect network), FlexRay, LAN/Ethernet oder MOST realisiert werden. Auch können im Fahrzeug mehrere unterschiedliche Bustypen in Kombination zum Einsatz kommen.
Der Verbrennungsmotor 30 wandelt chemische Energie in mechanische Arbeit um. Zu diesem Zweck wird in einer Brennkammer (Zylinderraum) des Verbrennungsmotors 30 ein zündfähiges Gemisch aus Kraftstoff und Luft (Sauerstoff) verbrannt. Die thermische Ausdehnung des entstehenden Heißgases wird genutzt, um Kolben des Verbrennungsmotors 30 in Bewegung zu setzen. Der Verbrennungsmotor 30 kann ein Ottomotor (Funkenzündung) oder ein Dieselmotor (Selbstzündung) sein.
Die Sensoranordnung 50 erfasst Ist-Werte, die von den vom Motorsteuergerät (ECU) 10 ausgegebenen Sollwerten durch Störeinflüsse abweichen können. Die Sensoranordnung 50 kann einen Fahrpedalsensor, Luftmassensensor, Raildrucksensor, Ladedrucksensor, Temperatursensor, Drehzahlsensor und/oder eine Lambdasonde umfassen. Eine Lambdasonde vergleicht den Restsauerstoffgehalt im Abgas mit dem Sauerstoffgehalt einer Referenz, in der Regel der aktuellen atmosphärischen Luft. Daraus kann der Lambdawert (Verhältnis von Verbrennungsluft zu Brennstoff) ermittelt und damit eingestellt werden. Der Lambdawert λ setzt die erforderliche Luftmenge ins Verhältnis zum theoretischen Luftbedarf. λ (Lambda) = 1 gibt somit die optimale Luftmenge für eine vollständige Verbrennung des Gemischs an. Bei der Gemischaufbereitung des Vebrennungmotors wird zwischen „fettem Gemisch (λ < 1)“ und „magerem Gemisch (λ > 1)“ unterschieden. Da das Gemisch immer fetter wird (λ < 1), führt der relative Sauerstoffmangel bei der Verbrennung dazu, dass der Anteil von Kohlenmonoxid und Kohlenwasserstoff zunimmt. Bei einem mageren Gemisch (λ > 1) ist der Sauerstoffgehalt im Abgas relativ hoch. Je nach Grad der Auszehrung wird dadurch die Bildung von Kohlenmonoxid (CO) und Kohlenwasserstoffen (HC) im Abgas verhindert, aber die daraus resultierenden sehr hohen Verbrennungstemperaturen führen zu einer vermehrten Bildung von klimaschädlichen Stickoxiden (NOx). Zu hohe Brennraumtemperaturen stellen auch eine Gefahr für den Motor dar, da Ventile, Ventilsitze und Kolben thermisch überbeansprucht werden. An die Lambdasonde kann ein Katalysator angeschlossen werden, der die Aufgabe hat, die im Abgas enthaltenen Schadstoffe (Kohlenmonoxid, Stickoxide, Kohlenwasserstoffe) durch eine katalytische Reaktion in weniger schädliche Reaktionsprodukte umzuwandeln.
Die Stellglieder 70 setzen die elektrischen Ausgangssignale des Motorsteuergeräts (ECU) 10 in mechanische Größen um. Beispielsweise kann das Stellglied 70 ein Magnetventil für ein Einspritzsystem sein. Ein Einspritzsystem spritzt Kraftstoff in der optimalen Menge, zum richtigen Zeitpunkt und mit hohem Druck ein. Einspritzmengen und -verteilung bestimmen das Drehmoment im Verbrennungsmotor 30 und werden von elektronisch verstellbaren Hochdruckpumpen oder elektronisch schaltbaren Einspritzdüsen gesteuert. Die Optimierung des Einspritzsystems kann auf der Regelung des Motorsteuergeräts (ECU) 10 basieren.
Das in 1 gezeigte Fahrzeug 100 ist nicht auf die in der Figur vorgesehenen Komponenten begrenzt.
2 zeigt, als Ausführungsbeispiel, ein Blockschaltbild für eine Regelung eines Verbrennungsmotors. Das Blockschaltbild 100 umfasst einen Regler 110, eine Regelstrecke 120, eine Vorsteuereinheit 130 und eine Adaptionseinheit 140.
Der Regler 110 erfasst eine Führungsgröße (Sollwert) S_w von einem Sollwertgeber, bzw. von dem Motorsteuergerät (10 in 1). Der Regler 110 ermittelt basierend auf der erfassten Führungsgröße S_w eine Stellgröße S_R. Diese Stellgröße S_R wird zu einer Regelstrecke 120 weitergeleitet. Die Regelstrecke 120 kann beispielsweise der Verbrennungsmotor (30 in 1) oder ein Stellglied (70 in 1) sein. Eine Regelgröße SIST ergibt sich aus der Regelstrecke 120 anhand der vorgegebenen Stellgröße S_R.Die Regelgröße S_IST kann von der Führungsgröße S_w abweichen, da die Regelstrecke 120 durch verschiedene Störgrößen S_G und durch Unkenntnis der optimale Stellgröße S_R beeinflusst werden kann. Die Regelgröße S_IST der Regelstrecke 120 wird von einem Messglied (nicht in 2) erfasst und wird mit dem vorgegebenen Sollwert S_w subtrahiert. Der Regler 110 bestimmt aus der Sollwertabweichung (Regelabweichung/Regeldifferenz) und den vorgegebenen Regelparametern eine neue Stellgröße S_R. Diese wirkt über die Regelstrecke 120 so auf die Regelgröße S_IST ein, dass sie die Regelabweichung trotz vorhandener Störgrößen S_G minimiert und die Regelgröße S_IST je nach gewählten Gütekriterien ein gewünschtes Zeitverhalten annimmt. Der Regler 110 kann ein proportional wirkender Regler (P-Regler), ein integral wirkender Regler (I-Regler), ein proportional und integral wirkender Regler (PI-Regler) oder ein proportional, integral und derivative wirkender Regler (PID-Regler) oder ein komplexere Regler sein.
Da der Regler 110 die Stellgröße S_R auf der Grundlage der Abweichung von Ist- und Sollwert bestimmt, ist der Regler 110 nicht geeignet, schnell veränderliche Störgrößen S_G oder Führungsgröße S_w zu konvergieren. Um dies gewährleisten zu können, umfasst das Blockschaltbild 100 ferner eine lernende Vorsteuerungsstruktur. Die lernende Vorsteuerungsstruktur ist geeignet, bei einer schnell veränderliche Störgröße S_G den Istwert S_IST so schnell wie möglich gegen den Sollwert S_w anzunähern. Die lernende Vorsteuerungsstruktur ist auch dazu geeignet, die vom Regler ermittelte Stellgröße so zu korrigieren, dass die Regelstrecke möglichst schnell die Führungsgröße annähert. Beispielsweise kann die vom Regler ermittelte Stellgröße durch die lernende Vorsteuerstruktur erhöht werden. Darüber hinaus ermöglicht die Vorsteuerstruktur eine modellfreie und adaptive Störungskompensation ohne Vorkenntnisse der Regelstrecke 120. Die Vorsteuerstruktur lernt eine Aufschaltungsgröße, die Anpassung der Aufschaltungsgröße geschieht in geschlossener Form über ein gewichtetes Regressionsproblem, welches effizient und mit geringen Berechnungsressourcen durchgeführt werden kann. Dazu können linearparametrische Modelle eingesetzt werden, welche auch tiefe neuronale Netze sein können, bei denen nur die letzte lineare Schicht im Lernprozess angepasst wird.
Die lernende Vorsteuerungsstruktur umfasst die Adaptionseinheit 140 und die Vorsteuereinheit 130.
Die Vorsteuereinheit 130 erhält zu jedem Zeitschritt k eine Führungsgröße S_w von einen Sollwertgeber, bzw. von dem Motorsteuergerät (10 in 1). Die Führungsgröße S_w kann auch intern in einen Stapelspeicher als ein Eingangsvektor x(k) gelegt werden: $x (k) = [S_{w} (k), S_{w} (k - 1), S_{w} (k - 2),... ., S_{w} (k - m)]$
wobei S_w(k) das Sollwert S_w zum Zeitpunkt k ist.
Eine stochastische Aufschaltungsgröße Ŝ_w,eval wird zum Zeitpunkt k aus einer Normalverteilungsfunktion N(Ŝ_w,eval,Ŝ_w,σ) mit dem Mittelwert Ŝ_w = S_w × θ und der Varianz σ entnommen, wobei θ ein stochastisch gewählter Parametervektor ist. Die Normalverteilungsfunktion N(Ŝ_w,eval,S_w,σ) lautet: $N ({\hat{S}}_{w, e v a l,} {\hat{S}}_{w}, σ) = \frac{1}{\sqrt{2 π^{2}}} e^{(- \frac{{({\hat{S}}_{w, e v a l,} - {\hat{S}}_{w})}^{2}}{2 σ^{2}})}$
Die entnommene Aufschaltungsgröße Ŝ_w,evaz wird mit der Stellgröße S_R des Reglers 110 addiert. Die überlagerte Stellgröße S_E wird der Regelstrecke 120 zugeführt. Die Regelgröße S_IST der Regelstrecke 120 wird durch ein Messglied (nicht in 2 gezeigt) erfasst und an die Adaptionseinheit 140 übertragen.
Die Adaptionseinheit 140 ist dazu geeignet, ein linearparametrisches Modell zu finden. Daraus folgt, dass die Normalverteilungsfunktion N(Ŝ_w,eval,Ŝ_w, σ) möglichst hohe Belohnungssignale zurückerhalten kann, somit kann die überlagerte Stellgröße S_E optimiert werden. Die Adaptionseinheit 140 ermittelt eine Sollwertabweichung e[k]: $e [k] = S_{I S T} - S_{w} (k)$
Die Adaptionseinheit 140 berechnet anhand einer Kostenfunktion (siehe Gl. 4) einen neuen Parametervektor θ. Die Kostenfunktion J(θ) lautet: $J (θ) = {\sum_{k = 1}^{N} ({\hat{S}}_{w, e v a l} (k) - θ^{T} \times S_{w} (k)))}^{2} \times r [k]$
wobei N die Durchführungsanzahl der Optimierung des Parametervektor θ ist und r[k] eine Belohnungsfunktion ist. Die Durchführungsanzahl N kann die Anzahl der Komponenten des Parametervektors θ entsprechen oder kann größer als die Anzahl der Komponenten des Parametervektors θ sein. Die Kostenfunktion J(θ) ist durch die Belohnungsfunktion r[k] gewichtet, wobei die Belohnungsfunktion r[k] invers proportional zur Sollwertabweichung e[k] ist. Die Belohnungsfunktion r[k] kann beispielsweise wie folgt lauten: $r [k] = \frac{1}{e^{2} [k] + + A}$
wobei A ein vorbestimmte Konstant ist. Alternative, kann die Belohnungsfunktion r[k] kann wie folgt lauten: $r [k] = \frac{1}{| e^{2} [k] | + A}$
wobei A ein vorbestimmte Konstant ist. Das Addieren der Konstante A verhindert, dass die Division der Belohnungsfunktion r[k] zu null wird, selbst wenn die Sollwertabweichung e[k] null ist. Außerdem, wenn eine Totzeit im System vorliegt, kann die Gewichtung mit dem Belohnungssignal nach der Totzeit erfolgen. Die Belohnungsfunktion ist nicht auf die oben genannten Funktionen beschränkt, es kann jede andere denkbare Belohnungsfunktion verwendet werden, die dem Fachmann auf dem Gebiet der Technik vorbehalten ist. Bei der Anpassung des Parametervektors θ führt die Belohnungsfunktion r[k] dazu, dass die Regression in Richtung der stochastischen Aufschaltungsgröße Ŝ_w,eval verschoben wird, die zu einer hohen Belohnung geführt haben. Um den Parametervektor θ zu optimieren, wird die Kostenfunktion J(θ) partiell nach dem Parametervektor abgeleitet und auf Null gesetzt. Ein neuer Parametervektor θ wird ausgewählt, der die auf Null gesetzte abgeleitete Kostenfunktion $\frac{d J (θ)}{d θ}$
auflöst. Die Optimierung des Parametervektors θ kann bis zu einer bestimmten Anzahl N durchgeführt werden, wobei die Anzahl N größer als die Batch-Größe des Sollwerts ist. Wenn die Optimierung des Parametervektors θ bis zur Batch-Größe durchgeführt worden ist, kann ein optimaler Parametervektor θ bestimmt werden, wenn das Fehlerquadrat e²[k] für eine vorgegebene Zeit unter einem Schwellenwert liegt. Alternativ kann die Optimierung des Parametervektors θ anhand eines RWLS-Algorithmus (Recursive-Weighted-Least-Squares-Algorithmus) zu jedem Zeitpunkt k durchgeführt werden, wobei das Optimalitätsproblem hier ebenfalls wie zuvor beschrieben gelöst wird, hier jedoch durch eine rekursive Formulierung. Der RWLS-Algorithmus basiert auf der Methode der kleinsten Quadrate. Der RWLS-Algorithmus findet die Koeffizienten, die eine gewichtete lineare Kostenfunktion der kleinsten Quadrate in Bezug auf die Eingangssignale minimieren. Er wird zur Lösung überbestimmter linearer Gleichungssysteme und insbesondere zur Schätzung von Modellparametern bei der Identifikation linearer Systeme oder in der Neuroinformatik genutzt. Die Rekursivität erlaubt die Online-Nutzung mit aktuell anfallenden Daten bei gleichbleibender Komplexität in jedem Rekursionsschritt.
2 zeigt ein Blockschaltbild mit einem Regler, alternativ kann das Blockschaltbild auch keinen Regler enthalten.
3 zeigt, als weiteres Ausführungsbeispiel, ein Blockschaltbild für eine Regelung eines Verbrennungsmotors.
Das Blockschaltbild 100' ist dazu geeignet, eine adaptive Störgrößenkompensation der parasitären dynamischen Effekte durchzuführen, die modellfrei ohne Kenntnis des Systemmodells oder eines Modells des Störsystems erlernen soll. Das Blockschaltbild 100' umfasst einen Regler 110', eine Regelstrecke 120', eine Vorsteuereinheit 130', eine Adaptionseinheit 140' und ein Störsystem 200.
Das Störsystem 200 ist ein System, das einen Störgrößenvektor S_G verursacht, der zu einer Abweichung von einer vorgegebene Führungsgröße (Sollwert) S_w führt. Hierbei können nichtmodellierte Dynamiken, angeregt beispielsweise durch eine Betriebspunktänderung eines Turboladers, eine Positionsänderung einer Drosselklappe oder Änderungen weiterer Größen, als Störungen aufgefasst werden. Der Störgrößenvektor S_G kann ein Vektor sein, der in einem Zeitschritt die aktuelle Zustandsänderung, wie die Änderung von Drücken, Drehzahlen und Positionsänderungen von Stelleinrichtungen, zusammenfasst. Dieser Störgrößenvektor S_G wird von der Stellgröße S_R des Reglers 110' und der Regelgröße S_IST überlagert.
Der Regler 110' erfasst eine Führungsgröße S_w von einem Sollwertgeber, bzw. von dem Motorsteuergerät (10 in 1). Der Regler 110' ermittelt basierend auf der erfassten Führungsgröße S_w eine Stellgröße S_R. Die Stellgröße S_R wird mit dem Störgrößenvektor S_G überlagert und zu der Regelstrecke 120 weitergeleitet. Die Regelstrecke 120' kann beispielsweise der Verbrennungsmotor (30 in 1) oder ein Stellglied (70 in 1) sein. Eine Regelgröße S_IST ergibt sich aus der Regelstrecke 120 anhand der vorgegebenen Stellgröße S_R und wird von einem Messglied (nicht in 3 gezeigt) erfasst. Die erfasste Regelgröße S_IST wird mit der vorgegebene Führungsgröße S_w subtrahiert. Der Regler 110' bestimmt aus der Sollwertabweichung (Regelabweichung/Regeldifferenz) und den vorgegebenen Regelparametern eine neue Stellgröße S_R. Der Regler 110' kann ein proportional wirkender Regler (P-Regler), ein integral wirkender Regler (I-Regler), ein proportional und integral wirkender Regler (PI-Regler) oder ein proportional, integral und derivative wirkender Regler (PID-Regler) oder ein komplexere Regler sein. Der Störgrößenvektor S_G kann vom Regler 110 nur begrenzt kompensiert werden, weshalb eine Abweichung vom stöchiometrischen Betrieb die Folge ist.
Um den Störeinfluss effektiver zu kompensieren, ist eine lernende Vorsteuerungsstruktur vorgesehen, die eine Störungskompensation erlernt. Die lernende Vorsteuerungsstruktur führt eine gänzlich modellfreie Störgrößenkompensation durch, indem die Vorsteuerungsstruktur eine vereinfachte Methode des bestärkenden Lernens anwendet. Die lernende Vorsteuerungsstruktur führt einen Lernschritt und einen Regressionsschritt durch.
Die lernende Vorsteuerungsstruktur umfasst die Adaptionseinheit 140' und die Vorsteuereinheit 130'.
Die Vorsteuereinheit 130' erhält zu jedem Zeitschritt einen Störvektor S_v. Der Störvektor S_ν.kann von einer Sensoranordnung (50 in 5) erfasst werden oder durch ein Modell ermittelt werden. Der Störvektor S_V kann ferner ein vorgegebener Vektor sein, der Komponenten enthält, von denen bekannt ist, dass Sie mit der auf den Luftpfad wirkenden Störgröße zusammenhängen können. Die Komponenten des Störvektors S_V können beispielsweise Druckänderungen, Drehzahländerungen und/oder Geometrieänderungen (Variable-Turbinengeometrie-Stellung, Drosselklappenstellung, Nockenwellen-Phasenstellung) sein. Der Störvektor S_V kann entweder eindimensional oder mehrdimensional sein. Ferner, kann der Störvektor S_V durch nicht linear Transformation gewonnen werden. Der Störvektor S_v kann auch intern in einen Stapelspeicher als ein Eingangsvektor x(N) gelegt werden: $x (N) = [S_{V 1}, S_{V 2}, S_{V 3},... ., S_{V N}]$
Eine Aufschaltungsgröße Ŝ_V,eval wird aus einer Normalverteilungsfunktion N(Ŝ_V,eval, Ŝ_V, σ) mit dem Mittelwert Ŝ_v = S_v × θ und der Varianz σ entnommen, wobei θ ein stochastisch gewählter Parametervektor ist. Die Normalverteilungsfunktion N(Ŝ_V,eval,Ŝ_V,σ) lautet: $N ({\hat{S}}_{V, e v a l}, {\hat{S}}_{V}, σ) = \frac{1}{\sqrt{2 π^{2}}} e^{(- \frac{{({\hat{S}}_{V, e v a l} - {\hat{S}}_{V})}^{2}}{2 σ^{2}})}$
Die entnommene Aufschaltungsgröße Ŝ_V,eval wird mit der Stellgröße S_R des Reglers 110' addiert. Die überlagerte Stellgröße S_E wird der Regelstrecke 120' zugeführt. Die Regelgröße S_IST der Regelstrecke 120' wird durch ein Messglied (nicht in 3 gezeigt) erfasst und an die Adaptionseinheit 140' übertragen.
Die Adaptionseinheit 140' ist dazu geeignet ein linearparametrisches Modell zu finden. Daraus folgt, dass die Normalverteilungsfunktion N(Ŝ_V,eval,Ŝ_V,σ) möglichst hohe Belohnungssignale zurückerhalten kann, somit kann die überlagerte Stellgröße S_E optimiert werden. Die Adaptionseinheit 140' ermittelt eine Sollwertabweichung e[k]: $e [k] = S_{I S T} - S_{w} (k)$
Die Adaptionseinheit 140' berechnet anhand einer Kostenfunktion (siehe Gl. 10) einen neuen Parametervektor θ aus. Die Kostenfunktion J(θ) lautet: $J (θ) = {\sum_{k = 1}^{N} ({\hat{S}}_{V, e v a l} (k) - θ^{T} \times S_{V} (k)))}^{2} \times r [k],$
$r [k] = \frac{1}{e^{2} [k] + A}$
wobei A ein vorbestimmte Konstant ist. Alternative, kann die Belohnungsfunktion r[k] kann wie folgt lauten: $r [k] = \frac{1}{| e [k] | + A}$
wobei A ein vorbestimmte Konstant ist. Das Addieren der Konstante A verhindert, dass die Division der Belohnungsfunktion r[k] zu null wird, selbst wenn die Sollwertabweichung e[k] null ist. Außerdem, wenn eine Totzeit im System vorliegt kann die Gewichtung mit dem Belohnungssignal nach der Totzeit erfolgen. Die Belohnungsfunktion ist nicht auf die oben genannten Funktionen beschränkt, es kann jede andere denkbare Belohnungsfunktion verwendet werden, die dem Fachmann auf dem Gebiet der Technik vorbehalten ist. Bei der Anpassung des Parametervektors θ führt die Belohnungsfunktion r[k] dazu, dass die Regression in Richtung der stochastischen Aufschaltungsgröße Ŝ_V,eval verschoben wird, die zu einer hohen Belohnung geführt haben. Um den Parametervektor θ zu optimieren, wird die Kostenfunktion J(θ) partiell nach dem Parametervektor abgeleitet und auf Null gesetzt. Ein neuer Parametervektor θ wird ausgewählt, der die auf Null gesetzte abgeleitete Kostenfunktion $\frac{d J (θ)}{d θ}$
auflöst. Die Optimierung des Parametervektors θ kann bis zu einer bestimmten Anzahl N durchgeführt werden, wobei die Anzahl N größer als die Batch-Größe des Sollwerts ist. Wenn die Optimierung des Parametervektors θ bis zur Batch-Größe durchgeführt worden ist, kann ein optimaler Parametervektor θ bestimmt werden, wenn der Fehlerquadrat e²[k] für eine vorgegebene Zeit unter einem Schwellenwert liegt. Alternativ kann die Optimierung des Parametervektors θ anhand eines RWLS-Algorithmus (Recursive-Weighted-Least-Squares-Algorithmus) zu jedem Zeitpunkt k durchgeführt werden, wobei das Optimalitätsproblem hier ebenfalls wie zuvor beschrieben gelöst wird, hier jedoch durch eine rekursive Formulierung. Der RWLS-Algorithmus basiert auf der Methode der kleinsten Quadrate. Der RWLS-Algorithmus findet die Koeffizienten, die eine gewichtete lineare Kostenfunktion der kleinsten Quadrate in Bezug auf die Eingangssignale minimieren. Er wird zur Lösung überbestimmter linearer Gleichungssysteme und insbesondere zur Schätzung von Modellparametern bei der Identifikation linearer Systeme oder in der Neuroinformatik genutzt. Die Rekursivität erlaubt die Online-Nutzung mit aktuell anfallenden Daten bei gleichbleibender Komplexität in jedem Rekursionsschritt.
3 zeigt ein Blockschaltbild mit einem Regler, alternativ kann das Blockschaltbild auch keinen Regler enthalten.
4 zeigt, als Ausführungsbeispiel, ein Blockschaltbild für eine Regelung einer Einspritzmenge eines Kraftstoffes für einen Verbrennungsmotor.
Die heutigen Abgasgesetzgebungen erfordern eine genaue Kenntnis über die Zylinderfüllung und deren Zusammensetzung, um daraus eine korrekte Einspritzmenge des Kraftstoffes errechnen zu können. Aufgrund der sich aktuell immer weiter verschärfenden Emissionsvorschriften, wird das Luft-Kraftstoff-Verhältnis (bei Ottomotoren) bevorzugt stöchiometrisch gehalten, unabhängig davon ob der Betrieb von Dynamiken charakterisiert oder stationär ist. Im stationären Betrieb (wenn alle für die Füllung relevanten Zustandsgrößen sich nicht mehr maßgeblich ändern), können Modelle abgestimmt werden, die die Zylinderfüllung hinreichend genau charakterisieren. Diese Modelle können typischerweise nur für den stationären Fall genau genug abgestimmt werden, da im Dynamikfall (bei schneller Änderung der Zustandsgrößen) eine messtechnische Erfassung der aktuellen Füllung, auch über Umwege, nicht hinreichend genau möglich ist. Auf Basis dieser modellierten Füllung, wird eine Einspritzmenge berechnet, welche für einen stöchiometrischen Betrieb notwendig ist. Im stationären Betrieb weicht die modellierte Zylinderfüllung in einem tolerierbaren Maß von der Realfüllung ab, weshalb die Berechnung der Einspritzmenge auf Basis der modellierten Füllung valide ist. In der Dynamik jedoch führen Modellierungsungenauigkeiten der Zylinderfüllung zu einer Einspritzmenge die, je nach dynamischer Änderung der Zustandsgrößen, höher oder niedriger ist, als für den Betrieb des Verbrennungsmotors mit einem stöchiometrischen Luft-Kraftstoff-Verhältnis notwendig. Diese Abweichungen der Einspritzmenge vom theoretisch erforderlichen Maß können aktuell vor allen Dingen im Signal der Lambda-Vorkatsonde erkannt werden. Aus diesem Grund umfassen aktuell die meisten Betriebskonzepte des Ottomotors eine Regelung des Verbrennungsluftverhältnisses, welche auf Grundlage des Messsignals des Lambda-Wertes die dem Verbrennungsprozess zugeführte Kraftstoffmenge korrigiert. Dies geschieht in dieser Form durch die Verwendung eines strukturfesten Reglers mit wenigen frei einstellbaren Parametern (z.B. PID-Regler). Allerdings führt auch die Verwendung eines solchen Reglers zu signifikanten Abweichungen des Lambda-Vorkatsondenwerts von seinem Sollwert, da solch einfache Reglungskreise im dynamischen Betriebsfall erst auf eine erkannte Regelabweichung reagieren.
Das Blockschaltbild 100" ist dazu geeignet adaptiv eine Einspritzmengenkorrektur im Rahmen einer Vorsteuerung erlernt, bevor es zu einer signifikanten Abweichung vom Sollwert des Verbrennungsluftverhältnisses kommt. Dieses Konzept kann so geartet sein, dass eine adaptive Anpassung der Vorsteuerung durch ein zeitlich verzögertes, möglicherweise verrauschtes Signal der Lambda-Vorkatsonde erfolgen kann. Ferner ermöglich das Blockschaltbild 100'' eine adaptive Störgrößenkompensation der parasitären dynamischen Effekte, wobei das Blockschaltbild 100" eine modellfrei ohne Kenntnis des Systemmodells oder eines Modells der Störung eine Einspritzmengenkorrektur erlernt. Das Blockschaltbild 100" umfasst ein Regler 110", ein Stellglied S, eine Regelstrecke 120", eine Vorsteuereinheit 130", eine Adaptionseinheit 140", ein Störvektor S_v und ein Störsystem 200'.
Der Störvektor S_V kann ein vorgegebener Vektor sein, der Komponenten enthält, von denen bekannt ist, dass sie einen Luftpfad eines Verbrennungsmotors (30 in 1) stören. Der Störvektor S_v.kann von einer Sensoranordnung (50 in 5) erfasst werden oder durch ein Modell ermittelt werden. Der Störvektor S_V kann entweder eindimensional oder mehrdimensional sein. Ferner, kann der Störvektor S_V durch nicht linear Transformation gewonnen werden. Die Komponenten des Störvektors S_V können beispielsweise Druckänderungen, Drehzahländerungen und/oder Geometrieänderungen (Variable-Turbinengeometrie-Stellung, Drosselklappenstellung, Nockenwellen-Phasenstellung) sein.
Das Störsystem 200' ist der Luftpfad des Verbrennungsmotors, den ein Störgrößenvektor S_G verursacht, was zu einer Abweichung von einer vorgegebene Führungsgröße (Sollwert) S_w führt. Hierbei können nichtmodellierte Dynamiken, angeregt durch beispielsweise eine Betriebspunktänderung eines Turboladers, eine Positionsänderung einer Drosselklappe oder Änderungen weiterer Größen, als Störungen aufgefasst werden. Der Störgrößenvektor S_G kann ein Vektor sein, der in einem Zeitschritt die aktuelle Zustandsänderung, wie die Änderung von Drücken, Drehzahlen und Positionsänderungen von Stelleinrichtungen, zusammenfasst. Dieser Störgrößenvektor S_G wird an die Regelstrecke 120" und an die Vorsteuereinheit 130" übermittelt.
Der Regler 110" erfasst eine Führungsgröße S_w von einem Sollwertgeber, bzw. von dem Motorsteuergerät (10 in 1). Die Führungsgröße S_w kann ein vorgegebenes Verbrennungsluft-verhältnis λ sein. Das Verbrennungsluftverhältnis λ setzt die tatsächlich zur Verfügung stehende Luftmasse ins Verhältnis zur mindestens notwendigen Luftmasse, die für eine stöchiometrisch vollständige Verbrennung theoretisch benötigt wird. Der Regler 110" ermittelt basierend auf der erfassten Führungsgröße S_w eine Stellgröße S_R. Die Stellgröße S_R wird mit einem stochastischer Störvektor (Aufschaltungsgröße) Ŝ_V,eval überlagert und an das Stellglied S übermittelt. Das Stellglied S kann beispielsweise ein Einspritzsystem des Fahrzeugs (100 in 1) sein. Das Einspritzsystem kann beispielsweise anhand der überlagerten Stellgröße S_E ein Einspritzventil verstellen.
Die Regelstrecke 120" erhält das Störgrößenvektor S_G und die überlagerten Stellgröße S_E. Eine Regelgröße S_IST ergibt sich aus der Regelstrecke 120 anhand der des Störgrößenvektor S_G und der überlagerten Stellgröße S_E. Die Regelstrecke 120" kann beispielsweise der Verbrennungsmotor (30 in 1) sein. Die Regelgröße S_IST wird von einem Messglied erfasst und wird von der vorgegebenen Führungsgröße S_w subtrahiert und an den Regler 110" übermittelt. Der Regler 110" bestimmt aus der Sollwertabweichung (Regelabweichung/Regeldifferenz) und den vorgegebenen Regelparametern eine neue Stellgröße S_R. Der Regler 110" kann ein proportional wirkender Regler (P-Regler), ein integral wirkender Regler (I-Regler), ein proportional und integral wirkender Regler (PI-Regler) oder ein proportional, integral und derivativ wirkender Regler (PID-Regler) oder ein komplexere Regler sein. Der Störgrößenvektor S_G kann durch den Regler 110" nur begrenzt kompensiert werden, weshalb eine Abweichung vom stöchiometrischen Betrieb die Folge ist.
Die Vorsteuereinheit 130" erhält zu jedem Zeitschritt den Störvektor S_v. Der Störvektor S_v kann auch intern in einen Stapelspeicher als ein Eingangsvektor x(N) gelegt werden: $x (N) = [S_{V 1}, S_{V 2}, S_{V 3}, ... ., S_{V N}]$
Ein stochastischer Aufschaltungsgröße S_V,eval wird aus einer Normalverteilungsfunktion N(Ŝ_V,eval, Ŝ_V, σ) mit dem Mittelwert Ŝ_v = S_v × θ und der Varianz σ entnommen, wobei θ ein stochastisch gewählter Parametervektor ist. Die Normalverteilungsfunktion N(Ŝ_V,eval, Ŝ_V, σ) lautet: $N ({\hat{S}}_{V, e v a l}, {\hat{S}}_{V}, σ) = \frac{1}{\sqrt{2 π^{2}}} e^{(- \frac{{({\hat{S}}_{V, e v a l} - {\hat{S}}_{V})}^{2}}{2 σ^{2}})}$
Die entnommene Aufschaltungsgröße Ŝ_V,eval wird mit der Stellgröße S_R des Reglers 110" addiert. Die überlagerte Stellgröße S_E wird der Regelstrecke 120" zugeführt. Die Regelgröße S_IST der Regelstrecke 120' wird durch ein Messglied (nicht in 4 geziegt) erfasst und an die Adaptionseinheit 140' übertragen.
Die Adaptionseinheit 140" ist dazu geeignet ein linearparametrisches Modell zu finden. Daraus folgt, dass die Normalverteilungsfunktion N(Ŝ_V,eval,Ŝ_V,σ) möglichst hohe Belohnungssignale zurückerhalten kann, somit kann die überlagerte Stellgröße S_E optimiert werden. Die Adaptionseinheit 140" ermittelt eine Sollwertabweichung e[k]: $e [k] = S_{I S T} - S_{W} (k)$
Die Adaptionseinheit 140" berechnet anhand einer Kostenfunktion (siehe Gl. 16) einen neuen Parametervektor θ . Die Kostenfunktion J(θ) lautet: $J (θ) = {\sum_{k = 1}^{N} ({\hat{S}}_{V, e v a l} (k) - θ^{T} \times S_{V} (k)))}^{2} \times r [k]$
wobei N die Durchführungsanzahl der Optimierung des Parametervektor θ ist und r[k] eine Belohnungsfunktion ist. Die Durchführungsanzahl N kann die Anzahl der Komponenten des Parametervektors θ entsprechen oder kann größer als die Anzahl der Komponenten des Parametervektors θ sein. Die Kostenfunktion J(θ) ist durch die Belohnungsfunktion r[k] gewichtet, wobei die Belohnungsfunktion r[k] invers proportional zur Sollwertabweichung e[k] ist. Die Belohnungsfunktion r[k] kann beispielsweise wie folgt lauten: $r [k] = \frac{1}{e^{2} [k] + A}$
wobei A ein vorbestimmte Konstant ist. Alternative, kann die Belohnungsfunktion r[k] kann wie folgt lauten: $r [k] = \frac{1}{| e [k] | + A}$
wobei A ein vorbestimmte Konstant ist. Das Addieren der Konstante A verhindert, dass die Division der Belohnungsfunktion r[k] zu null wird, selbst wenn die Sollwertabweichung e[k] null ist. Außerdem, wenn eine Totzeit im System vorliegt kann die Gewichtung mit dem Belohnungssignal nach der Totzeit erfolgen. Die Belohnungsfunktion ist nicht auf die oben genannten Funktionen beschränkt, es kann jede andere denkbare Belohnungsfunktion verwendet werden, die dem Fachmann auf dem Gebiet der Technik vorbehalten ist. Bei der Anpassung des Parametervektors θ führt die Belohnungsfunktion r[k] dazu, dass die Regression in Richtung der stochastischen Aufschaltungsgröße Ŝ_V,eval verschoben wird, die zu einer hohen Belohnung geführt haben. Um den Parametervektor θ zu optimieren, wird die Kostenfunktion J(θ) partiell nach dem Parametervektor abgeleitet und auf Null gesetzt. Ein neuer Parametervektor θ wird ausgewählt, der die auf Null gesetzte abgeleitete Kostenfunktion $\frac{d J (θ)}{d θ}$
auflöst. Die Optimierung des Parametervektors θ kann bis zu einer bestimmten Anzahl N durchgeführt werden, wobei die Anzahl N größer als die Batch-Größe des Sollwerts ist. Wenn die Optimierung des Parametervektors θ bis zur Batch-Größe durchgeführt worden ist, kann ein optimaler Parametervektor θ bestimmt werden, wenn der Fehlerquadrat e²[k] für eine vorgegebene Zeit unter einem Schwellenwert liegt. Alternativ kann die Optimierung des Parametervektors θ anhand eines RWLS-Algorithmus (Recursive-Weighted-Least-Squares-Algorithmus) zu jedem Zeitpunkt k durchgeführt werden, wobei das Optimalitätsproblem hier ebenfalls wie zuvor beschrieben gelöst wird, hier jedoch durch eine rekursive Formulierung. Der RWLS-Algorithmus basiert auf der Methode der kleinsten Quadrate. Der RWLS-Algorithmus findet die Koeffizienten, die eine gewichtete lineare Kostenfunktion der kleinsten Quadrate in Bezug auf die Eingangssignale minimieren. Er wird zur Lösung überbestimmter linearer Gleichungssysteme und insbesondere zur Schätzung von Modellparametern bei der Identifikation linearer Systeme oder in der Neuroinformatik genutzt. Die Rekursivität erlaubt die Online-Nutzung mit aktuell anfallenden Daten bei gleichbleibender Komplexität in jedem Rekursionsschritt.
4 zeigt ein Blockschaltbild mit einem Regler, alternativ kann das Blockschaltbild auch keinen Regler enthalten.
Bezugszeichenliste

1: Fahrzeug
10: Motorsteuergerät
20: Datenbus
30: Verbrennungsmotor
50: Sensoranordnung
70: Stellglieder
100; 100'; 100": Blockschaltbild
110; 110'; 110": Regler
120; 120'; 120": Regelstrecke
130; 130'; 130": Vorsteuereinheit
140; 140'; 140": Adaptionseinheit
200; 200': Störsystem
S: Stellglied
SW: Führungsgröße
SR: Stellgröße
SIST: Regelgröße
SV: Störvektor
Ŝw,eval; ŜV,eval: Aufschaltungsgröße
SE: überlagerten Stellgröße
N(Ŝw,eval, Ŝw, σ); N(Ŝv,eval,Ŝw, σ): Normalverteilungsfunktion
SG: Störgrößenvektor
λ: Verbrennungsluftverhältnis
σ: Varianz
θ: stochastisch gewällter Parametervektor
e[k]: Belohnungsfunktion
J(θ): Kostenfunktion
: Gewichtung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1507079 A2 [0003]
US 2020/0063681 A1 [0008]

Claims

Verfahren zur Optimierung eines Betriebsparameters eines Verbrennungsmotors (30), umfassend: Ermitteln einer Führungsgröße (S_w), wobei die Führungsgröße (S_w) ein Betriebsparameter des Verbrennungsmotors (30) ist; Bestimmen einer Stellgröße (S_E) basierend auf der Führungsgröße (S_w); Erfassen einer Regelgröße (S_ist); Bestimmen einer Sollwertabweichung (S_w - S_ist) basierend auf einer Abweichung der Führungsgröße (S_w) und der Regelgröße (S_ist); und Korrigieren der Stellgröße (S_E) basierend auf einer gelernten Aufschaltungsgröße (Ŝ_w,eval; Ŝ_v,eval), wobei die gelernte Aufschaltungsgröße (Ŝ_w,eval; Ŝ_v,eval) basierend auf der Führungsgröße (S_w) und der Sollwertabweichung (S_w - S_ist) gelernt ist und das Lernen der Aufschaltungsgröße (Ŝ_w,eval; Ŝ_v,eval) ein modellfreies bestärkendes Lernen umfasst.
Verfahren nach Anspruch 1, wobei das Lernen der Aufschaltungsgröße (Ŝ_w,eval; Ŝ_v,eval) basierend auf einer gewichteten Regression optimiert wird.
Verfahren nach einem der vorherigen Ansprüche, wobei das Lernen der Aufschaltungsgröße (Ŝ_w,eval; Ŝ_v,eval) auf einem linearparametrischen Modell basiert.
Verfahren nach einem der vorherigen Ansprüche, wobei das Lernen folgende Schritte umfasst: Bestimmen einer stochastischen Aufschaltungsgröße (S_w,eval; Ŝ_v,eval), wobei die stochastische Aufschaltungsgröße (Ŝ_w,eval; Ŝ_v,eval) aus einer Normalverteilungsfunktion (N(Ŝ_w,eval,Ŝ_w,σ); N(Ŝ_v,eval,Ŝ_w,σ)) entnommen wird, wobei die Normalverteilungsfunktion ((Ŝ_w,eval,Ŝ_w,σ); N(Ŝ_v,eval,Ŝ_w,σ)) einen Mittelwert (Ŝ_w = S_w × θ; Ŝ_v = S_v × θ ) und eine Varianz (σ) umfasst.
Verfahren nach einem der vorherigen Ansprüche, wobei das Lernen folgende Schritte umfasst: Ermitteln eine Belohnungsfunktion (r[/c]), wobei die Belohnungsfunktion (r[/c]) invers proportional zur Sollwertabweichung repräsentiert; Ableiten einer Kostenfunktion (J(θ)) nach einem stochastisch gewählten Parametervektor (θ), wobei die Kostenfunktion (J(θ)) durch die Belohnungsfunktion (r[/c]) gewichtet ist; Null setzen der abgeleiteten Kostenfunktion $(\frac{d J (θ)}{d θ});$
und Auflösen der auf Null gesetzten abgeleiteten Kostenfunktion $(\frac{d J (θ)}{d θ});$
nach einem Parametervektor (θ).
Verfahren nach einem der Ansprüche 4 und 5, wobei die Aufschaltungsgröße (Ŝ_w,eval) aus einer Normalverteilungsfunktion (N(Ŝ_w,eval,Ŝ_w,σ)) des Sollwertes (S_w) entnommen wird, wobei die Kostenfunktion (J(θ)) wie folgt lautet: $J (θ) = {\sum_{k = 1}^{N} ({\hat{S}}_{w, e v a l} (k) - θ^{T} \times S_{w} (k)))}^{2} \times r [k],$
wobei Ŝ_w,eval(k) die Aufschaltungsgröße zum Zeitpunkt k, θ der Parametervektor, S_w(k) der Sollwert zum Zeitpunkt k, r[k] die Belohnungsfunktion zum Zeitpunkt k und N die Durchführungsanzahl der Optimierung des Parametervektor θ ist.
Verfahren nach einem der Ansprüche 4 und 5, wobei die Aufschaltungsgröße (Ŝ_V,eval) aus einer Normalverteilungsfunktion (N(Ŝ_v,σ)) eines Störvektors (S_v) entnommen wird, wobei die Kostenfunktion (J(θ)) wie folgt lautet: $J (θ) = {\sum_{k = 1}^{N} ({\hat{S}}_{V, e v a l} (k) - θ^{T} \times S_{V} (k)))}^{2} \times \frac{1}{e^{2} [k]},$
wobei Ŝ_v,eval(k) die Aufschaltungsgröße zum Zeitpunkt k, θ der Parametervektor, S_V(k) der Störgrößenvektor zum Zeitpunkt k, r[k] die Belohnungsfunktion zum Zeitpunkt k und N die Durchführungsanzahl der Optimierung des Parametervektor θ ist.
Verfahren nach einem der vorherigen Ansprüche, wobei die Stellgröße (S_E) anhand einer Überlagerung der Aufschaltungsgröße (Ŝ_w,eval; Ŝ_v,eval) und einer Regler-Stellgröße (S_R) eines Reglers (110) ermittelt wird.
Motorsteuergerät (10), welches dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 8 durchzuführen.
Fahrzeug (1) mit einem Motorsteuergerät (10) nach Anspruch 9.