AT525983A4

AT525983A4 - Vorrichtung und Verfahren zur Steuerung eines Antriebsstrangs eines Hybridfahrzeugs

Info

Publication number: AT525983A4
Application number: ATA50386/2022A
Authority: AT
Inventors: Mousa Amr
Original assignee: Avl List Gmbh
Priority date: 2022-05-31
Filing date: 2022-05-31
Publication date: 2023-10-15
Also published as: DE102023114132A1; CN117141450A; AT525983B1

Abstract

Die vorliegende Erfindung betrifft eine Steuervorrichtung (110, 502) zur Steuerung eines Antriebsstrangs (100, 504) eines Hybridfahrzeugs auf einer Fahrtroute zur Erreichung eines Steuerziels, umfassend: eine regelbasierte Auswahleinrichtung (514), einen von der regelbasierten Auswahleinrichtung (514) in Abhängigkeit des Fahrzeugstatus konfigurierbaren Modus-Enabler (512), und einen mit dem Modus-Enabler (512) in signaltechnischer Verbindung stehenden Agenten (280, 402, 510), wobei der Agent (280, 402, 510) eine auf Bestärkendem Lernen basierende Konfiguration aufweist, die auf während eines Betriebs oder während einer Simulation des Hybridfahrzeugs aufgenommenen Daten basiert, und der Agent (280,402,510) dazu eingerichtet ist, auf Grundlage der Konfiguration des Modus-Enablers (512) einen Betriebsmodus aus wenigstens einem unveränderlichen Betriebsmodi und/oder wenigstens einem veränderlichen Betriebsmodus zur Vornahme von Einstellungen des Antriebsstrangs (100, 504) auszuwählen.

Description

Vorrichtung und Verfahren zur Steuerung eines Antriebsstrangs eines

Hybridfahrzeugs

Die vorliegende Erfindung betrifft eine Steuervorrichtung zur Steuerung eines Antriebsstrangs eines Hybridfahrzeugs auf einer Fahrtroute zur Erreichung eines Steuerziels und ein Verfahren zur Steuerung eines Antriebsstrangs eines Hybridfahrzeugs auf einer Fahrtroute. Die Steuervorrichtung basiert auf einer intelligenten funktionalen Architektur, die regelbasierte mit durch Bestärkendem Lernen

getroffene Auswahlprozessen miteinander kombiniert.

Die Hauptaufgabe von Steuervorrichtungen zur Steuerung eines Antriebsstrangs eines Hybridfahrzeugs besteht darin, Betriebspunkte für Komponenten des Antriebsstrangs, also einer Brennkraftmaschine, Elektromotor(en), einer Batterie, Getriebe, Kupplungen usw. zu finden, die einem gewünschten Steuerungsziel gerecht werden und gleichzeitig bestimmte Vorgaben in Bezug auf Sicherheit, Diagnose und Schutz der Antriebsstrangkomponenten erfüllen. Das Steuerungsziel ist ein Optimierungsziel eines Parameters wie beispielsweise Kraftstoffverbrauch, Gesamtwirkungsgrad des Systems, Emissionen, oder der Lebensdauer von Komponenten des Antriebsstrangs.

Steuervorrichtungen zur Steuerung eines Antriebsstrangs eines Hybridfahrzeugs spielen eine koordinierende Rolle, indem sie die Anforderungen des Fahrers, die Fahrsituation und den Zustand der Komponenten beobachten, die Betriebspunkte der Komponenten des Antriebsstrangs festlegen und die entsprechenden Anforderungen an

die Komponenten des Antriebsstrangs weiterleiten.

Im Allgemeinen kann man den Betriebsraum von Hybridfahrzeugen in quasistationäre Hybridmodi mit kurzen dynamischen Übergangsphasen zwischen ihnen unterteilen. Bekannte Beispiele für Hybridmodi sind rein elektrisches Fahren, Rekuperation, Zusatzboost und Lademodus. Diese Betriebsarten sind durch die spezifischen Einstellungen der Komponentenbetriebspunkte gekennzeichnet. Beim rein elektrischen Fahren in einem Elektroantriebsmodus beispielsweise wird die Traktion nur von einer

oder mehreren elektrischen Maschinen übernommen, während die Brennkraftmaschine

von der Traktion abgekoppelt ist. Beim Zusatzboost-Modus tragen sowohl die Brennkraftmaschine als auch die Elektrische Maschine mit einem positiven Drehmoment zur Traktion bei. Beim Lademodus wird das Motordrehmoment über das gewünschte Traktionsmoment hinaus verschoben, und die elektrische Maschine oder die elektrischen Maschinen bringen ein negatives Drehmoment auf, wodurch die Batterie geladen wird. Einige dieser Modi sind durch vordefinierte Regeln festgelegt. Beispielsweise ist beim rein elektrischen Fahren das Drehmoment der elektrischen Maschine gleich dem gewünschten Traktionsmoment. Die Brennkraftmaschine wird beim rein elektrischen Fahren abgestellt und vom Antrieb abgekoppelt, andere

Komponenten des hybriden Antriebsstrangs unterliegen einer Optimierung.

Sehr oft werden die Hybridbetriebsarten in den bei der Steuerung von Antriebssträngen eines Hybridfahrzeugs nicht explizit berücksichtigt, und die Optimierung wird direkt für die Aufteilung des Drehmoments zwischen Motor und E-Motoren durchgeführt, ohne Bezugnahme auf die Betriebsarten. Eine explizite Aufteilung des Betriebsraums in die

Betriebsmodi hat jedoch einige Vorteile, die im Folgenden erörtert werden.

Bei einem solchen Ansatz kann eine Optimierungsaufgabe in zwei hierarchische Teilaufgaben aufgeteilt werden: Einer Optimierung des Betriebs innerhalb eines Betriebsmodus und einer Auswahl eines Betriebsmodus. Das zu erreichende Optimum bezieht sich häufig nicht nur auf ein einzelnes Steuerziel, sondern auf eine gewichtete Kombination verschiedener Steuerziele, die manchmal im Widerspruch zueinander stehen können. Steuerziele können beispielsweise sein oder umfassen: Maximierung der Systemeffizienz, Minimierung der Emissionen und NVH (Noise, Vibration, Harshness), Erhöhung der Haltbarkeit einzelner oder aller Komponenten des Antriebsstrangs und Erhöhung des Fahrkomforts. Die Gewichtung der Ziele kann sich in verschiedenen Fahrsituationen ändern. Vor diesem Hintergrund wird deutlich, dass die Bewertung und Auswahl von Betriebsmodi ebenfalls keine triviale Aufgabe ist, insbesondere wenn der Betriebsraum in mehrere Betriebsmodi unterteilt ist, prädiktive Informationen verfügbar sind und/oder zusätzliche Optimierungsziele berücksichtigt

werden sollen.

Steuervorrichtungen zur Steuerung von Antriebssträngen sind außerdem Regulierungen unterworfen, die von gesellschaftlichen, politischen und technologischen Entwicklungen beeinflusst werden. Einerseits impliziert die Notwendigkeit einer

2

Verringerung des Energieverbrauchs und der Emissionen im realen Fahrbetrieb eine Optimierung des Fahrzeugbetriebs online, also während der Fahrt. Andererseits ist in den letzten Jahren eine Vielzahl neuer Fahrzeugfunktionen entstanden, wie beispielsweise autonomes Fahren, vorausschauende Funktionen, Flottenmanagement oder Fahrzeugindividualisierung. Diese beiden Trends haben auch einen großen Einfluss auf die Steuerung von Hybridfahrzeugen: neue zusätzliche Faktoren und eine komplizierte Kombination von Zielen beeinflussen die Optimierungsentscheidungen erheblich.

Dieses Optimierungsproblem kann durch konventionelle regelbasierte Steuerungen mit offline kalibrierten Regeln aus den folgenden Gründen nicht mehr gelöst werden: Der Ansatz der Kalibrierungsregeln basiert im Allgemeinen auf Offline-Optimierungen von Kalibrierungsparametern, die für einige wenige Fahrzyklen durchgeführt werden. Eine Optimierung im realen Fahrbetrieb müsste eine weitaus größere Anzahl an Situationen abdecken, die größtenteils nicht durch einen nur kurzen Testbetrieb unter

Laborbedingungen abgedeckt werden.

Die Anzahl der notwendigen Kalibrierungsparameter und deren gegenseitige Beeinflussungsmöglichkeiten steigt mit größer werdender Anzahl an Komponenten des hybriden Antriebsstrangs und der Anzahl an Optimierungszielen stark an, so dass ein üblicherweise bei regelbasierten Steuerungen vorhandener Vorteil von Transparenz

und Erklärbarkeit der Steuerungsauswahl ohnehin weitgehend verschwindet.

Ferner steigen auch der Aufwand und die Kosten für die Kalibrierung mit steigender Anzahl an Kalibrierungsparametern stark an.

Eine der vielversprechenden Technologien, die zur Überwindung dieser Probleme beitragen kann, ist die Künstliche Intelligenz (Kl), insbesondere das Bestärkende Lernen (engl. Reinforcement Learning, RL). Das Thema hybride Steuerungen auf der Basis von RL-Algorithmen wurde in den letzten Jahren von Entwicklern als eine potenzielle Lösung für einige der bestehenden Probleme erachtet. In den meisten Veröffentlichungen zu diesem Thema wird nur der Teil der Energiemanagementoptimierung betrachtet, der vollständig durch RL ersetzt wird. Dieser Ansatz hat jedoch die folgenden Nachteile.

Es ist zunächst schwierig, RL-Algorithmen zur Online-Steuerung von Fahrzeugen in Echtzeit zu realisieren, da deren Anwendung sehr rechenintensiv ist. Weiterhin machen Systembeschränkungen, Sicherheitsaspekte, Diagnoseeinrichtungen und Komponentenschutzthemen einen Großteil der Steuerungen für Antriebsstränge von Hybridfahrzeugen aus und werden von RL-Steuereinrichtungen nicht berücksichtigt,

was einen RL-Ansatz auf Prototypen und Demonstrationsfahrzeuge einschränkt.

Die der Erfindung zugrundeliegende Aufgabe besteht darin, die vorgenannten Nachteile

zu überwinden.

Diese Aufgabe wird gelöst durch eine Vorrichtung gemäß Anspruch 1 und ein Verfahren

gemäß Anspruch 9.

Gemäß einem ersten Aspekt liefert die Erfindung eine Steuervorrichtung zur Steuerung eines Antriebsstrangs (100, 504) eines Hybridfahrzeugs auf einer Fahrtroute zur Erreichung eines Steuerziels, umfassend: eine regelbasierte Auswahleinrichtung, einen von der regelbasierten Auswahleinrichtung in Abhängigkeit des Fahrzeugstatus konfigurierbaren Modus-Enabler, und einen mit dem Modus-Enabler in signaltechnischer Verbindung stehenden Agenten, wobei der Agent eine auf Bestärkendem Lernen basierende Konfiguration aufweist, die auf während eines Betriebs oder während einer Simulation des Hybridfahrzeugs aufgenommenen Daten basiert, und der Agent dazu eingerichtet ist, auf Grundlage der Konfiguration des Modus-Enablers einen Betriebsmodus aus einem unveränderlichen Betriebsmodi und/oder wenigstens einem veränderlichen Betriebsmodus zur Vornahme von

Einstellungen des Antriebsstrangs auszuwählen.

Der Modus-Enabler ist entsprechend einer Vorauswahl an Betriebsmodi konfigurierbar. Gemäß dieser Vorauswahl kann aus mehreren grundsätzlich zur Verfügung stehenden unveränderlichen und veränderlichen Betriebsmodi beispielsweise lediglich ein unveränderlicher Betriebsmodus, oder mehrere veränderliche Betriebsmodi oder ein unveränderlicher Betriebsmodus und ein veränderlicher Betriebsmodus ausgewählt

werden.

Die Steuervorrichtung dient der Steuerung eines Antriebsstrangs eines Hybridfahrzeugs auf einer aktuell befahrenen Fahrtroute. Der Antriebsstrang des Hybridfahrzeugs kann

4

insbesondere ein Antriebsstrang eines Plug-In-Hybridfahrzeugs sein und umfasst eine Brennkraftmaschine und eine elektrische Maschine. Die Steuervorrichtung dient grundsätzlich der Steuerung während eines Fahrbetriebs des Hybridfahrzeugs. Die Fahrtroute kann eine vorprogrammierte Fahrtroute und/oder auf eine durch Komponenten des Antriebsstrangs antizipierte vor dem Fahrzeug liegende Fahrtroute sein. Als Fahrtroute kann insbesondere auch lediglich ein Streckenabschnitt erachtet werden. Der Fahrzeugstatus kann neben Fahrzeugbetriebsparametern auch ebenfalls Informationen bezüglich der Fahrtroute umfassen. Unveränderliche Betriebsmodi können von der Steuereinrichtung nicht verändert werden und reagieren somit auf gleiche Eingaben auf immer gleiche Weise. Veränderliche Betriebsmodi sind durch Bestärkendes Lernen vom Agenten anpassbar und daher grundsätzlich von Daten abhängig, die während eines Betriebs des Hybridfahrzeugs oder während einer Simulation des Hybridfahrzeugs aufgenommen wurden. Die Daten können beispielsweise Umgebungsdaten zur Umgebung, Fahrzeugdaten zum Fahrzeug, Betriebsdaten, die den Betrieb des Fahrzeugs beschreiben oder auch Fahrerdaten zum Zustand der das Fahrzeug fahrenden Person umfassen.

Vorteile werden erzielt, wenn der unveränderliche Betriebsmodus ein Zusatzboost-

Modus, oder ein Rekuperationsmodus oder ein Stoppmodus ist.

Der Zusatzboost-Modus, der Rekuperationsmodus und Stoppmodus können grundsätzlich in jedem Auswahlprozess zur Verfügung stehen, wobei aber nach der von der regelbasierten Auswahleinrichtung jeweils nur einer der unveränderlichen Betriebsmodi und gegebenenfalls ein oder mehrere veränderliche Betriebsmodi dem Agenten zur Auswahl übergeben wird. Der Zusatzboost-Modus wird aktiviert, wenn das angeforderte Drehmoment bei bestimmten Drehzahlen über dem maximalen Drehmoment der Brennkraftmaschine liegt. Das Maximaldrehmoment der Brennkraftmaschine ist als Komponentenbegrenzung im PHEV-System definiert, die nicht durch die HCU-Entscheidung außer Kraft gesetzt werden kann. Der Rekuperationsmodus wird immer dann gewählt, wenn das angeforderte Drehmoment negativ ist. Mit den Kalibrierungsparametern in P2-PHEV wurde der SoC-Bereich für die Rekuperation auf 94 % bis 21 % festgelegt. Stopp/Stillstand wird als fester Modus

betrachtet, da er aktiviert wird, wenn sowohl das geforderte Drehmoment als auch die

Geschwindigkeit gleich Null sind.

Weitere Vorteile werden erreicht, wenn der wenigstens eine frei wählbare Betriebsmodus einen Verbrennermodus und/oder einen Elektroantriebsmodus und/oder

einen Ladeoptimierungsmodus umfasst.

Vorzugsweise kann vorgesehen sein, dass der Agent ferner dazu eingerichtet ist auf Grundlage der Konfiguration des Modus-Enablers (512) einen Betriebsmodus aus

einem Notlaufmodus auszuwählen...

Ein Notlaufmodus wird gewählt, wenn der Ladezustand der Batterie nahe einer Mindestschwelle liegt, um die Lebensdauer der Batterie zu schützen. Eine Mindestschwelle kann bei einem Ladezustand von 20 % liegen. Die Brennkraftmaschine arbeitet einem Notfallmodus in der Regel nicht an optimalen Lastpunkten, sondern an Lastpunkten, bei denen ein Minimum des Kraftstoffverbrauchs, insbesondere ein globales Minimum des Kraftstoffverbrauchs liegt. Um das globale Minimum des Kraftstoffverbrauchs zu finden, muss der Agent in den Zeitsegmenten, in denen veränderliche Betriebsmodi verfügbar sind, nach der optimalen Auswahl der Modi suchen.

Weitere Vorteile werden erreicht, wenn der Notlaufmodus wenigstens einen

Leerlaufmodus und/oder einen Minimalverbrauchsmodus umfasst.

Insbesondere kann vorgesehen sein, dass der Antriebsstrang eine P2-Architektur

aufweist, bei der eine elektrische Maschine am Getriebeeingang angeordnet ist.

In der P2-Architektur, die auch als P2-Plug-In-Hybrid-Architektur bezeichnet wird, ist die elektrische Maschine am Eingang des Getriebes angeordnet, was eine Entkopplung der Brennkraftmaschine von der elektrischen Maschine über eine Kupplung ermöglicht. Hierdurch werden Schleppmoment Verluste reduziert und dadurch größere Effizienzgewinne durch eine Auswahl und Steuerung der Betriebsmodi ermöglicht.

7728

Es werden ebenfalls Vorteile erreicht, wenn der Antriebsstrang eine P2-Architektur, eine

P3-Architektur oder eine P4-Architektur aufweist.

Bei der P3-Architektur ist die elektrische Maschine am Getriebeabtrieb angeordnet. Die hinter dem Getriebe angeordnete elektrische Maschine wirkt direkt auf das Differenzial. Die P3-Architektur liefert bei der Rekuperation einen sehr hohen Wirkungsgrad, weil es unabhängig von sämtlichen mechanischen und hydraulischen Verluste von Motor und Getriebe ist. Die P4-Architektur bedeutet, dass eine elektrisch angetriebene Sekundärachse, beispielsweise die Hinterachse vorhanden ist. Die Leistung einer EAchse in P4-Architektur ist einfach skalierbar. Der Raumbedarf der P4-Architektur ist ähnlich hoch wie das Verteilergetriebe eines Allradantriebs. Die Erfindung liefert bietet besondere Vorteile, wenn jeder der P2-, P3- und P4-Architekturen eingesetzt wird.

Besonders bevorzugt kann vorgesehen sein, dass der Agent eine Netzwerkstruktur

einer künstlichen Intelligenz, insbesondere eines Deep-Q-Netzwerks umfasst.

Die Netzwerkstruktur einer künstlichen Intelligenz, insbesondere eines Deep-QNetzwerks ist ein künstliches neuronales Netz, das auf einer Sammlung miteinander verbundener Einheiten oder Knoten basiert, die als künstliche Neuronen bezeichnet werden und die Neuronen eines biologischen Gehirns nachbilden. Jede Verbindung kann, wie die Synapsen im biologischen Gehirn, ein Signal an andere Neuronen übertragen. Ein künstliches Neuron empfängt Signale, verarbeitet sie und kann den mit ihm verbundenen Neuronen Signale geben. Das "Signal" an einer Verbindung ist eine reelle Zahl, und die Ausgabe jedes Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingaben berechnet. Die Verbindungen werden als Kanten bezeichnet. Neuronen und Kanten haben in der Regel ein Gewicht, das sich im Laufe des

Lernprozesses anpasst.

Weitere Vorteile sind zu erreichen, wenn der Agent einen Anwendungsbereich und

einen vom Anwendungsbereich unabhängigen Trainingsbereich umfasst.

Der Anwendungsbereich ist dazu eingerichtet, während des Betriebs des Fahrzeugs Konfigurationen und/oder Einstellungen des Antriebsstrangs vorzunehmen. Der Trainingsbereich dient dazu, die Konfiguration des Agenten mit Bestärkendem Lernen

anzupassen.

Weiter vorzugsweise ist vorgesehen, dass die Steuervorrichtung dazu eingerichtet ist,

den Betriebsmodus in aufeinander folgenden Zeitschritten jeweils neu auszuwählen.

Die Zeitschritte können insbesondere auch periodisch aufeinander folgen.

Gemäß einem zweiten Aspekt liefert die Erfindung Verfahren zur Steuerung eines Antriebsstrangs eines Hybridfahrzeugs auf einer Fahrtroute zur Erreichung eines Steuerziels, umfassend die Schritte: Konfigurieren eines Modus-Enablers mit einer regelbasierten Auswahleinrichtung in Abhängigkeit des Fahrzeugstatus; Übermitteln der Konfiguration des Modus-Enablers an einen Agenten, wobei der Agent eine auf Bestärkendem Lernen basierende Konfiguration aufweist, die auf während eines Betriebs oder während einer Simulation des Hybridfahrzeugs aufgenommenen Daten basiert, und Auswählen eines Betriebsmodus zur Vornahme von Einstellungen des Antriebsstrangs auf Grundlage der Konfiguration des Modus-Enablers aus einem unveränderlichen Betriebsmodi und/oder wenigstens einem veränderlichen

Betriebsmodus mit dem Agenten.

Bei dem Verfahren gemäß dem zweiten Aspekt der Erfindung ist vorzugsweise vorgesehen, dass das Verfahren ferner den Schritt umfasst: Einrichten des Agenten mit während eines Betriebs oder einer Simulation des

Hybridfahrzeugs aufgenommenen Daten über bestärkendes Lernen.

Vorzugsweise kann vorgesehen sein, dass das Verfahren von einer Steuervorrichtung

nach einem der Ansprüche 1 bis 8 durchgeführt wird.

Nachfolgend wird die Erfindung anhand von in den Zeichnungen dargestellten Ausführungsbeispielen näher erläutert. Hierbei zeigen schematisch:

Figur 1 einen Antriebsstrang eines Hybridfahrzeugs mit einer P2-Plug-In-Hybrid-

Konfiguration;

Figur2 einen exemplarischen Aufbau einer rein regelbasierten Steuervorrichtung

eines hybriden Antriebsstrangs;

Figur3 einen exemplarischen Aufbau einer Steuervorrichtung eines hybriden

Antriebsstrangs gemäß einer besonderen Ausführungsform der Erfindung; Figur4 eine konventionelle RL-Architektur; Figur5 eine hybride RL-Architektur;

Figur6 eine Struktur eines auf Bestärkendem Lernen basierten

Entscheidungssystems eines Agenten; und

Figur 7 eine Struktur eines auf Bestärkendem Lernen basierten Entscheidungssystems eines Agenten mit einem Modus-Enabler

Figur 1 zeigt einen Antriebsstrang 100 eines Hybridfahrzeugs mit einer P2-Plug-InHybrid-Konfiguration, die auch als P2-Konfiguration bezeichnet wird. Der Antriebsstrang 100 umfasst eine Steuervorrichtung 110, eine Brennkraftmaschine 112, ein Getriebe 114 und eine von einer Batterie 116 über einen Wandler 118 gespeiste Elektrische Maschine 120. Die Brennkraftmaschine 112 und die elektrische Maschine 120 können in das Getriebe 114 eingreifen. Im Unterschied zu anderen Konfigurationen von Antriebssträngen ist in der P2-Konfiguration zwischen der Brennkraftmaschine 112 und der elektrischen Maschine 120 eine Kupplung 122 angeordnet, mit der die Brennkraftmaschine 112 von der elektrischen Maschine 120 und dem Getriebe 114 abgekoppelt werden kann. Die Abkopplung bei dieser Konfiguration ermöglicht einen rein elektrischen Antrieb mit hohem Wirkungsgrad ohne Schleppmomentverluste durch die Brennkraftmaschine 112.

Die Brennkraftmaschine 112, das Getriebe 114, die Batterie 116, der Wandler 118, die elektrische Maschine 120 und die Kupplung sind Komponenten des Antriebsstrangs 100, die jeweils einen oder mehrere Betriebspunkte aufweisen. Neben diesen Komponenten kann der Antriebsstrang 100 weitere Komponenten aufweisen, welche

aus Gründen der Übersichtlichkeit nicht explizit dargestellt sind. Die Betriebspunkte der

Komponenten sind grundsätzlich abhängig vom jeweils gewählten Betriebsmodus.

Beispielsweise wird in einem Verbrennungsmodus die Brennkraftmaschine 112 in einem Betriebspunkt mit normaler Drehzahl betrieben. Die elektrische Maschine 120 ist ebenso wie die Batterie 116 abgeschaltet. Die Kupplung 122 ist geschlossen. Der Verbrennungsmodus kann gewählt werden, wenn das angeforderte Drehmoment kleiner als das von der Brennkraftmaschine 112 maximal bereitstellbare Drehmoment ist.

Dagegen wird in einem Elektroantriebsmodus die Brennkraftmaschine 112 abgeschaltet. Die elektrische Maschine 120 wird bei einem Antriebsbetriebspunkt betrieben, die Batterie 116 entladen, während die Kupplung 122 offen ist. Diese Betriebsmodus kann gewählt werden, wenn das angeforderte Drehmoment kleiner als das von der elektrischen Maschine 120 maximal bereitstellbare Drehmoment ist.

In einem Ladeoptimierungsmodus ist das angeforderte Drehmoment niedriger als der effiziente Lastpunkt. Dementsprechend wird das Drehmoment der Brennkraftmaschine 112 auf ein höheres und effizienteres Niveau angehoben, und das zusätzliche Drehmoment wird zum Laden der Batterie 116 durch den Generatorbetrieb der elektrischen Maschine 120 verwendet.

Die Steuervorrichtung 110 ist dazu eingerichtet, Informationen über den Zustand der einzelnen Komponenten des Antriebsstrangs 100 zu empfangen und Steuersignale an einzelne Komponenten des Antriebsstrangs 100 zu senden. In Figur 1 ist aus Gründen der Übersichtlichkeit lediglich eine solche Verbindung der Steuervorrichtung 110 mit der Brennkraftmaschine 112 dargestellt. Grundsätzlich ist jedoch vorgesehen, dass die Steuervorrichtung 110 Informationen über den Zustand mehrerer oder aller Komponenten des Antriebsstrangs 100 zu empfangen und Steuersignale an mehrere oder alle Komponenten des Antriebsstrangs 100 zu senden.

Die Hauptaufgabe der Steuervorrichtung 110 besteht darin, Betriebspunkte für die Komponenten des hybriden Antriebsstrangs 100 zu finden, die den gewünschten Optimierungszielen gerecht werden.

Die Steuervorrichtung 110 beobachtet die Anforderungen des Fahrers des Fahrzeugs,

die Fahrsituation und den Zustand der Komponenten, legt die Betriebspunkte der

10

Antriebsstrangkomponenten fest und sendet die entsprechenden Anforderungen an die

Antriebsstrangkomponenten.

Im Allgemeinen kann man den von den Betriebspunkten der Komponenten aufgespannten Betriebsraum von Hybridfahrzeugen in quasistationäre Betriebsmodi mit kurzen dynamischen Übergangsphasen zwischen diesen unterteilen. Einige dieser Betriebsmodi sind durch vordefinierte Regeln festgelegt. Beispielsweise entspricht beim rein elektrischen Fahren das Drehmoment der elektrischen Maschine 120 gleich dem gewünschten Traktionsmoment. Die Brennkraftmaschine 112 wird abgestellt und vom Getriebe 114 abgekoppelt. Andere Betriebsmodi können hinsichtlich ihrer Betriebspunkte einer Optimierung unterliegen und werden als veränderliche Betriebsmodi bezeichnet.

Wird der Betriebsraums in die Betriebsmodi unterteilt, kann eine Optimierungsaufgabe in zwei Teilaufgaben aufgeteilt werden. Die erste Teilaufgabe ist eine Optimierung des Betriebs innerhalb jedes Betriebsmodus. Die zweite Teilaufgabe ist die Auswahl des Betriebsmodus. Ein zu erreichendes Optimum kann dabei insbesondere eine gewichtete Kombination verschiedener Ziele sein. Die Ziele können dabei im Widerspruch zueinanderstehen. Exemplarische Optimierungsziele können sein: Maximierung der Systemeffizienz, Minimierung der Emissionen und NVH, Erhöhung der Haltbarkeit von Komponenten und Erhöhung des Komforts. Die Gewichtung der Ziele kann sich in verschiedenen Fahrsituationen ändern. Vor diesem Hintergrund ist die Bewertung und Auswahl von Hybridmodi ebenfalls keine triviale Aufgabe, insbesondere wenn der Betriebsraum in mehrere Betriebsmodi zerlegt wird, prädiktive Informationen verfügbar sind und/oder eine zusätzliche Optimierungsdimension einbezogen wird. Beispielsweise liegt die Auswahl des Getriebegangs in der Verantwortung der Steuervorrichtung.

Figur 2 zeigt einen exemplarischen Aufbau 200 einer Steuervorrichtung eines hybriden Antriebsstrangs 100, bei der kein Bestärkendes Lernen eingesetzt wird, sondern stattdessen ausschließlich regelbasierte Entscheidungspfade genutzt werden.

In einem Beobachter-Subsystem 210 ermitteln Beobachtungseinrichtungen 212, 214

Daten von unterschiedlichen Komponenten des hybriden Antriebsstrangs 100. Das

11

Beobachter-Subsystem 210 umfasst Softwarekomponenten zur Aufbereitung von Informationen von Sensoren und Steuereinheiten, die für die Steuerung des hybriden Antriebsstrangs 100 benötigt werden und stellt diese an seinem Ausgang bereit.

Eine erste Beobachtungseinrichtung 212 ermittelt und definiert das zur Verfügung stehende Drehmoment und Leistungskapazitäten des hybriden Antriebsstrangs 100 und stellt diese Werte an seinem Ausgang bereit. Die Definition der Drehmoment- und Leistungsgrenzen von hybridem Antriebsstrang 100, Brennkraftmaschine 112 und elektrischer Maschine 120 findet auf Grundlage des aktuellen Zustands der Fahrzeugkomponenten und Antriebsstrangkomponenten statt.

Eine zweite Beobachtungseinrichtung 214 hat die Aufgabe der Erfassung und Bestimmung von Motorstoppfreigaben und Startanforderungen vom Antriebssystem und den Komponenten des hybriden Antriebsstrangs 100. Zu den Motorstoppfreigaben und Startanforderungen gehören Voraussetzungen dazu, unter welchen Bedingungen Teile des hybriden Antriebsstrangs 100, insbesondere die elektrische Maschine und die

Brennkraftmaschine gestartet und gestoppt werden können oder müssen.

In einem Drehmomentbestimmungseinheit 220 wird der Bedarf an Drehmoment bestimmt. Hierzu wird mit einer Gaspedalbestimmungseinheit 222 über die Stellung des Gaspedals das vom Fahrer angeforderte Drehmoment bestimmt. In einer Bremspedalbestimmungseinheit 224 wird die Stellung des Bremspedals ermittelt. In einer Antriebsmomentbestimmungseinheit 226 werden die Informationen zu den Stellungen des Gaspedals und des Bremspedals zusammengeführt und der geforderte Bedarf an Drehmoment bestimmt.

Der in der Antriebsmomentbestimmungseinheit 226 bestimmte Bedarf an Drehmoment, und das in den Beobachtungseinrichtungen 212, 214 ermittelte momentan bereitgestellte Drehmoment und die Start- und Stopp-Bedingungen des hybriden Antriebsstrangs 100 werden in einer Betriebsmodiberechnungseinheit 230 zusammengeführt und dazu genutzt, Effizienzen und/oder andere Bewertungskriterien verschiedener Betriebsmodi zu berechnen. Die verschiedenen Betriebsmodi umfassen einen elektrischen Betriebsmodus 232 (Elektromodus), einen RekuperationsBetriebsmodus 234, einen Booster-Betriebsmodus 236 und andere Betriebsmodi 238.

12

Eine Auswahl unterschiedlicher Betriebsmodi, die von der Betriebsmodiberechnungseinheit 230 in bewertet werden, zusammen mit Einstellungen von einigen wesentlichen Komponenten des hybriden Antriebsstrangs 100 und einer Zuordnung zu einem angeforderten Drehmoment Trea, bei dem der jeweilige Betriebsmodus gewählt werden kann, ist in Tabelle 1 aufgelistet.

angefordertes Drehzahl d. Elektrische

Betriebsmodus Drehmoment | Brennkraftma. Maschine Batterie |Kupplung opt. 'norm.. aus |Motor Generatoj Laden :Entl.| zu auf

Verbrennermodus |Treg> X Pi X - - X X cErsatzboost Treg>TeKkm/ Tem X - - X - - X X Ladeoptimierung |T,egTabelle 1: Einstellungen von Komponenten des Antriebsstrangs bei unterschiedlichen Betriebsmodi Die berechneten Bewertungskriterien werden gemeinsam an eine Betriebsmodibewertungseinheit 240 übergeben. In der Betriebsmodibewertungseinheit 240 nimmt eine Rating-Einheit 242 eine Bewertung der verschiedenen Betriebsmodi vor, übergibt diese Bewertung an eine Selektionseinheit 244. Erst die Selektionseinheit 244 trifft die Auswahl, welcher der Betriebsmodi zum aktuellen Zeitpunkt ausgewählt wird und übergibt diesen an eine Steuereinheit 250. In der Steuereinheit 250 wird der Antriebsstrang dynamisch gesteuert. Die Steuerung wird ausgeführt von einer Begrenzungseinheit 252, einer Sequenzeinheit 254 und einer Koordinierungseinheit 256 und findet in Abhängigkeit des ausgewählten Betriebsmodus statt. In der Begrenzungseinheit 252 werden das Drehmoment und andere Limitierungen überprüft und eingestellt. Der Begrenzungsbereich erhält seinen Input aus der Selektionseinheit 244, der Sequenzeinheit 254 und der Koordinierungseinheit 256. Die Sequenzeinheit 254 implementiert Startsequenzen und Stoppsequenzen der 13

Die berechneten Bewertungskriterien werden gemeinsam an eine Betriebsmodibewertungseinheit 240 übergeben. In der Betriebsmodibewertungseinheit 240 nimmt eine Rating-Einheit 242 eine Bewertung der verschiedenen Betriebsmodi vor, übergibt diese Bewertung an eine Selektionseinheit 244. Erst die Selektionseinheit 244 trifft die Auswahl, welcher der Betriebsmodi zum aktuellen Zeitpunkt ausgewählt wird und übergibt diesen an eine Steuereinheit 250.

In der Steuereinheit 250 wird der Antriebsstrang dynamisch gesteuert. Die Steuerung wird ausgeführt von einer Begrenzungseinheit 252, einer Sequenzeinheit 254 und einer Koordinierungseinheit 256 und findet in Abhängigkeit des ausgewählten Betriebsmodus statt. In der Begrenzungseinheit 252 werden das Drehmoment und andere Limitierungen überprüft und eingestellt. Der Begrenzungsbereich erhält seinen Input aus der Selektionseinheit 244, der Sequenzeinheit 254 und der Koordinierungseinheit

256. Die Sequenzeinheit 254 implementiert Startsequenzen und Stoppsequenzen der

13

elektrischen Maschine 120 und der Brennkraftmaschine 112. In dieser wird festgelegt, ob und wann die elektrische Maschine 120 und/oder die Brennkraftmaschine 112 gestartet oder gestoppt wird. Die Sequenzeinheit 254 erhält ihren Input von der Selektionseinheit 244 und dem Koordinierungseinheit 256. Die Koordinierungseinheit 256 führt eine dynamische Koordinierung der Sequenzeinheit 254 und der

Begrenzungseinheit 252 durch.

Erst die von der Begrenzungseinheit 252 überprüften und koordinierten Werte, insbesondere in Bezug zur Drehmomentfilterung werden an die

Antriebsstrangsteuerung 260 des hybriden Antriebsstrangs 100 übergeben.

Figur 3 zeigt einen Aufbau 300 einer Steuereinheit 110 eines hybriden Antriebsstrangs 100 gemäß einer besonderen Ausführungsform der Erfindung.

Der Aufbau 300 ist gegenüber dem Aufbau 200 in mehreren Punkten abgeändert. Die Änderungen betreffen insbesondere die zusätzliche Nutzung von Systemen, die auf Bestärkendem Lernen (Reinforcement Learning, RL) basieren, explizit die zusätzlich vorhandenen Systeme einer Umgebungsdaten-Sammeleinrichtung 270 und einem über bestärkendem Lernen konfigurierbaren Agenten 280.

Die Umgebungsdaten-Sammeleinrichtung 270 umfasst eine Aufbereitungseinrichtung 272 und eine Belohnungsberechnungseinrichtung 274. Die Aufbereitungseinrichtung 272 ist dazu eingerichtet, die vom Beobachter-Subsystem 210 erfassten und an die Umgebungsdaten-Sammeleinrichtung 270 weitergegebenen Informationen in einer vom Agenten 280 benötigten Form aufzubereiten. Diese Form wird oft als Beobachtung („observation“) bezeichnet. Die Belohnungsberechnungseinrichtung 274 ist dazu eingerichtet, eine Belohnung und/oder eine Strafe zu berechnen, die durch die Merkmale der eingesetzten Strategie definiert ist. Die Belohnung repräsentiert die zu optimierenden Kontrollziele, die den Kraftstoffverbrauch und/oder den Energieverbrauch, die Emissionen, die Bewertung des Fahrerkomforts, NVH, das Fahrverhalten des Fahrzeugs usw. umfassen können. An ebendiesen Kriterien wird auch die Strafe berechnet, sollten diese Ziele nicht erreicht werden. Die berechnete Belohnung und/oder Strafe wird an den Agenten 280 übermittelt.

14

Der Agent 280 kann in einen Anwendungsbereich 282 und einen Trainingsbereich 283

eingeteilt werden.

Der Anwendungsbereich 282 umfasst eine Strategieeinrichtung 284 basierend auf Verstärkendem Lernen und einen Modus-Enabler 285. Die Strategieeinrichtung 284 stellt das aktuelle Wissen dar, das der Agent 280 über die Umgebung und die ausgeführte Strategie während des Betriebs erworben hat. Der Modus-Enabler 285 ist ein Filter, der den Raum an zur Verfügung stehenden Betriebsmodi um nicht zur Auswahl stehende Betriebsmodi reduziert. In einer besonderen Ausführungsform der Erfindung ist der Modus-Enabler 285 ein Vektor dessen Länge der Anzahl der verfügbaren Betriebsmodi entspricht. Der Vektor des Modus-Enablers 285 wird zusätzlich zum Zustand als Eingabe für die Strategieeinrichtung 284 verwendet, um bei jedem Zeitschritt über einen gewählten Betriebsmodus zu entscheiden.

Der Trainingsbereich umfasst einen Erfahrungsspeicher 286 und einen Lernalgorithmus 288. Der Erfahrungsspeicher 286 sammelt und speichert die Erfahrungen des Agenten 280 bei der Interaktion des Fahrzeugs mit der Umgebung. Der Erfahrungsspeicher 286 ist dazu eingerichtet, Informationen zur Umgebung, zum Zustand des Antriebsstrangs 100, zum von der Steuervorrichtung 110 gewählten Betriebsmodus und zur Belohnung

zu speichern.

Der Lernalgorithmus 288 ist verantwortlich für das Ziehen einer bestimmten Anzahl von Erfahrungsinstanzen, lernt aus ihnen gemäß dem vordefinierten Lernalgorithmus und

aktualisiert die RL-Strategie mit einer neuen, "erfahreneren" Version.

Ein Vorteil der vorgeschlagenen Architektur ist, dass der Agent 280 zwei unabhängige Bereiche mit unterschiedlichen Funktionalitäten hat, nämlich einen Anwendungsbereich 282 und einen Trainingsbereich 283. Der Anwendungsbereich ist an der Ausführung einer vortrainierten Strategie beteiligt, um über eine Aktion zu entscheiden. Dieses Vorgehen wird oft als Offline-RL bezeichnet. Der Trainingsbereich 283 trainiert dagegen die aktuelle Strategie anhand der gesammelten Erfahrungen online und wird auch als Online-RL bezeichnet. Dies bedeutet, dass die Trainingsfunktionalität vollständig von der Betriebsfunktionalität getrennt und auf einer separaten Recheneinheit oder in der Cloud ausgeführt werden kann.

15

Die Einbeziehung von Systembeschränkungen, Sicherheit, Diagnose und Schutz in den Algorithmus wird durch die Technik der Aktionsmaskierung erreicht. Die von den Systemfunktionen auferlegten Randbedingungen werden als "Modus-Enabler"-Vektor definiert, der vom Agenten 280 bei der Auswahl der geeigneten Aktion in jedem Zeitschritt berücksichtigt wird. Auf diese Weise werden vom Agenten 280 nur die Betriebsmodi ausgewählt, die aus Sicht des Systems zulässig sind, wodurch Verstöße vermieden werden. Der vom Agenten 280 ausgewählte Betriebsmodus wird an die Selektionseinheit 244 zurück übermittelt, die diese Information auf gleiche Weise prozessiert, wie einen durch einen konventionellen Auswahlprozess getroffenen

Betriebsmodus.

Eine konventionelle RL-Architektur 400 ist in Abbildung 4 dargestellt, in der der Agent 402 eine Aktion 404 entsprechend seiner Strategie frei wählt und die Umgebung 406 mit dem Systemzustand 408 und der Belohnung 410 reagiert. In Abhängigkeit von dem Systemzustand 108 und der Belohnung 110 wählt der Agent 402 anschließend eine neue Aktion 404 aus, um die Belohnung 408 zu vergrößern. Eine Aktion kann beispielsweise die Auswahl eines Betriebszustands sein.

Abbildung 5 zeigt eine hybride RL-Architektur 500, die auf der Idee der Aktionsmaskierung basiert.

Die Steuervorrichtung 502 ist signaltechnisch mit einem hybriden Antriebsstrang 504 eines Hybridfahrzeugs (nicht explizit dargestellt) verbunden. Ein Steuersignal 506 wird von der Steuervorrichtung 502 an den hybriden Antriebsstrang 504 zur Vornahme von Einstellungen des hybriden Antriebsstrangs 504 gesendet. Der hybride Antriebsstrang 504 ist mit einer Vielzahl von Sensoren (nicht explizit dargestellt) ausgestattet und überträgt seinen Status 508 zurück an die Steuervorrichtung 502.

Der Status 508 umfasst ebenso wie in der konventionellen RL-Architektur 400 einen Systemzustand 518 und eine Belohnung 520. Diese Daten werden intern in der Steuervorrichtung von einer regelbasierten Auswahleinrichtung 514 an einen Agenten 510 übertragen.

Die regelbasierte Auswahleinrichtung 514 ist dazu eingerichtet, in Abhängigkeit des Fahrzeugstatus, einen oder mehrere Betriebsmodi aus einer Anzahl von

unveränderlichen Betriebsmodi und/oder einer Anzahl von veränderlichen auszuwählen.

16

Die Auswahl dient der Vornahme von Einstellungen des hybriden Antriebsstrangs 504. Die regelbasierte Auswahleinrichtung 514 ist ferner dazu eingerichtet, unter voreingestellten Fahrbedingungen und/oder Umgebungsbedingungen während des Betriebs einen Modus-Enabler 512 entsprechend der getroffenen Auswahl zu konfigurieren. Der Modus-Enabler 512 ist ein logischer Vektor, dessen Werte üblicherweise als ‚logische Null‘ ‚0‘ oder als ‚logische eins‘ ‚1‘ gewählt werden und über den ermöglicht wird, einzelne veränderliche Betriebsmodi des Agenten freizuschalten. Der logische Vektor des Modus-Enabler 512 wird von der regelbasierten Auswahleinrichtung 514 konstruiert und an den Agenten 510 übermittelt.

Der Agent 510 ist eine auf Bestärkendem Lernen basierende Auswahleinrichtung. Im Betrieb erhält der Agent 510 Eingangsvariablen basierend auf dem Systemzustand 518 und wählt über das dem Bestärkenden Lernen zugrundeliegende neuronale Netzwerk den präferierten Betriebsmodus aus. Der präferierte Betriebsmodus wird von einer Kontrolleinheit 516 verarbeitet und an die regelbasierte Auswahleinrichtung 514

übertragen.

Der von dem Agenten 510 ausgewählte präferierte Betriebsmodus ist ein veränderlicher Betriebsmodus oder ein unveränderlicher Betriebsmodus und kann Betriebspunkte für Komponenten des Antriebsstrangs umfassen. Die vom Agenten 510 getroffene Auswahl basiert auf der dem Agenten 510 zugrunde liegenden Strategie, die wiederum auf verstärktem Lernen basiert und über die Belohnung 520 veränderlich ist. Dieser Steuerung liegt zugrunde, dass zunächst die regelbasierte Auswahleinrichtung 514 über die verfügbaren Betriebsmodi entscheidet, aus denen der Agent 510 gemäß seiner Strategie die Auswahl des schließlich als optimal befundenen Betriebszustand trifft. Eine konkrete Implementierung dieses Mechanismus ist in Zusammenhang mit den Figuren und 6 und 7 erläutert.

Figur 6 zeigt eine Struktur 600 eines auf Bestärkendem Lernen basierten Entscheidungssystems eines Agenten 510. Die Struktur 600 ist eine Netzwerkstruktur einer künstlichen Intelligenz, in diesem Fall eines Deep-Q-Netzwerks.

In einer Eingabeschicht 610 dienen Eingangsvariablen 630 dem Netzwerk als Eingabe. Eine erste Eingangsvariablen 620 kann ein Ladezustand der Batterie sein. Eine zweite Eingangsvariable 622 kann ein aktuell anliegende Drehmoment sein. Eine dritte

17

Eingangsvariable 624 kann eine aktuell vorliegende Geschwindigkeit des Fahrzeugs sein. Eine vierte Eingangsvariable 626 kann ein aktuell gewählter Gang des Getriebes sein. Eine fünfte Eingangsvariable 628 kann ein Betriebszustand (ein oder aus) der elektrischen Maschine sein. Zusätzlich zu diesen Eingangsvariablen 630 können noch weitere Eingangsvariablen 630 vorliegen. Auch andere als die beschriebenen

Eingangsvariablen 622-628 können gewählt werden.

Neben der Eingabeschicht 610 umfasst die Struktur 600 mehrere Zwischenschichten 612 bis 616 und eine Ausgabeschicht 618. In der Ausgabeschicht 618 werden Q-Werte 632 für unterschiedliche Betriebszustände ausgegeben. Die Q-Werte 632 geben die vom Agenten 510 erwarteten Belohnungen 520 für eine in einem bestimmten Zustand ausgewählten Betriebszustand wieder. Der Agent 510 hat als Ziel, die Belohnung 520

zu optimieren.

Figur 7 zeigt eine erfindungsgemäße Struktur 700 eines auf bestärkendem Lernen basierten Entscheidungssystem eines Agenten 510. Die Struktur 700 entspricht im Wesentlichen der Struktur 600 aus Figur 6 und ist durch einem Modus-Enabler-Vektor 710 und einer Strategiemaske 712 erweitert. In der Struktur 700 wird die Ausgabeschicht 618 mit den vom künstlichen neuronalen Netz vorhergesagten QWerten 632 mit der Strategiemaske 712 multipliziert, die ein Vektor der gleichen Länge wie der Vektor des Modus-Enabler 710 ist. Die Strategiemaske 712 liefert große negative Werte für die Betriebsmodi, die durch den Modus-Enabler 710 durch einen Nullwert deaktiviert sind. In einer zweiten Ausgabeschicht 718 sind ausschließlich diejenigen Q-Werte 632 hoch, die vom Modus-Enabler 710 aktiviert wurden, also mit einer logischen 1 versehen wurden. Von der Auswahleinrichtung 514 über den ModusEnabler 710 deaktivierte Betriebsmodi erhalten automatisch einen hohen negativen Wert und können dementsprechend nicht als präferierte Betriebsmodi ausgewählt werden, sondern werden bei der vom Agenten vorgenommenen Auswahl ignoriert. Auf diese Weise werden die Systembeschränkungen vom Agenten 510 eingehalten, ohne dass es zu Verletzungen gegen diese kommt.

Die vorhergehenden Ausführungsformen beschreiben die Erfindung lediglich in Form von Beispielen.

18

Bezugszeichenliste

100 Antriebsstrang

110 Steuervorrichtung

112 Brennkraftmaschine

114 Getriebe

116 Batterie

118 Wandler

120 elektrische Maschine

122 Kupplung

200 Aufbau

210 Beobachter-Subsystem

212 Beobachtungseinrichtung

214 Beobachtungseinrichtung

220 Drehmomentbestimmungseinheit 222 Gaspedalbestimmungseinheit 224 Bremspedalbestimmungeinheit 226 Antriebsmomentbestimmungseinheit 230 Betriebsmodiberechnungseinheit 232 elektrischer Betriebsmodus

234 Rekuperations-Betriebsmodus 236 Booster-Betriebsmodus

238 andere Betriebsmodi

240 Betriebsmodibewertungseinheit 242 Rating-Einheit

244 Selektionseinheit

250 Steuereinheit

252 Begrenzungseinheit

254 Sequenzeinheit

256 Koordinierungseinheit

260 Antriebsstrangssteuerung

270 Umgebungsdaten-Sammeleinrichtung 272 Aufbereitungseinrichtung

274 Belohnungsberechnungseinrichtung 280 Agent

282 Anwendungsbereich

283 Trainingsbereich

284 Strategieeinrichtung

286 Erfahrungsbereich

288 Lernalgorithmus

300 Aufbau

400 RL-Achitektur

402 Agent

19

404 Aktion

406 Umgebung

408 Systemzustand

410 Belohnung

500 hybride RL-Architektur 502 Steuervorrichtung

504 Antriebsstrang

506 Steuersignal

508 Status

510 Agent

512 Modus-Enabler

514 Auswahleinrichtung 516 Kontrolleinheit

518 Systemzustand

520 Belohnung

600 Struktur

610 Eingabeschicht

612 erste Zwischenschicht 614 zweite Zwischenschicht 616 n-te Zwischenschicht 618 Ausgabeschicht

620 erste Eingangsvariable 622 zweite Eingangsvariable 624 dritte Eingangsvariable 626 vierte Eingangsvariable 628 fünfte Eingangsvariable 630 Eingangsvariablen 632 Q-Werte

700 Struktur

710 Modus-Enabler-Vektor 712 Strategiemaske

718 zweite Ausgabenschicht

20

Claims

Ansprüche

1. Steuervorrichtung (110, 502) zur Steuerung eines Antriebsstrangs (100, 504) eines Hybridfahrzeugs auf einer Fahrtroute zur Erreichung eines Steuerziels, umfassend: eine regelbasierte Auswahleinrichtung (514), einen von der regelbasierten Auswahleinrichtung (514) in Abhängigkeit des Fahrzeugstatus konfigurierbaren Modus-Enabler (512), und einen mit dem Modus-Enabler (512) in signaltechnischer Verbindung stehenden Agenten (280, 402, 510), wobei der Agent (280, 402, 510) eine auf Bestärkendem Lernen basierende Konfiguration aufweist, die auf während eines Betriebs oder während einer Simulation des Hybridfahrzeugs aufgenommenen Daten basiert, und der Agent (280,402,510) dazu eingerichtet ist, auf Grundlage der Konfiguration des Modus-Enablers (512) einen Betriebsmodus aus einem unveränderlichen Betriebsmodi und/oder wenigstens einem veränderlichen Betriebsmodus zur Vornahme von Einstellungen des Antriebsstrangs (100, 504)

auszuwählen.

2. Steuervorrichtung (110, 502) nach Anspruch 1, wobei der unveränderliche Betriebsmodus ein Zusatzboost-Modus, oder ein Rekuperationsmodus oder ein Stoppmodus ist.

3. Steuervorrichtung (110, 502) nach einem der vorhergehenden Ansprüche, wobei der wenigstens eine veränderliche Betriebsmodus einen Verbrennermodus und/oder einen Elektroantriebsmodus und/oder einen Ladeoptimierungsmodus

umfasst.

4. Steuervorrichtung (110, 502) nach einem der vorhergehenden Ansprüche, wobei der Agent (280, 402, 510) ferner dazu eingerichtet ist, auf Grundlage der Konfiguration des Modus-Enablers (512) einen Betriebsmodus aus einem

Notlaufmodus auszuwählen.

21

5. Steuervorrichtung (110, 502) nach einem der vorhergehenden Ansprüche, wobei der der Antriebsstrang (100, 504) eine P2-Architektur aufweist, bei der eine elektrische Maschine (120) am Getriebeeingang angeordnet ist.

6. Steuervorrichtung (110, 502) nach einem der vorhergehenden Ansprüche, wobei der Agent (280, 402, 510) eine Netzwerkstruktur einer künstlichen Intelligenz, insbesondere eines Deep-Q-Netzwerks umfasst.

7. Steuervorrichtung (110, 502) nach einem der vorhergehenden Ansprüche, wobei der Agent (280, 402, 510) einen Anwendungsbereich und einen vom Anwendungsbereich unabhängigen Trainingsbereich umfasst.

8. Steuervorrichtung (110, 502) nach einem der vorhergehenden Ansprüche, wobei die Steuervorrichtung (110, 502) dazu eingerichtet ist, den Betriebsmodus in periodisch aufeinander folgenden Zeitschritten jeweils neu auszuwählen.

9. Verfahren zur Steuerung eines Antriebsstrangs (100, 504) eines Hybridfahrzeugs

auf einer Fahrtroute zur Erreichung eines Steuerziels, umfassend die Schritte:

Konfigurieren eines Modus-Enablers mit einer regelbasierten Auswahleinrichtung in Abhängigkeit des Fahrzeugstatus;

Übermitteln der Konfiguration des Modus-Enablers an einen Agenten (280, 402, 510), wobei der Agent (280, 402, 510) eine auf Bestärkendem Lernen basierende Konfiguration aufweist, die auf während eines Betriebs oder während einer Simulation des Hybridfahrzeugs aufgenommenen Daten basiert, und

Auswählen eines Betriebsmodus zur Vornahme von Einstellungen des Antriebsstrangs (100, 504) auf Grundlage der Konfiguration des Modus-Enablers (512) aus einem unveränderlichen Betriebsmodi und/oder wenigstens einem

veränderlichen Betriebsmodus mit dem Agenten (280, 402, 510).

10. Verfahren nach Anspruch 9, ferner umfassend den Schritt:

Einrichten des Agenten (280, 402, 510) mit während eines Betriebs oder einer Simulation des Hybridfahrzeugs aufgenommenen Daten über bestärkendes Lernen.

22