-
Die Erfindung betrifft ein Verfahren zur Applikation eines Antriebsstrangs für ein Kraftfahrzeug gemäß dem Oberbegriff von Patentanspruch 1.
-
Ein solches Verfahren zur Applikation eines Antriebsstrangs für ein Kraftfahrzeug, insbesondere für einen Kraftwagen, ist beispielsweise bereits der
DE 10 2017 201 632 A1 als bekannt zu entnehmen. Bei dem Verfahren werden mittels einer elektronischen Recheneinrichtung Kennwerte beziehungsweise Parameter von Funktionsalgorithmen zum Betreiben des Antriebsstrangs eingestellt, während der Antriebsstrang gemäß wenigstens einem vorgegebenen Ablaufplan, insbesondere auf einem Prüfstand, betrieben wird. Des Weiteren offenbart die
DE 196 41 762 A1 eine Steuerungsvorrichtung für ein automatisches Stufenwechselgetriebe.
-
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zu schaffen, mittels welchem ein Antriebsstrang für ein Kraftfahrzeug besonders zeitgünstig appliziert werden kann.
-
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den übrigen Ansprüchen angegeben.
-
Um ein Verfahren der im Oberbegriff des Patentanspruchs 1 angegebenen Art derart weiterzuentwickeln, dass der Antriebsstrang besonders zeit- und somit kostengünstig appliziert werden kann, ist es erfindungsgemäß vorgesehen, dass die elektronische Recheneinrichtung die Funktionsalgorithmen und die auch als Parameter, Kenngrößen oder Steuerungsparameter bezeichneten Kennwerte anhand von bestärkendem Lernen ermittelt, wobei die Verwendung eines Vorhersagemodells zum Einstellen der Kennwerte unterbleibt. Unter der Applikation des Antriebsstrangs ist insbesondere zu verstehen, dass die Kennwerte der Funktionsalgorithmen kalibriert werden, sodass die Applikation des Antriebsstrangs auch als Kalibrierung des Antriebsstrangs bezeichnet wird. Insbesondere erfolgt im Rahmen der Applikation eine Parametrierung wenigstens einer Software, welche, insbesondere von einem elektronischen Rechner des Antriebsstrangs, ausgeführt wird, um dadurch den Antriebsstrang zu betreiben. Die Funktionsalgorithmen und insbesondere die eingestellten beziehungsweise parametrierten Kennwerte bestimmen beziehungsweise definieren ein Verhalten oder eine Reaktion des Antriebsstrangs bei beziehungsweise auf jeweilige Situationen, das heißt insbesondere Eingangsgrößen. Das Verhalten des Antriebsstrangs wird dabei durch die Güte der Applikation mitbestimmt. Üblicherweise existiert eine hohe Anzahl an einzustellenden Kennwerten, sodass eine demgegenüber ungleich größere Anzahl an Kombinationen von möglichen Kennwerten der Funktionsalgorithmen existiert. Ziel der Applikation ist es üblicherweise, die Kennwerte und somit ihre Kombination derart einzustellen, dass sich der Antriebsstrang auf gewünschte Weise verhält, das heißt dass der Antriebsstrang beziehungsweise dessen Verhalten bei vorgebbaren oder vorgegebenen Randbedingungen wenigstens ein vorgebbares oder vorgegebenes Kriterium erfüllt. Das Kriterium umfasst beispielsweise, dass ein Energieverbrauch des Antriebsstrangs bei einem unter den Randbedingungen stattfindenden Betrieb des Antriebsstrangs möglichst gering ist. Um nun die Funktionsalgorithmen und Kennwerte besonders zeit- und somit kostengünstig ermitteln zu können, insbesondere derart, dass der Antriebsstrang beziehungsweise dessen Verhalten das Kriterium erfüllt, ist es erfindungsgemäß vorgesehen, dass die elektronische Recheneinrichtung die Funktionsalgorithmen und die Kennwerte anhand von bestärkendem Lernen ermittelt, wobei die Verwendung eines Vorhersagemodells zum Einstellen der Kennwerte unterbleibt. Das bestärkende Lernen wird auch als verstärkendes Lernen oder Reinforcement Learning bezeichnet und steht für eine oder mehrere Methoden des maschinellen Lernens, wobei ein Agent selbstständig eine Strategie erlernt, um wenigstens eine oder mehrere Belohnungen, sogenannte Rewards, zu maximieren. Somit ist es im Rahmen des erfindungsgemäßen Verfahrens vorgesehen, dass die Funktionsalgorithmen und die Kennwerte mittels der elektronischen Recheneinrichtung anhand von bestärkendem Lernen automatisch ermittelt werden. Die Erfindung ermöglicht somit eine automatische Ermittlung der Funktionsalgorithmen zum Steuern und/oder Regeln eines Antriebsstrangs sowie eine automatische Applikation beziehungsweise ein automatisches Kalibrieren des beispielsweise als elektrifizierter oder elektrischer Antriebsstrang ausgebildeten Antriebsstrangs mithilfe von Reinforcement Learning. Dabei liegen der Erfindung insbesondere die folgenden Erkenntnisse zugrunde: Innovationen in Antriebssträngen und dabei vor allem die zunehmende Hybridisierung wie beispielsweise 48-Volt-Bordnetze mit elektrischem Zusatzverdichter, elektrische Maschinen in serieller oder paralleler Anordnung, Rekuperationsmöglichkeiten, aber auch Systeme zur Flexibilisierung des Ladungswechsels in einem Verbrennungsmotor bieten immer mehr Freiheitsgrade. Zwar ist diese Fülle an Freiheitsgraden gewünscht, um betriebspunktabhängig die bestmöglichen Eigenschaften zu erzielen, doch steigen damit auch die mit Algorithmen zu beschreibenden Funktionen sowie die zu definierenden und auch als Parameter oder Steuerparameter bezeichneten Kenngrößen in der Entwicklung, der Applikation und der Abstimmung. Gegenstand der Erfindung ist somit ein Verfahren zum automatisierten oder automatischen Finden vorteilhafter Funktionsbeschreibungen und Applikationen von Kennwerten, sowie einer vorteilhaften Kombination der Kennwerte, wodurch der Antriebsstrang beispielsweise in besonders kurzer Zeit und somit kostengünstig entwickelt werden kann und/oder eine besonders hohe Güte der Applikation realisiert werden kann.
-
Beim Reinforcement Learning (RL) handelt es sich um einen Agenten, der mit seiner Umgebung interagiert und ein Optimum für sequentielle Entscheidungsprobleme durch intelligentes Trial-and-Error (Versuch und Irrtum) lernt. Bezogen auf die Erfindung ist die Umgebung das Verhalten des Antriebsstrangs beziehungsweise die Reaktion des Antriebsstrangs, insbesondere auf einem Prüfstand, wobei der Antriebsstrang auf dem Prüfstand vorgegebene Fahrprofile wiederholt abfährt. Somit ist beispielsweise das jeweilige Fahrprofil der wenigstens eine Ablaufplan, gemäß welchem der Antriebsstrang, insbesondere auf dem Prüfstand, betrieben wird, um dadurch die Kennwerte und insbesondere ihre Kombination einzustellen.
-
Die zuvor genannte Interaktion des Agenten ist das Variieren, das heißt das Einstellen der Kennwerte, insbesondere aller Komponenten des Antriebsstrangs. Bei den Komponenten handelt es sich beispielsweise um einen Verbrennungsmotor, um eine oder mehrere elektrische Maschinen, um ein Getriebe, um einen Ventiltrieb des Verbrennungsmotors, um eine Einspritzanlage des Verbrennungsmotors sowie gegebenenfalls um weitere Größen in Bezug auf eine Abgasrückführung, eines auch als Wastegate bezeichneten Umgehungsventils und/oder eines elektrischen Zusatzverdichters, Elektromotor oder Elektromotoren, Getriebegang, Leistungen von Kühl- beziehungsweise Temperierkreisläufen etc. Somit können die Kennwerte beispielsweise Einspritzparameter wie Drücke umfassen, gemäß welchen ein insbesondere flüssiger Kraftstoff in wenigstens einen Brennraum des Verbrennungsmotors eingebracht, insbesondere direkt eingespritzt, wird.
-
Während der Agent trainiert wird, werden beispielsweise Zielgrößen, die auf dem Prüfstand gemessen werden, ausgewertet und zu einer auch als Reward bezeichneten Belohnung gewichtet. Der Agent optimiert seine Handlungen, mit dem Ziel, die Belohnung über eine Sequenz von Entscheidungen zu maximieren. Durch Veränderung der Gewichte und der Zielgrößen lassen sich unterschiedliche Schwerpunkte in der Applikation setzen, um beispielsweise einen höchstmöglichen Komfort, geringstmögliche Emissionen, geringstmöglichen Verbrauch und/oder höchstmögliche, insbesondere spezifische, Leistung des Antriebsstrangs zu realisieren.
-
Das Training des Agenten erfolgt insbesondere zunächst für viele, stationäre Lastpunkte entlang des gesamten Drehzahl- und Drehmomentbereichs, insbesondere des Verbrennungsmotors. Ist für diese die eine optimale Strategie gefunden, dann werden beispielsweise viele, kurze Lastsequenzen abgefahren, bei denen beispielsweise simuliert wird, dass der Fahrer vom Gas geht oder das Kraftfahrzeug von 0 Kilometer pro Stunde auf 100 Kilometer pro Stunde beschleunigt. In einer dritten Trainingskampagne werden auf dem bisher Gelernten aufbauend dann realistische Strecken wiederholt abgefahren, bis auch hierfür eine optimale Strategie gefunden wurde. Idealerweise erfolgt das gesamte Training zunächst anhand eines digitalen Modells des Antriebsstrangs (x-in-the-Loop-Ansatz), um schnell eine hohe Anzahl an Iterationen (> 1000) abfahren und bewerten zu können. Im Vergleich zu herkömmlichen Lösungen ermöglicht das Verfahren die Realisierung von verbesserten Leistungs-, Verbrauchs- oder Emissionseigenschaften etc. Von Antriebssträngen in Abhängigkeit von einem Einsatzfeld ohne zeitaufwendigen, manuellen Abstimmungsaufwand des Systems.
-
Im Gegensatz zu herkömmlichen Ansätzen, bei welchen wenigstens ein Vorhersagemodell zum Einsatz kommt, kann dadurch, dass erfindungsgemäß kein Vorhersagemodell zum Einsatz kommt, auf vorhandene beziehungsweise alte gültige Funktionsalgorithmen und Kalibrierungsdatensätze zu Beginn des Verfahrens verzichtet werden. Außerdem können deutlich mehr Komponenten, Funktionen und auch neue Einflussparameter berücksichtigt werden. Vorzugsweise ist es im Rahmen des erfindungsgemäßen Verfahrens vorgesehen, dass der gesamte, insbesondere elektrische, Antriebsstrang in seinen Wechselwirkungen als Ganzes kalibriert und somit appliziert wird. Dadurch kann der Antriebsstrang mit einer hohen Güte sowie zeit- und kostengünstig appliziert beziehungsweise kalibriert werden.
-
In vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass als der Antriebstrang ein elektrifizierter Antriebsstrang oder ein elektrischer Antriebsstrang appliziert wird.
-
In vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass die Funktionsalgorithmen zum Betreiben eines Verbrennungsmotors, insbesondere eines Ventiltriebs und/oder einer Einspritzanlage und/oder einer Abgasrückführung und/oder eine Turbine eines Abgasturboladers des Verbrennungsmotors, und/oder wenigstens einer elektrischen Maschine und/oder wenigstens eines Getriebes und/oder wenigstens eines elektrischen Verdichters vorgesehen sind.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Zeichnung zeigt in:
- 1 ein Flussdiagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens zur Applikation eines Antriebsstrangs für ein Kraftfahrzeug, insbesondere für einen Kraftwagen wie beispielsweise einen Personenkraftwagen; und
- 2 Flussdiagramme zum weiteren Veranschaulichen des Verfahrens.
-
1 zeigt ein Flussdiagramm, anhand dessen im Folgenden ein Verfahren zur Applikation eines Antriebsstrangs für ein Kraftfahrzeug, insbesondere für einen vorzugsweise als Personenkraftwagen ausgebildeten Kraftwagen, veranschaulicht wird. Bei dem Verfahren werden mittels einer elektronischen Recheneinrichtung, insbesondere eines Prüfstands, Kennwerte von Funktionsalgorithmen, insbesondere zum Betreiben des Antriebsstrangs, eingestellt. Die Funktionsalgorithmen werden von einem auch als Steuergerät bezeichneten, elektronischen Rechner des Antriebsstrangs ermittelt und durchgeführt beziehungsweise ausgeführt, um mittels der Funktionsalgorithmen und insbesondere unter Verwendung der Kennwerte den Antriebsstrang zu betreiben, insbesondere in Abhängigkeit von Randbedingungen oder Eingangsgrößen, die das Steuergerät beispielsweise auf Basis von Sensorsignalen empfängt. Die Funktionsalgorithmen werden mittels der elektronischen Recheneinrichtung ermittelt und die Kennwerte eingestellt, das heißt bestimmt beziehungsweise ermittelt und insbesondere variiert, während der Antriebsstrang gemäß wenigstens einem vorgegebenen Ablaufplan, insbesondere auf dem Prüfstand, betrieben wird. Der Ablaufplan ist beispielsweise ein Fahrprogramm, anhand dessen eine Fahrt des Kraftfahrzeugs simuliert wird. Insbesondere wird mittels des Fahrprogramms simuliert, dass der Antriebsstrang das Kraftfahrzeug während der Fahrt antreibt.
-
Um nun den Antriebsstrang besonders zeit- und kostengünstig applizieren beziehungsweise kalibrieren zu können, ermittelt die elektronische Recheneinrichtung die Funktionsalgorithmen und deren Kennwerte anhand von bestärkendem Lernen ein, wobei die Verwendung eines Vorhersagemodells zum Einstellen der Kennwerte unterbleibt.
-
In 1 ist durch einen Block 10 der Prüfstand veranschaulicht, auf welchem der Antriebsstrang gemäß dem Ablaufplan betrieben wird. Der Ablaufplan umfasst beispielsweise das zuvor genannte, jeweilige Fahrprofil, insbesondere mit stationären Lastpunkten, Lastsequenzen und/oder einer Teststrecke. In 1 ist durch einen Block 12 das bestärkende Lernen veranschaulicht, welches auch als verstärkendes Lernen bezeichnet ist. Insbesondere veranschaulicht der Block 12 einen Lernalgorithmus, auf Basis dessen das bestärkende Lernen ausgeführt wird.
-
Während der Antriebsstrang gemäß dem Ablaufplan betrieben wird, das heißt beispielsweise während der Antriebsstrang das jeweilige Fahrprofil abfährt, werden, insbesondere auf dem Prüfstand, Zielgrößen beziehungsweise deren Werte gemessen. Die Werte der Zielgrößen sind somit Messergebnisse, welche dadurch ermittelt werden, dass die Zielgrößen während des Betriebs des Antriebsstrangs gemessen werden. Die Zielgrößen umfassen beispielsweise Emissionen, einen Verbrauch, insbesondere Kraftstoff- oder Energieverbrauch, eine Reichweite, eine Rundenzeit, eine Laufruhe, einen Ruck, eine Langlebigkeit, eine Elastizität, eine Beschleunigungszeit etc. Wie in 1 durch einen Pfeil 14 veranschaulicht ist, werden die Zielgrößen beziehungsweise ihre Werte und somit die Messergebnisse dem Lernalgorithmus zugeführt. Wie ferner durch einen Pfeil 16 veranschaulicht ist, werden dem Lernalgorithmus Zustandsgrößen zugeführt. Die Zustandsgrößen sind beispielsweise eine Öltemperatur, eine Wassertemperatur, ein Ladezustand einer Batterie, eine Temperatur der Batterie, ein Motorprogramm, eine Außentemperatur, ein Signal einer Klopfregelung, ein Ladedruck, ein Getriebegang, eine Fahrpedalstellung etc. Die Zustandsgrößen beziehungsweise ihre Werte werden während des Betriebs des Antriebsstrangs auf dem Prüfstand ermittelt, insbesondere gemessen, und - wie in 1 durch den Pfeil 16 veranschaulicht ist - dem Lernalgorithmus (Block 12) zugeführt. Die Zustandsgrößen beziehungsweise ihre Werte sowie die Zielgrößen beziehungsweise ihre Werte resultieren aus dem Einstellen der Kennwerte und definieren somit ein Verhalten beziehungsweise eine Reaktion des Antriebsstrangs auf das Fahrprofil und somit auf vorgebbare und vorgegebene Randbedingungen. In Abhängigkeit von den Zustandsgrößen und den Zielgrößen beziehungsweise in Abhängigkeit von den Werten der Zustandsgrößen und in Abhängigkeit von den Werten der Zielgrößen stellt der Lernalgorithmus, wie in 1 durch einen Pfeil 18 veranschaulicht ist, die Kennwerte ein. Darunter ist insbesondere zu verstehen, dass der Lernalgorithmus die Kennwerte variiert, insbesondere so lange, bis die Kennwerte so eingestellt sind und in einer solchen Kombination vorliegen, dass der Antriebsstrang beziehungsweise sein Verhalten wenigstens ein vorgegebenes oder vorgebbares Kriterium erfüllt. Das Kriterium umfasst beispielsweise, dass wenigstens eine der Zielgrößen ein vorgebbares oder vorgegebenes Kriterium erfüllt und somit beispielsweise unterhalb einer Grenze ist oder eine Grenze überschreitet. Die Kennwerte werden auch als Parameter, Steuerparameter oder Applikationsparameter bezeichnet und umfassen beispielsweise Motorparameter pro Zylinder wie beispielsweise einen oder mehrere Öffnungszeitpunkte pro Gaswechselventil, einen oder mehrere Schließzeitpunkte pro Gaswechselventil, einen Hub pro Gaswechselventil, eine Öffnungsform pro Gaswechselventil, eine oder mehrere Einspritzmengen, einen oder mehrere Einspritzzeitpunkte, einen oder mehrere Zündzeitpunkte, einen elektrischen Zusatzverdichter, eine Abgasrückführrate, ein auch als Wastegate bezeichnetes Umgehungsventil zum Einstellen eines Ladedrucks eines Abgasturboladers etc. Alternativ oder zusätzlich können die Applikationsparameter eine Zu- und/oder Abschaltung wenigstens einer oder mehrerer elektrischer Maschinen und/oder eine Ansteuerung von wenigstens einem oder mehreren Kühl- oder Temperierkreisläufen umfassen. Die sich auf das jeweilige Gaswechselventil beziehenden Applikationsparameter sind beispielsweise abhängig von vorhandenen Freiheitsgraden in einem Ventiltrieb zum Betätigen des jeweiligen Gaswechselventils. Der Ventiltrieb kann beispielsweise einen Nockenwellensteller aufweisen, mittels welchem eine Nockenwelle eines Verbrennungsmotors des Antriebsstrangs relativ zu einer beispielsweise als Kurbelwelle ausgebildeten Abtriebswelle des Verbrennungsmotors verdreht werden kann.
-
Die Zielgrößen werden beispielsweise gemessen und somit ausgewertet und zu einer auch als Reward bezeichneten Belohnung gewichtet. Im Rahmen des bestärkenden Lernens optimiert ein Agent seine Handlungen, mit dem Ziel, die Belohnung zu maximieren. Durch Veränderung der Gewichtung der Zielgrößen lassen sich unterschiedliche Schwerpunkte und somit Belohnungen in der Applikation setzen. Zunächst wird beispielsweise die Belohnung als eine Reward- oder Belohnungsfunktion berechnet, insbesondere mittels Gewichtung der gemessenen Zielgrößen. Dann werden beispielsweise die Applikationsparameter beziehungsweise zustandsabhängige Sätze der Applikationsparameter insbesondere unter Beibehaltung oder Einhaltung von Nebenbedingungen zur Vermeidung von beispielsweise Bauteilbeschädigungen variiert. Die Nebenbedingungen enthalten beispielsweise eine Temperatur-, Drehzahl-, Ladestrom-, Klopfgrenze etc.
-
2 zeigt weitere Ablaufdiagramme zum weiteren Veranschaulichen des Verfahrens. Ein in 2 mit D1 bezeichnetes Ablaufdiagramm veranschaulicht eine Vorbereitung, anhand derer das bestärkende Lernen vorbereitet wird. Bei einem ersten Schritt S1 wird beispielsweise die Belohnungsfunktion definiert. Bei einem zweiten Schritt S2 erfolgt eine Definition einer zur simulierenden oder auf dem Prüfstand zu fahrenden Referenzstrecke, sodass beispielsweise bei dem zweiten Schritt S2 eine Definition des Ablaufplans erfolgt, gemäß welchem der Antriebsstrang betrieben wird. Bei einem dritten Schritt S3 erfolgt beispielsweise eine Definition aller Zustandsgrößen, insbesondere aus Fahrpedalstellungen und am Prüfstand gemessenen Werten beziehungsweise aus der Simulation. Bei einem vierten Schritt S4 erfolgt eine Definition der Grenzen der jeweiligen, gegebenenfalls zustandsabhängigen Applikationsparameter.
-
Ein in 2 gezeigtes Flussdiagramm D2 veranschaulicht ein auch als Lernen bezeichnetes Training des Agenten und somit die eigentliche Applikation. Bei einem Block 20 wird beispielsweise ein Long Short Term Memory (LSTM) Neuronal Network initialisiert, insbesondere mit Zufallswerten. Bei einem Block 22 erfolgt ein Ansteuern der Applikationsparameter gemäß der von dem, insbesondere neuronalen, Netz vorgeschlagenen Aktion. Bei einem Block 24 erfolgt ein Auswerten der Belohnung der Aktion beziehungsweise Aktionen. Bei einem Block 26 wird überprüft, ob eine Grenze der Iterationen erreicht ist. Bei einem Block 28 erfolgt eine Anpassung der Gewichte des Netzes hinsichtlich aufkumulierter Belohnung.
-
Bezugszeichenliste
-
- 10
- Block
- 12
- Block
- 14
- Pfeil
- 16
- Pfeil
- 18
- Pfeil
- 20
- Block
- 22
- Block
- 24
- Block
- 26
- Block
- 28
- Block
- D1
- Flussdiagramm
- D2
- Flussdiagramm
- S1
- erster Schritt
- S2
- zweiter Schritt
- S3
- dritter Schritt
- S4
- vierter Schritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017201632 A1 [0002]
- DE 19641762 A1 [0002]
