DE102019117070A1 - Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines Fahrzeuges mit einem Energiemanagement - Google Patents

Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines Fahrzeuges mit einem Energiemanagement Download PDF

Info

Publication number
DE102019117070A1
DE102019117070A1 DE102019117070.2A DE102019117070A DE102019117070A1 DE 102019117070 A1 DE102019117070 A1 DE 102019117070A1 DE 102019117070 A DE102019117070 A DE 102019117070A DE 102019117070 A1 DE102019117070 A1 DE 102019117070A1
Authority
DE
Germany
Prior art keywords
reward function
energy management
sub
vehicle
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019117070.2A
Other languages
English (en)
Inventor
Andreas Heimrath
Joachim Froeschl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102019117070.2A priority Critical patent/DE102019117070A1/de
Publication of DE102019117070A1 publication Critical patent/DE102019117070A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L15/00Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles
    • B60L15/20Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles for control of the vehicle or its driving motor to achieve a desired performance, e.g. speed, torque, programmed variation of speed
    • B60L15/2045Methods, circuits, or devices for controlling the traction-motor speed of electrically-propelled vehicles for control of the vehicle or its driving motor to achieve a desired performance, e.g. speed, torque, programmed variation of speed for optimising the use of energy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B60L3/12Recording operating variables ; Monitoring of operating variables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2250/00Driver interactions
    • B60L2250/18Driver interactions by enquiring driving style
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/64Electric machine technologies in electromobility
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/72Electric energy management in electromobility

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Mechanical Engineering (AREA)
  • Marketing (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Sustainable Energy (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Hybrid Electric Vehicles (AREA)

Abstract

Bei einem Verfahren zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird, wird eine Reward-Funktion des bestärkenden-Lernen-Algorithmus in mindestens eine erste Sub-Reward-Funktion und eine zweite Sub-Reward-Funktion aufgeteilt. Die erste Sub-Reward-Funktion ist repräsentativ für eine Reward-Funktion für ein sportliches Fahren und die zweite Sub-Reward-Funktion ist repräsentativ für eine Reward-Funktion für ein effizientes Fahren. Abhängig von einer Nutzereingabe wird ein jeweiliger Gewichtungsfaktor für die erste und zweite Sub-Reward-Funktion ermittelt. Das Energiemanagement des Fahrzeuges wird abhängig von den Gewichtungsfaktoren angepasst.

Description

  • Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird. Die Erfindung betrifft des Weiteren eine Vorrichtung zum Betreiben des Fahrzeuges. Die Erfindung betrifft des Weiteren ein Computerprogramm und computerlesbares Speichermedium zum Betreiben des Fahrzeuges.
  • In Fahrzeugen können intelligente Energiemanagementsysteme verbaut sein. Derartige Systeme verfügen beispielsweise über einen bestärkenden-Lernen-Algorithmus (englisch: reinforcement learning), im Folgenden auch mit reinforcement learning bezeichnet. Bei derartigen Systemen erlernt ein Agent selbständig eine Strategie, um erhaltene Belohnungen (englisch: reward) zu maximieren. Ein derartiges System ist beispielsweise der so genannte RARL Algorithmus (siehe A. Heimrath, J. Froeschl, and U. Baumgarten, „Reflex-augmented reinforcement learning for electrical energy management in vehicles,“ in Proceedings of the 2018 International Conference on Artificial Intelligence, H. R. Arabnia, D. de La Fuente, E. B. Kozerenko, J. A. Olivas, and F. G. Tinetti, Eds. CSREA Press, 2018, pp. 429-430).
  • Die Aufgabe, die der Erfindung zugrunde liegt, ist zu einem verbesserten Energiemanagement in Fahrzeugen beizutragen.
  • Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
  • Die Erfindung zeichnet sich aus durch ein Verfahren zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird. Des Weiteren zeichnet sich die Erfindung aus durch eine Vorrichtung zum Betreiben des Fahrzeuges, die eingerichtet ist das Verfahren auszuführen.
  • Bei dem Verfahren wird eine Reward-Funktion des bestärkenden-Lernen-Algorithmus in mindestens eine erste Sub-Reward-Funktion und eine zweite Sub-Reward-Funktion aufgeteilt. Die erste Sub-Reward-Funktion ist repräsentativ für eine Reward-Funktion für ein sportliches Fahren. Die zweite Sub-Reward-Funktion ist repräsentativ für eine Reward-Funktion für ein effizientes Fahren. Abhängig von einer Nutzereingabe wird ein jeweiliger Gewichtungsfaktor für die erste und zweite Sub-Reward-Funktion ermittelt. Das Energiemanagement des Fahrzeuges wird abhängig von den Gewichtungsfaktoren angepasst.
  • Die Erfindung ist anwendbar auf alle Energiemanagementsysteme, die mit Belohnungen, also Reward-Funktionen arbeiten, also prinzipiell auf alle Energiemanagementsysteme mit einem reinforcement learning Algorithmus.
  • Bei dem Verfahren wird die von dem Energiemanagementsystem verwendete Reward-Funktion derart genutzt, dass das System nach den Wünschen des Fahrers trainiert wird. Will also ein Fahrer ein sportlicheres Fahren, so wird das Energiemanagementsystem durch Anpassung der Gewichtungsfaktoren sportlicher gelernt. Will ein Fahrer ein effizienteres Fahren, so wird das Energiemanagementsystem durch Anpassung der Gewichtungsfaktoren effizienter gelernt.
  • Hierdurch kann somit ein Energiemanagementsystem individuell an einen Fahrer angepasst werden, was zu einer besseren Leistungsverfügbarkeit und einem besseren Fahrerlebnis führt. Weiterhin kann durch die Anpassung an den Fahrer eine Steigerung von Effizienz und Reduzierung der CO2-Emissionen im verbrennungsmotorischen Betrieb und/oder eine Erhöhung der Reichweite im elektrischen Betrieb bei PHEV/BEV-Fahrzeugen erreicht werden (PHEV = Plug-in-Hybrid, also Fahrzeug mit Hybridantrieb, BEV= Battery Electric Vehicle, also Elektroauto) .
  • Die erste Sub-Reward-Funktion steht beispielsweise für eine hohe Energieverfügbarkeit und einen hohen Ladezustand eines elektrischen Energiespeichers des Fahrzeugs. Weiterhin kann ein Generator (oder bei PHEV/BEV-Fahrzeugen Degradation der Transferleistung der DC/DC-Wandler) beim Anfahren ausgekoppelt werden, um bessere Beschleunigungswerte zu erreichen.
  • In die Berechnung der ersten-Sub-Reward-Funktion gehen beispielsweise ein, ob der Ladezustand sich zu einem vorgegebenen Ziel-Ladezustand des Energiespeichers durch die Aktion des Reinforcement Learning Agents bewegt hat und eine Änderung des Ladezustands der Vorhersagen von Rekuperation und einer Motor-Start-Stop-Funktion angemessen war.
  • In die Berechnung der zweiten Sub-Reward-Funktion gehen beispielsweise eine mittlere Generatorauslastung in einem letzten Betrachtungszeitraum und mittlere Leitungsverluste im Betrachtungszeitraum ein. Für die Berechnung der mittleren Leitungsverluste ist beispielsweise ein Modell der Leitungswiderstände hinterlegt und die entsprechenden Ströme zwischen den Komponenten werden gemessen.
  • Gemäß einer optionalen Ausgestaltung wird ein wählbarer Wertebereich für jeden Gewichtungsfaktor mittels einer Simulation ermittelt.
  • Hierdurch kann einem Nutzer ein Bereich mit Werten vorgegeben werden, aus denen er den Gewichtungsfaktor bestimmen kann. Des Weiteren kann durch die Simulation ein geeigneter Initialwert für jeden Gewichtungsfaktor ermittelt werden, der initial vorausgewählt ist.
  • Zur Bestimmung des Wertebereichs wird beispielsweise in der Simulation ein Bereich von zulässigen Werten derart bestimmt, damit regulatorische Anforderungen des Fahrzeugs für Fahrzyklen wie beispielsweise WLTP erfüllt sind (WLTP: Worldwide harmonized Light vehicles Test Procedure deutsch etwa weltweit einheitliches Leichtfahrzeuge-Testverfahren, ist ein von Experten aus der Europäischen Union, Japan und Indien und nach den Richtlinien des World Forum for Harmonization of Vehicle Regulations der Wirtschaftskommission für Europa der Vereinten Nationen (UNECE) entwickeltes, Messverfahren zur Bestimmung der Abgasemissionen (Schadstoff- und CO2-Emissionen) und des Kraftstoff-/Stromverbrauchs von Kraftfahrzeugen). Dies erfolgt beispielsweise mittels eines Sampling der Gewichtungsfaktoren, einem Training des reinforcement learning Algorithmus in einem Simulator und einem Test im Simulator.
  • Gemäß einer weiteren optionalen Ausgestaltung wird ein wählbarer Wertebereich für jeden Gewichtungsfaktor abhängig von Flottendaten ermittelt.
  • Hierdurch kann einem Nutzer ein Bereich mit Werten vorgegeben werden, aus denen er den Gewichtungsfaktor bestimmen kann. Des Weiteren kann ein geeigneter Initialwert für jeden Gewichtungsfaktor ermittelt werden, der initial vorausgewählt ist.
  • Die Flottendaten repräsentieren hierbei Daten von einer Vielzahl von Fahrzeugen. Die Flottendaten werden hierzu beispielsweise in Cluster aufgeteilt abhängig von einem Merkmalsvektor, der die Verhaltensweisen Sport und Effizienz beschreibt. Der Merkmalsvektor enthält z.B. mittlere Geschwindigkeit, Längs- und Querbeschleunigung. Abhängig von diesen Daten können dann geeignete Gewichtungsfaktoren ermittelt werden optional zusätzlich abhängig von obig beschriebener Simulation.
  • Gemäß einer weiteren optionalen Ausgestaltung wird die Nutzereingabe überprüft und abhängig von der Überprüfung erfolgt ein Vorschlag zur Anpassung der Gewichtungsfaktoren.
  • Bei dem Verfahren wird das Energiemanagement des Fahrzeuges abhängig von den Gewichtungsfaktoren angepasst oder mit anderen Worten lernt das Fahrzeug mit diesen Parametern. Stellt nun das Fahrzeug fest, dass der Fahrer anders fährt als für das Lernergebnis gewünscht (bspw. Fahrer fährt sportlich, aber ein auf Effizienz trainiertes System gewünscht) erhält der Fahrer den Vorschlag das System anzupassen. Hierfür wird beispielsweise ein Fahrprofil des Fahrers mit Referenzprofilen verglichen, die beispielsweise mittels der Flottendaten ermittelt werden.
  • Gemäß einer weiteren optionalen Ausgestaltung werden die Gewichtungsfaktoren abhängig von einem Fahrprofil eines Fahrers des Fahrzeugs angepasst.
  • Wie obig beschrieben können die Verhaltensweisen Sport und Effizienz durch einen Merkmalsvektor, der für zugehörige Cluster in Flottendaten bestimmt wurde, beschrieben werden.
  • Das Verhalten des Fahrers kann mit einem Vektor mit denselben Attributen beschrieben werden und mit den Merkmalsvektoren der Flottendaten verglichen werden. Die Gewichtungsfaktoren werden dann beispielsweise durch eine Multiplikation mit einem Faktor angepasst, der das Verhältnis der Abstände des Vektors des Kunden von den Merkmalsvektoren berücksichtigt.
  • Hierdurch können Unstimmigkeiten des Fahrers automatisch korrigiert werden, z.B. falls der Fahrer denkt er fährt sportlich, im Vergleich zu der Flotte sich aber herausstellt, dass er nicht sportlich fährt.
  • Gemäß einer weiteren optionalen Ausgestaltung entspricht die Reward-Funktion folgender Gleichung: r = a ( r 1 2 + r 1 ) + b r 2   ,
    Figure DE102019117070A1_0001
    wobei r der Reward-Funktion entspricht, r1 der ersten Sub-Reward-Funktion, r2 der zweiten Sub-Reward-Funktion, a dem erstem Gewichtungsfaktor und b dem zweiten Gewichtungsfaktor.
  • Gemäß einer weiteren optionalen Ausgestaltung wird einem Fahrer vor der Nutzereingabe ein Vorschlag für die Gewichtungsfaktoren gemacht.
  • Wie obig beschrieben, kann durch Vergleich der Merkmalsvektoren ein Rückschluss darauf gemacht werden, wie der Fahrer in etwa fährt. Somit kann auch für den Fahrer ein passender Vorschlag gemacht werden, so dass dieser nicht selbst die Gewichtungsfaktoren bestimmen muss. Hierfür können zusätzlich Profile mit den Gewichtungsfaktoren von Fahrern in einem Backend gespeichert werden und Fahrern, die das gleiche Fahrverhalten zeigen, vorgeschlagen werden.
  • Gemäß einer weiteren optionalen Ausgestaltung umfasst die Nutzereingabe eine Zeitinformation zur Anpassung des Energiemanagements abhängig von der Zeitinformation.
  • Da man häufig nicht immer gleich fährt, ist es vorteilhaft, das Energiemanagement zeitgesteuert anzulernen. Eine Option besteht beispielsweise darin, dass ein Fahrer verschiedene Profile ggf. zu verschiedenen Zeiten wählen kann. Beispiel ist die Verwendung eines effizienzbetonten Profils während der Arbeitswoche und eines sportbetonten Profils am Wochenende.
  • Gemäß einer weiteren optionalen Ausgestaltung umfasst die Nutzereingabe eine Insasseninformation zur Anpassung des Energiemanagements abhängig von der Insasseninformation.
  • Es kann sein, dass man häufig nicht immer gleich fährt, abhängig davon, welche Personen im Fahrzeug sitzen. Eine Option besteht beispielsweise in der Auswahl eines Profils bei der Fahrt mit Insassen (z.B. mit den Kindern / Kindersitz).
  • Gemäß einer weiteren optionalen Ausgestaltung, werden die Gewichtungsfaktoren abhängig von einer Witterung angepasst.
  • Bei Regen, Nebel, Schnee und ähnlichem ändert sich häufig der Fahrstil. Somit kann es vorteilhaft sein das Energiemanagement automatisch durch Anpassung der Gewichtungsfaktoren abhängig von der Witterung anzupassen oder dem Fahrer einen entsprechenden Vorschlag zu unterbreiten.
  • Gemäß eines weiteren Aspekts zeichnet sich die Erfindung aus durch ein Computerprogramm zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das beschriebene Verfahren auszuführen.
  • Gemäß eines weiteren Aspekts zeichnet sich die Erfindung aus durch ein computerlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist.
  • Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnung näher erläutert. Es zeigt:
    • 1 ein Ablaufdiagramm zum Betreiben eines Fahrzeuges mit einem Energiemanagement.
  • Die 1 zeigt ein Ablaufdiagramm eines Programms zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird.
  • Eine Vorrichtung 50 ist dazu ausgebildet, das Programm abzuarbeiten. Die Vorrichtung weist hierfür insbesondere eine Recheneinheit, einen Programm- und Datenspeicher, sowie beispielsweise eine oder mehrere Kommunikationsschnittstellen auf. Der Programm- und Datenspeicher und/oder die Recheneinheit und/oder die Kommunikationsschnittstellen können in einer Baueinheit und/oder verteilt auf mehrere Baueinheiten ausgebildet sein. Die Vorrichtung 50 kann beispielsweise in einem PC ausgebildet sein.
  • Auf dem Programm- und Datenspeicher der Vorrichtung 50 ist hierfür insbesondere das Programm gespeichert.
  • Das Programm wird in einem Schritt S1 gestartet, in dem gegebenenfalls Variablen initialisiert werden können.
  • In einem Schritt S3 wird eine Reward-Funktion des bestärkenden-Lernen-Algorithmus in mindestens eine erste Sub-Reward-Funktion und eine zweite Sub-Reward-Funktion aufgeteilt.
  • Die erste Sub-Reward-Funktion ist repräsentativ für eine Reward-Funktion für ein sportliches Fahren und die zweite Sub-Reward-Funktion ist repräsentativ für eine Reward-Funktion für ein effizientes Fahren.
  • Die Reward-Funktion entspricht beispielsweise folgender Gleichung: r = a ( r 1 2 + r 1 ) + b r 2   ,
    Figure DE102019117070A1_0002
    wobei r der Reward-Funktion entspricht, r1 der ersten Sub-Reward-Funktion, r2 der zweiten Sub-Reward-Funktion, a dem erstem Gewichtungsfaktor und b dem zweiten Gewichtungsfaktor.
  • Die erste Sub-Reward-Funktion steht beispielsweise für eine hohe Energieverfügbarkeit und einen hohen Ladezustand eines elektrischen Energiespeichers des Fahrzeugs. Weiterhin kann ein Generator (oder bei PHEV/BEV-Fahrzeugen Degradation der Transferleistung der DC/DC-Wandler) beim Anfahren ausgekoppelt werden, um bessere Beschleunigungswerte zu erreichen. In die Berechnung der ersten-Sub-Reward-Funktion gehen beispielsweise ein, ob der Ladezustand sich zu einem vorgegebenen Ziel-Ladezustand Ziel-SoC des Energiespeichers durch die Aktion des Reinforcement Learning Agents bewegt hat und eine Änderung des Ladezustands der Vorhersagen von Rekuperation und einer Motor-Start-Stop-Funktion angemessen war. In die Berechnung der zweiten Sub-Reward-Funktion gehen beispielsweise eine mittlere Generatorauslastung in einem letzten Betrachtungszeitraum und mittleren Leitungsverluste im Betrachtungszeitraum ein. Für die Berechnung der mittleren Leitungsverluste ist beispielsweise ein Modell der Leitungswiderstände hinterlegt und die entbrechenden Ströme zwischen den Komponenten werden gemessen.
  • In einem Schritt S5 wird abhängig von einer Nutzereingabe ein jeweiliger Gewichtungsfaktor für die erste und zweite Sub-Reward-Funktion ermittelt wird.
  • Die Interaktion mit dem Nutzer kann per Schalter und/oder Touchscreen und/oder per Audio- und/oder Sprachassistenz und/oder per Gestik oder einer beliebigen Kombination der Genannten erfolgen.
  • Ein wählbarer Wertebereich für jeden Gewichtungsfaktor wird beispielsweise mittels einer Simulation und/oder abhängig von Flottendaten ermittelt.
  • Hierfür erfolgt beispielsweise eine Bestimmung von zulässigen Werten für a und b in einer Simulation, beispielsweise damit regulatorische Anforderungen des Fahrzeugs für Fahrzyklen erfüllt sind. Hierfür erfolgen beispielsweise ein Sampling von a und b, ein Training des Bestärkenden-Lernen-Algorithmus (reinforcement learning Algorithmus) im Simulator und ein Test im Simulator.
  • Weiterhin kann eine Nachbildung von sportlichem Fahren und effizientem Fahren aus Flottendaten von Nutzern aus Fahrzyklen ermittelt werden. Die Verhaltensweisen Sport und Effizienz werden beispielsweise durch einen Merkmalsvektor, der für zugehörige Cluster in den Flottendaten bestimmt wurde, beschrieben. Der Merkmalsvektor enthält z.B. mittlere Geschwindigkeit, Längs- und Querbeschleunigung. Anschließend können a und b mit diesen Fahrzyklen und der Simulation bestimmt werden und eine Auswahl von a und b erfolgen, die am besten regulatorische Anforderungen erfüllen.
  • Optional wird dem Fahrer vor der Nutzereingabe ein Vorschlag für die Gewichtungsfaktoren gemacht. Hierfür werden beispielswiese Profile (mit a und b) im Backend gespeichert und Fahrern, die das gleiche Fahrverhalten zeigen, vorgeschlagen.
  • Nach der Nutzereingabe können die Gewichtungsfaktoren noch angepasst werden. Beispielsweise werden die Gewichtungsfaktoren abhängig von einem Fahrprofil eines Fahrers des Fahrzeugs angepasst. Hierfür wird beispielsweise ein Merkmalsvektor des Fahrers mit Merkmalsvektoren der Cluster der Flottendaten verglichen. Die Gewichte a und b werden angepasst durch Multiplikation mit einem Faktor, der das Verhältnis der Abstände des Merkmalsvektors des Fahrers von den Merkmalsvektoren der Flottendaten berücksichtigt.
  • Die Nutzereingabe kann zusätzlich eine Zeitinformation umfassen zur Anpassung des Energiemanagements abhängig von der Zeitinformation (abhängig vom Wochentag, Arbeitstag, Wochenende, usw.).
  • Die Nutzereingabe kann zusätzlichen eine Insasseninformation umfasst zur Anpassung des Energiemanagements abhängig von der Insasseninformation(abhängig davon, ob der Fahrer alleine ist, ob ein Kind im Fahrzeug ist, ob ein Beifahrer im Fahrzeug ist, usw.).
  • Die Gewichtungsfaktoren können abhängig von einer Witterung angepasst werden (bei Regen, Nebel, Schnee, usw.).
  • Die Nutzereingabe erfolgt beispielsweise über eine GUI. Beispielsweise wird der Nutzer zuerst gefragt wie er fahren möchte. In diesem Menü kann der Fahrer dann ein vorgegebenes sportliches Profil mit vorgegeben Werten von a und b, ein vorgegebenes effizientes Profil mit vorgegeben Werten von a und b oder ein individuelles Profil mit einstellbaren Werten von a und b wählen.
  • Bei der individuellen Einstellung kann a beispielsweise mit „Sport“ gekennzeichnet sein und b mit „Effizienz“ und der Fahrer kann für beide Werte eine Einstellung wählen, beispielsweise visualisiert mit einer Anzahl von Balken (4 Balken bei Sport = Sehr sportlich, 0 Balken bei Sport = nicht sportlich), und/oder visualisiert mit konkreten Werten.
  • Weiterhin kann eine Information darüber erfolgen, wie lange das Energiemanagementsystem schon individuell angelernt wird, bspw. mit einer Aussage (z.B. „Ich lerne seit 2 Monaten, wie ich dich unterstützen kann).
  • In einem Schritt S7 wird das Energiemanagement des Fahrzeuges abhängig von den Gewichtungsfaktoren angepasst. Mit anderen Worten wird die Reward-Funktion angepasst, so dass der bestärkenden-Lernen-Algorithmus diese neue individuelle Funktion nutzt.
  • In einem Fahrbeitrieb kann die Nutzereingabe überprüft werden und abhängig von der Überprüfung ein Vorschlag zur Anpassung der Gewichtungsfaktoren erfolgen. Stellt im Betrieb das Fahrzeug fest, dass der Fahrer anders fährt als für das Lernergebnis gewünscht (bspw. Fahrer fährt sportlich, aber ein auf Effizienz trainiertes System gewünscht) erhält der Fahrer den Vorschlag das System anzupassen. Hierfür wird beispielsweise ein Fahrprofil des Fahrers mit Referenzprofilen verglichen, die beispielsweise mittels der Flottendaten ermittelt werden.
  • Anschließend wird das Programm beendet (Schritt S9) und kann gegebenenfalls wieder in dem Schritt S1 gestartet werden.

Claims (13)

  1. Verfahren zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird, bei dem eine Reward-Funktion des bestärkenden-Lernen-Algorithmus in mindestens eine erste Sub-Reward-Funktion und eine zweite Sub-Reward-Funktion aufgeteilt wird, wobei die erste Sub-Reward-Funktion repräsentativ ist für eine Reward-Funktion für ein sportliches Fahren und die zweite Sub-Reward-Funktion repräsentativ ist für eine Reward-Funktion für ein effizientes Fahren, abhängig von einer Nutzereingabe ein jeweiliger Gewichtungsfaktor für die erste und zweite Sub-Reward-Funktion ermittelt wird, das Energiemanagement des Fahrzeuges abhängig von den Gewichtungsfaktoren angepasst wird.
  2. Verfahren nach Anspruch 1, wobei ein wählbarer Wertebereich für jeden Gewichtungsfaktor mittels einer Simulation ermittelt wird.
  3. Verfahren nach Anspruch 1 oder 2, wobei ein wählbarer Wertebereich für jeden Gewichtungsfaktor abhängig von Flottendaten ermittelt wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei nach Anpassung des Energiemanagements, die Nutzereingabe überprüft wird und abhängig von der Überprüfung ein Vorschlag zur Anpassung der Gewichtungsfaktoren erfolgt.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gewichtungsfaktoren abhängig von einem Fahrprofil eines Fahrers des Fahrzeugs angepasst werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Reward-Funktion folgender Gleichung entspricht: r = a ( r 1 2 + r 1 ) + b r 2   ,
    Figure DE102019117070A1_0003
    wobei r der Reward-Funktion entspricht, r1 der ersten Sub-Reward-Funktion, r2 der zweiten Sub-Reward-Funktion, a dem erstem Gewichtungsfaktor und b dem zweiten Gewichtungsfaktor.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei einem Fahrer vor der Nutzereingabe ein Vorschlag für die Gewichtungsfaktoren gemacht wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Nutzereingabe eine Zeitinformation umfasst zur Anpassung des Energiemanagements abhängig von der Zeitinformation.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Nutzereingabe eine Insasseninformation umfasst zur Anpassung des Energiemanagements abhängig von der Insasseninformation.
  10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Gewichtungsfaktoren abhängig von einer Witterung angepasst werden.
  11. Vorrichtung zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird, die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.
  12. Computerprogramm zum Betreiben eines Fahrzeuges mit einem Energiemanagement, das mit einem bestärkenden-Lernen-Algorithmus betrieben wird, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.
  13. Computerlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 12 gespeichert ist.
DE102019117070.2A 2019-06-25 2019-06-25 Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines Fahrzeuges mit einem Energiemanagement Pending DE102019117070A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019117070.2A DE102019117070A1 (de) 2019-06-25 2019-06-25 Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines Fahrzeuges mit einem Energiemanagement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019117070.2A DE102019117070A1 (de) 2019-06-25 2019-06-25 Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines Fahrzeuges mit einem Energiemanagement

Publications (1)

Publication Number Publication Date
DE102019117070A1 true DE102019117070A1 (de) 2020-12-31

Family

ID=73747701

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019117070.2A Pending DE102019117070A1 (de) 2019-06-25 2019-06-25 Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines Fahrzeuges mit einem Energiemanagement

Country Status (1)

Country Link
DE (1) DE102019117070A1 (de)

Similar Documents

Publication Publication Date Title
WO2015166069A2 (de) System zur beurteilung und/oder optimierung des betriebsverhaltens eines fahrzeugs
DE102008002036A1 (de) Verfahren zum Bestimmen eines optimalen Betriebszeitpunktes mit Bezug auf einen Ladungszustand in einem Hybrid-Elektrofahrzeug
DE102007044042A1 (de) Verfahren und Vorrichtung zur Simulation der Fahreigenschaften eines zu entwickelnden Antriebskonzeptes eines Kraftfahrzeuges
AT506272A2 (de) Verfahren zum betreiben eines elektrofahrzeuges
WO2009103369A1 (de) Verfahren und vorrichtung zum betreiben einer hybridantriebsvorrichtung eines kraftfahrzeugs
DE102010007644A1 (de) Steuerungssystem für ein Fahrzeug mit zwei Achsantriebsvorrichtungen und Verfahren zum Betreiben eines Steuerungssystems
DE102006012788A1 (de) Verfahren zur Drehmomentverteilung und Ansteuerung eines Hybridantriebs
DE102011102423A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
DE102020101357A1 (de) Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum energieeffizienten Betreiben eines Fahrzeuges
EP2896530B1 (de) Anzeigevorrichtung für ein Kraftfahrzeug mit elektrischem Fahrantrieb
DE102018103113A1 (de) Verfahren zum Betreiben eines Hybridsystems für ein Fahrzeug
DE102013020436A1 (de) Verfahren zum Testen eines Brennstoffzellensystems für ein Kraftfahrzeug und Teststand
DE102017129126A1 (de) Verfahren und Vorrichtung für ein lernendes Kupplungspedal
DE102019117070A1 (de) Verfahren, Vorrichtung, Computerprogramm und computerlesbares Speichermedium zum Betreiben eines Fahrzeuges mit einem Energiemanagement
WO2020207789A1 (de) Verfahren und vorrichtung zum ansteuern einer technischen einrichtung
DE102008004368A1 (de) Verfahren zur Bestimmung einer zur Verfügung stehenden Leistung, elektrischen Arbeit und/oder Ladungsmenge eines elektrischen Speichers und entsprechende Vorrichtung
DE102014219216A1 (de) Verfahren und Vorrichtung zum vorausschauenden Betreiben eines Kraftfahrzeugs
DE102020206258A1 (de) Ladevorrichtung für einen Energiespeicher eines Kraftfahrzeuges, Kraftfahrzeug und Verfahren zum Laden eines Energiespeichers eines Kraftfahrzeuges
DE102015015976A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Betriebsstrategie
DE102013200932A1 (de) Verfahren und Vorrichtung zur Überwachung einer Funktion eines Motorsteuergeräts zum Einsatz in einem Motorsystem mit einem Verbrennungsmotor
DE102017201222A1 (de) Verfahren und System zum maschinellen Lernen
DE102016225780A1 (de) Verfahren und Vorrichtung zum Betreiben eines Motorsystems eines Kraftfahrzeugs
DE102022002916A1 (de) Verfahren zum Ermitteln einer Schaltstrategie für ein Schaltgetriebe eines Fahrzeugs, sowie Verfahren zum Trainieren eines lernfähigen Systems zur Prädiktion einer Schaltstrategie und Fahrerassistenzsystem
EP4328075A1 (de) Verfahren zur optimierung der fahrstrategie eines schienenfahrzeuges, datenverarbeitungsvorrichtung, computerprogrammprodukt, computerlesbares medium sowie schienenfahrzeug mit einer energiespeichervorrichtung, einer energieerzeugungsvorrichtung und einer datenverarbeitungsvorrichtung
DE102022004321A1 (de) Verfahren zur Verbrauchsschätzung von Elektrofahrzeugen und dessen Verwendung zum Ermitteln einer Navigationsroute

Legal Events

Date Code Title Description
R083 Amendment of/additions to inventor(s)
R163 Identified publications notified