DE102019126245A1

DE102019126245A1 - System und Verfahren zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie

Info

Publication number: DE102019126245A1
Application number: DE102019126245.3A
Authority: DE
Inventors: Matteo Skull; Selven Ayasamy
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-04-01

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie, umfassend:- Bestimmen (S10) eines Zustandes (si) der Batterie durch ein Zustandsmodul (300), wobei ein Zustand (si) durch Daten und Messwerte von zumindest einem Parameter (pi) der Batterie definiert wird und der Wert des Funktionszustandes und/oder Gesundheitszustandes zumindest teilweise von diesem Parameter (pi) abhängt;- Auswählen (S20) einer Berechnungsfunktion (fi) und/oder einer Aktion (ai) für den Parameter (pi) von einem Lernverstärkungs-Agenten (200);- Berechnen (S30) eines modellierten Wertes (FM) für den Funktionszustand und/oder eines modellierten Wertes (HM) für den Gesundheitszustand mittels der ausgewählten Berechnungsfunktion (fi) und/oder der Aktion (ai) von dem Lernverstärkungs-Agenten (200);- Bereitstellen (S40) eines realen Wertes (FR) für den Funktionszustand und/oder eines realen Wertes (HR) für den Gesundheitszustand von einem Umgebungsmodul (400) aufgrund von Messergebnissen;- Vergleichen (S50) des modellierten Wertes (FM) für den Funktionszustand mit dem realen Wert (FR) des Funktionszustands und/oder modellierten Wertes (HM) für den Gesundheitszustand mit dem realen Wert (HR) des Gesundheitszustands;- Weitergeben (S60) des Vergleichsergebnisses an ein Belohnungsmodul (500) und Ermitteln einer Belohnung für das Vergleichsergebnis;- Weitergeben (S70) der Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) und basierend auf dieser Belohnung erneutes Auswählen von einer weiteren Aktion (aj) von dem Lernverstärkungs-Agenten (200).

Description

Die Erfindung betrifft ein System und Verfahren für die Kalibrierung einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie.
Eine Starterbatterie, beim Kraftfahrzeug auch als Autobatterie oder als Fahrzeugbatterie bezeichnet, ist ein Akkumulator, der unter anderem die elektrische Energie für den Anlasser eines Verbrennungsmotors liefert, beispielsweise in Kraftfahrzeugen, Stromerzeugungsaggregaten oder der Gasturbine eines Flugzeuges. Als Starterbatterie werden häufig Bleiakkumulatoren eingesetzt. Ein Akkumulator, welcher nicht nur zum Starten, sondern auch als Energiequelle für den Fahrantrieb eines Elektrofahrzeugs dient, beispielsweise in Elektroautos oder Hybridfahrzeugen, wird als Traktionsbatterie bezeichnet.
Um ein reibungsloses Starten eines Fahrzeuges bzw. das Fahren eines Elektrofahrzeugs zu ermöglichen, ist somit der Betriebszustand der Batterie von erheblicher Bedeutung. Dabei spielt neben dem aktuellen Funktionszustand der Batterie, der die maximal mögliche Ladungsentnahme aus der Batterie und damit die verfügbare Leistung beschreibt, auch der Alterungszustand und damit die verbleibende Lebensdauer der Batterie eine wichtige Rolle. Um den Alterungszustand der Batterie abschätzen zu können, wird ein Gesundheitszustand der Batterie definiert, der Auskunft über die noch verbleibende Lebensdauer der Batterie gibt.
Der Funktionszustand der Batterie (engl. State of Function, SoF) wird von verschiedenen Parametern beeinflusst. Dazu gehören die Spannungsgrenzwerte, die Stromgrenzwerte, die Ladungszustandsgrenzwerte, der ohmsche Widerstand der Batterie, die Batteriesicherheitsmerkmale.
Dies gilt auch für den Gesundheitszustand einer Batterie (engl. State of Health, SoF), der sich auf den Alterungszustand bezieht und durch die relative elektrische Kapazität C_R bestimmt werden kann. Die relative Kapazität C_R wird definiert durch das Verhältnis zwischen der ursprünglichen Kapazität und der aktuell tatsächlich gegebenen Kapazität der Batterie. Die Alterung einer Batterie hängt entscheidend von der Umgebung und dem Betriebsverhalten ab. So reduzieren sehr tiefe Temperaturen und ein Fahrverhalten mit extremen Kurzstrecken die Lebensdauer der Batterie.
Der Gesundheitszustand einer Batterie kann am besten durch Bestimmung der relativen Kapazität gemessen werden. Allerdings ist dies aufwendig, da hierzu üblicherweise eine Werkstatt aufgesucht werden muss.
Es sind daher verschiedene weitere Ansätze zur Bestimmung und Vorhersage des Gesundheitszustands einer Batterie bekannt. Ein Ansatz basiert auf einem physikalischen Modell, bei dem die Lebensdauer einer Batterie in Abhängigkeit von verschiedenen Parametern wie der Umgebungstemperatur, dem Batteriezellenstrom, der Batteriezellenspannung, der Batteriezellentemperatur, dem Fahrverhalten des Fahrzeugs, etc. berechnet wird.
Ein anderer Ansatz verwendet Regressionsanalysen zur Modellierung und Vorhersage der Lebensdauer. Regressionsverfahren sind statistische Analyseverfahren, die zum Ziel haben, Beziehungen zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen zu modellieren. Die Regressionsmodelle erhalten als Eingabe beispielsweise die Umgebungstemperatur, den Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur, das Fahrverhalten des Fahrzeugs, etc. und berechnen mittels mathematischer Verfahren wie beispielsweise die Methode der kleinsten Quadrate oder neuronaler Netze einen geschätzten Wert für die Lebensdauer.
Des Weiteren sind elektrochemische Modelle, Stromkreismodelle, halbempirische Modelle, analytische und statistische Modelle bekannt, die die Lebensdauer einer Batterie abschätzen und entsprechend der gewählten Ausgangsparameter Abschätzungen der Lebensdauer liefern, die auch in Abhängigkeit von dem Batteriemodell manchmal gut, aber oft auch unzutreffend sind.
In ähnlicher Weise wird auch der Funktionszustand einer Batterie abgeschätzt, entweder durch direkte Messung der vorhandenen Spannung bzw. Ladung oder durch Modellberechnungen.
Allerdings beruhen all diese Vorhersagen, Diagramme und Tabellen oder die verwendeten mathematischen Verfahren auf Expertenwissen und werden nach ihrer Implementierung nicht mehr verändert. Des Weiteren werden sie für eine individuelle Batterie nicht angepasst, sondern sie sind für eine bestimmte Modellbaureihe festgelegt. Zudem kann entweder nur der Funktionszustand oder der Gesundheitszustand einer Batterie bestimmt oder abgeschätzt werden, aber eine Ermittlung von beiden Größen ist gleichzeitig nicht möglich, da die Modelle jeweils nur für die Abschätzung entweder des Gesundheitszustandes oder des Funktionszustandes ausgelegt sind.
Die EP 1 691 209 B1 beschreibt ein Batteriemanagementsystem mit einem neuronalen Netzwerk, um einen internen Zustand einer in einem Batteriesystem implementierten Sekundärbatterie zu erfassen. Die Vorrichtung umfasst eine Erfassungseinheit, eine Erzeugungseinheit und eine Schätzeinheit. Die Erfassungseinheit erfasst elektrische Signale, die einen Betriebszustand der Batterie anzeigen. Die Erzeugungseinheit erzeugt unter Verwendung der elektrischen Signale einen Eingangsparameter, der zum Schätzen des internen Zustands der Batterie erforderlich ist. Die Schätzeinheit ermittelt einen Ausgabeparameter, der den Ladezustand der Batterie anzeigt, indem der Eingabeparameter für eine Berechnung mittels des neuronalen Netzwerks verwendet wird.
Die US 2016/0195586 A1 beschreibt ein Batteriemanagementsystem mit einem Verfahren zum Kalibrieren eines Algorithmus zum Schätzen einer Zustandsgröße einer Batterie. Ein Messwert einer physikalischen Größe der Batterie wird zu einem ersten Zeitpunkt und zu einem zweiten Zeitpunkt gemessen, wobei für den zweiten Zeitpunkt zusätzlich ein Schätzwert ermittelt wird. Der Schätzwert wird aufgrund der Differenz eines Vergleiches zwischen dem Schätzwert und dem Messwert angepasst.
Die US 2018/0252775 A1 beschreibt ein Verfahren zum Kalibrieren einer auf Coulomb-Zählung basierenden Ladezustandsschätzung (SOC-Schätzung) einer Batteriezelle. Es wird bestimmt, ob sich die Batteriezelle in einem spezifischen Ladezustand befindet. Wenn sich die Batteriezelle nicht in dem spezifischen Ladezustand befindet, wird ein Anfangswert mittels einer auf einer Leerlaufspannung (OCV) basierenden Ladezustandsschätzung kalibriert.
Die US 2017/0038436 A1 beschreibt ein Verfahren zur Abschätzung des Gesundheitszustands (SOH) einer Batterie. Ein charakteristischer Ladezustand der Batterie zwischen einem vollständigen Ladungszustand und einem Entladungszustand wird bestimmt und ein Referenzzustand der Batterie basierend auf diesem charakteristischen Zustand definiert. Es werden Leerlaufspannungen der Batterie im Referenzzustand für mehrere verschiedene Ladezustände gemessen und in einem elektronischen Speicher gespeichert.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, ein Verfahren und ein System für die Kalibrierung einer Softwareapplikation zum automatischen Bestimmen des Funktionszustandes und des Gesundheitszustandes einer Batterie, insbesondere für ein Kraftfahrzeug, zu schaffen, das sich durch eine hohe Zuverlässigkeit und Genauigkeit auszeichnet und sich einfach implementieren lässt.
Gemäß der vorliegenden Erfindung wird ein Verfahren und System vorgeschlagen, durch das eine automatische Kalibrierung einer Softwareapplikation zur Bestimmung des Funktionszustandes und des Gesundheitszustandes einer Batterie ermöglicht wird, um hierdurch die Grundlage für eine zuverlässige und genaue Ermittlung der verfügbaren Leistung und der Lebensdauer der Batterie zu schaffen.
Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, und hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 8 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Gemäß einem ersten Aspekt stellt die Erfindung ein Verfahren zum Kalibrieren einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie bereit. Das Verfahren umfasst das Bestimmen eines Zustandes S_i der Batterie durch ein Zustandsmodul, wobei ein Zustand S_i durch Daten und Messwerte von zumindest einem Parameter p_i der Batterie definiert wird und der Wert des Funktionszustandes und/oder des Gesundheitszustandes der Batterie zumindest teilweise von diesem Parameter p_i abhängt. Eine Berechnungsfunktion f_i und/oder einer Aktion a_i für den Parameter p_i wird von einem Lernverstärkungs-Agenten ausgewählt und ein modellierter Wert F_M für den Funktionszustand und/oder ein modellierter Wert H_M für den Gesundheitszustand der Batterie mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i berechnet. Von einem Umgebungsmodul wird ein realer Wert F_R für den Funktionszustand und/oder den Gesundheitszustand H_R aufgrund von Messergebnissen bereitgestellt. Der modellierte Wert F_M für den Funktionszustand wird mit dem realen Wert F_R für den Funktionszustand verglichen und/oder der modellierte Wert H_M für den Gesundheitszustand wird mit dem realen Wert H_R für den Gesundheitszustand verglichen. Das Vergleichsergebnis wird an ein Belohnungsmodul weitergegeben und eine Belohnung für das Vergleichsergebnis ermittelt. Die Belohnung für das Vergleichsergebnis wird an den Lernverstärkungs-Agenten weitergegeben und basierend auf dieser Belohnung wird erneut eine weitere Aktion a_j von dem Lernverstärkungs-Agenten ausgewählt.
Vorteilhafterweise sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter p_i vorgesehen.
In einer vorteilhaften Weiterentwicklung sind eine positive Aktion A+, die den Wert für einen Parameter p_i erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters _Pi gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters _Pi verringert, vorgesehen.
In einer weiteren Ausführungsform umfasst das Belohnungsmodul eine Datenbank oder Matrix für die Bewertung der Aktionen α_i.
Vorteilhafterweise ist der Lernverstärkungsagent ausgebildet, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
In einer weiteren Ausgestaltung ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als DYNAQ oder als POMDP (Partially Oberservable Markov Decision Process) oder als SARSA oder als Monte-Carlo-Simulation ausgebildet.
Vorteilhaftweise stellt zumindest ein Parameter p_i eine Umgebungstemperatur oder einen Batteriezellenstrom oder eine Batteriezellenspannung oder eine Batteriezellentemperatur oder ein Fahrverhalten des Fahrzeugs dar.
Gemäß einem zweiten Aspekt stellt die Erfindung ein System zum Kalibrieren einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie bereit. Das System umfasst ein Zustandsmodul, das ausgebildet ist, einen Zustand s_i der Batterie zu bestimmen, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i der Batterie definiert wird und der Wert des Funktionszustandes und/oder des Gesundheitszustandes der Batterie zumindest teilweise von diesem Parameter p_i abhängt. Zudem weist das System einen Lernverstärkungs-Agenten auf, der ausgebildet ist, eine Berechnungsfunktion f_i und/oder eine Aktion a_i für den Parameter p_i auszuwählen und einen modellierten Wert F_M für den Funktionszustand und/oder einen modellierten Wert H_R für den Gesundheitszustand der Batterie mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion a_i zu berechnen. Des Weiteren ist ein Umgebungsmodul vorgesehen, das ausgebildet ist, einen realen Wert F_R für den Funktionszustand und/oder einen realen Wert H_R für den Gesundheitszustand aufgrund von Messergebnissen bereitzustellen. Das Zustandsmodul ist ausgebildet, den modellierten Wert F_M für den Funktionszustand mit dem realen Wert F_R des Funktionszustandes zu vergleichen und/oder den modellierten Wert H_M für den Gesundheitszustand mit dem realen Wert H_R des Gesundheitszustandes zu vergleichen. Des Weiteren umfasst das System ein Belohnungsmodul, das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten weiterzugeben, wobei der Lernverstärkungs-Agenten ausgebildet ist, basierend auf dieser Belohnung erneut eine weitere Aktion a_j auszuwählen.
In einer vorteilhaften Weiterbildung sind Sensoren und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter _Pi vorgesehen.
Vorteilhafterweise sind eine positive Aktion A+, die den Wert für einen Parameter p_i erhöht, eine neutrale Aktion A0, bei der der Wert des Parameters _Pi gleichbleibt, sowie eine negative Aktion A-, bei der sich der Wert des Parameters _Pi verringert, vorgesehen.
In einer weiteren Ausgestaltung umfasst das Belohnungsmodul eine Datenbank oder Funktion oder Matrix für die Bewertung der Aktionen α_i.
In einer weiteren Ausführungsform ist der Lernverstärkungsagent ausgebildet, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
Vorteilhafterweise ist der Algorithmus als Markov-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als DYNAQ oder als POMDP oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation ausgebildet.
In einer Weiterbildung stellt zumindest ein Parameter p_i eine Umgebungstemperatur oder einen Batteriezellenstrom oder eine Batteriezellenspannung oder eine Batteriezellentemperatur oder ein Fahrverhalten des Fahrzeugs dar.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 ein Blockdiagram zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
2 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
3 zeigt schematisch ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
1 zeigt ein erfindungsgemäßes System 100 zur Kalibrierung einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie. Das erfindungsgemäße System beruht auf einem Lernverstärkungs-Agenten (LV) (Reinforcement Learning Agent) 200, der für einen bestimmten Zustand s_i ∈ S aus einer Menge verfügbarer Zustände zumindest eine Aktion a_i ∈ A aus einer Menge verfügbarer Aktionen auswählt. Für die ausgewählte Aktion a_i erhält der Agent 200 eine Belohnung r_i ∈ R Die Zustände s_i ∈ S erhält der Agent 200 von einem Zustandsmodul 300, auf das der LV-Agent 200 zugreifen kann und das vorzugsweise einen Datenspeicher 320 mit Daten von verschiedenen Sensoren und Datenquellen sowie Berechnungsergebnisse enthält. Das Zustandsmodul 300 bearbeitet die Daten von verschiedenen Parametern p_i aus einem Datenspeicher 320 oder einer anderen Datenquelle und ordnet diesen verarbeiteten Daten Zustände s_i ∈ S zu.
Ein Zustand s_i ∈ S ist somit durch die Auswahl von bestimmten Parameterwerten von Parametern p_i definiert. Dabei kann eine Umgebungstemperatur, ein Batteriezellenstrom, eine Batteriezellenspannung, eine Batteriezellentemperatur oder ein Fahrverhalten des Fahrzeugs jeweils einen Parameter p_i darstellen. Ein Zustand s_i ist somit durch gemessene und/oder berechnete Werte von ausgewählten Parametern p_i gekennzeichnet und stellt somit eine konkrete Betriebssituation der Batterie dar. Die Daten bzw. Messwerte sind von einem Umgebungsmodul 400 ermittelt worden sind und wurden vorzugsweise in dem Datenspeicher 320 gespeichert. Das Umgebungsmodul 400 enthält zumindest einen Sensor 420 ausgebildet ist, kann aber weitere Sensoren 440 oder Messvorrichtungen enthalten oder mit diesen verbunden sein. In einem Belohnungsmodul 500 wird der ausgewählten Aktion a_i eine Belohnung r_i ∈ R zugeordnet, die an den LV-Agenten 200 übermittelt wird.
Bei den Sensoren 440 kann es sich beispielsweise um elektrische Sensoren wie kapazitive und induktive Sensoren, Strommessgeräte, Spannungsmessgeräte, Temperatursensoren, Hallsensoren und/oder bildaufnehmende Sensoren wie Kameras handeln. Die Sensoren 420, 440 ermitteln Messwerte wie die Umgebungstemperatur, den Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur oder das Fahrverhalten des Fahrzeugs, die an das Zustandsmodul 300 oder einen weiteren Prozessor weitergegeben werden. Das Zustandsmodul 300 weist vorteilhafterweise ebenfalls einen Prozessor auf, der die Daten mittels eines Algorithmus bearbeitet. Es ist aber auch denkbar, dass die Daten zunächst in einer weiteren Speichereinheit oder einem Softwaremodul gespeichert werden und erst zu einem späteren Zeitpunkt in den Datenspeicher 320 übertragen und/oder von dem Zustandsmodul 300 und/oder einem Prozessor verarbeitet werden.
Unter einem „Prozessor“ kann im Zusammenhang mit der Erfindung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Processing Unit, CPU), einen Mikroprozessor oder einen Mikrocontroller, beispielsweise eine anwendungsspezifische integrierte Schaltung oder einen digitalen Signalprozessor, möglicherweise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Maschine oder eine Soft-CPU verstanden werden. Es kann sich beispielsweise auch um einen programmierbaren Prozessor handeln, der mit Konfigurationsschritten zur Ausführung des genannten erfindungsgemäßen Verfahrens ausgerüstet wird oder mit Konfigurationsschritten derart konfiguriert ist, dass der programmierbare Prozessor die erfindungsgemäßen Merkmale des Verfahrens, der Komponente, der Module, oder anderer Aspekte und/oder Teilaspekte der Erfindung realisiert.
Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form eines Arbeitsspeichers (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder z. B. ein wechselbares Speichermodul verstanden werden. Es kann sich bei dem Speichermodul aber auch um eine cloudbasierte Speicherlösung handeln.
Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor und/oder die Steuereinheit Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder realisieren.
Unter „Messwerten“ sind im Zusammenhang mit der Erfindung sowohl die Rohdaten als auch bereits aufbereitete Daten aus den Messergebnissen der Sensoren zu verstehen.
Der Lernverstärkungs-Agent 200 enthält Berechnungsverfahren und Algorithmen f_i für mathematische Regressionsverfahren oder physikalische Modellberechnungen, die eine Korrelation zwischen ausgewählten Parametern p_i ∈ P aus einer Menge von Parametern und einem Funktionszustand und/oder Gesundheitszustand der Batterie beschreiben. Bei den mathematischen Funktionen f_t kann es sich um Mittelwerte, Minimal- und Maximalwerte, Fast Fourier Transformationen, Integral- und Differentialrechnungen, Verfahren der linearen Regression, Markov-Verfahren, Wahrscheinlichkeitsverfahren wie Monte Carlo-Verfahren, Tempora Difference Learning, aber auch erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netze, künstliche neuronale Netze und/oder rückgekoppelte neuronale Netze handeln. Der LV-Agent 200 wählt für einen Zustand S_i eine oder mehrere dieser Berechnungsfunktionen f_i aus. Er berechnet für diesen bestimmten Zustand S_i und mittels der ausgewählten Berechnungsfunktionen f_i einen modellierten Wert des Funktionszustandes F_M und/oder Gesundheitszustandes H_M, wobei der gemessene oder berechnete Wert für zumindest einen Parameter p_i einen Eingabewert für die Berechnungsfunktionen f_i darstellt.
In dem Lernverstärkungs-Agenten (Reinforcement Learning Agent) 200 sind zudem als Aktionen a_i die Aktionen A+, A0 und A- definiert, die aufgrund der verwendeten Berechnungsverfahren f_i ausgewählt werden, um eine Anpassung eines gemessenen oder berechneten Parameterwertes eines Parameters p_i ∈ P aus der Menge der Parameter in einer Wertetabelle und dergleichen vorzunehmen. Bei den Parametern p_i ∈ P handelt es sich beispielsweise um die Umgebungstemperatur, den Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur oder das Fahrverhalten des Fahrzeugs. Bei einer positiven Aktion A+ handelt es sich um eine Aktion, die den Wert für einen Parameter p_t erhöht, bei einer neutralen Aktion A0 handelt es sich um ein Aktion, bei der der Wert des Parameters p_t gleichbleibt, und bei einer negativen Aktion A- wird der Wert des Parameters p_t verringert. Der LV-Agent 200 wählt für den durch diese gemessenen und berechneten Daten definierten Zustand s_i insbesondere eine der Aktionen A+, A0 oder A- aus zur Anpassung des Parameterwertes eines Parameters p_i in einer Wertetabelle oder dergleichen. Für die ausgewählte Aktion a_i berechnet der LV-Agent 200 nun den modellierten Wert des Funktionszustandes F_M und/oder des Gesundheitszustandes H_M, der jeweils von der ausgewählten Aktion a_i für den Parameter p_i abhängt.
Dieser berechnete Wert F_M des Funktionszustandes und/oder der berechnete Wert H_R des Gesundheitszustandes der Batterie für eine bestimmte Aktion a_i wird nun an das Zustandsmodul 300 weitergegeben. Das Umgebungsmodul 400 bestimmt aufgrund einer direkten Messung oder einer Berechnung einen realen Wert F_R des Funktionszustandes und/oder einen realen werte H_R des Gesundheitszustandes. Für die Berechnung des realen Wertes F_R des Funktionszustandes und/oder des realen Wertes H_R des Gesundheitszustandes kann vorteilhafterweise ein neuronales Netz verwendet werden. Es können aber auch andere Berechnungsverfahren wie Regressionsverfahren eingesetzt werden.
Wie bereits ausgeführt, wird in dem Zustandsmodul 300 ein aktueller oder zukünftiger Zustand s_i durch verschiedene Datenwerte von Parametern p_i definiert, beispielsweise die Umgebungstemperatur, der Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur oder das Fahrverhalten des Fahrzeugs. Insbesondere berechnet das Zustandsmodul 300 die aktuelle Abweichung Δ zwischen dem gemessenen (realen) Wert des Funktionszustandes F_R und dem berechneten Modellwert F_M für eine ausgewählte Aktion a_i durch den LV-Agenten 200 und/oder die aktuelle Abweichung Δ zwischen dem gemessenen (realen) Wert des Gesundheitszustandes H_R und dem berechneten Modellwert H_M für eine ausgewählte Aktion a_i durch den LV-Agenten 200.
In dem Zustandsmodul 300 wird nun der berechnete Modellwert F_M des Funktionszustandes mit dem tatsächlich gemessenen Wert F_R des Funktionszustandes verglichen und/oder der berechnete Modellwert H_M des Gesundheitszustandes mit dem tatsächlich gemessenen Wert H_R des Gesundheitszustandes verglichen. Der berechnete Wert F_M des Funktionszustandes beruht dabei auf den geänderten Werten für die ausgewählten Parameter p_i durch den LV-Agenten 200. Dies gilt in gleicher Weise für den Gesundheitszustand H_M. In dem Belohnungsmodul 500 wird der Grad der Abweichung Δ zwischen dem berechneten Modellwert F_M und dem gemessenen Wert F_R des Funktionszustandes verglichen und dem Grad der Abweichung Δ eine Belohnung B_i zugeordnet. Dies gilt in gleicher Weise für den Gesundheitszustand H_M. Da der Grad der Abweichung Δ von der Auswahl der jeweiligen Aktion A+, A0, A- abhängig ist, wird vorzugsweise in einer Matrix oder einer sonstigen Datenbank 520 der jeweiligen ausgewählten Aktion A+, A0, A- die Belohnung B_i zugeordnet. Die Belohnung B_i weist vorzugsweise die Werte +1 und -1 auf, wobei eine geringe Abweichung Δ zwischen dem berechneten Wert F_M des Funktionszustandes und dem gemessenen Wert F_R des Funktionszustandes mit +1 belohnt wird und somit verstärkt wird, während eine erhebliche Abweichung Δ mit -1 belohnt wird und somit negativ bewertet wird. Es ist aber auch denkbar, dass Werte > 1 und Werte < 1 Verwendung finden. Dies gilt wiederum in gleicher Weise für den Gesundheitszustand H_M. Um eine Beschädigung der Einrichtung zu vermeiden, werden stark negative Belohnungen für Aktionen, die die Einrichtung beschädigen können, vergeben.
Nun beginnt ein zweiter Zyklus zur Kalibrierung des Funktionszustandes und/oder Gesundheitszustandes. Hierbei kann eine andere Aktion a_i und/oder eine andere Berechnungsfunktion f_i und/oder ein anderer Parameter p_i ausgewählt werden. Das Ergebnis wird wiederum dem Zustandsmodul 300 zugeführt und das Ergebnis des Vergleichs in dem Belohnungsmodul 500 bewertet. Der LV-Agent 200 wiederholt die Kalibrierung des Funktionszustandes und/oder Gesundheitszustandes für alle vorgesehenen Aktionen a_i und Parameter p_i solange, bis sich eine größtmögliche Übereinstimmung zwischen dem kalibrierten Modellwert F_M des Funktionszustandes und dem gemessenen Wert F_R des Funktionszustandes erreicht ist. Vorzugsweise ist der Endzustand der Kalibrierung des Funktionszustandes erreicht, wenn die Abweichung im Bereich von +/- 5% liegen. Dies gilt wiederum in gleicher Weise für den Gesundheitszustand H_M. Um eine Beschädigung der Einrichtung zu vermeiden, werden stark negative Belohnungen für Aktionen, die die Einrichtung beschädigen können, vergeben.
Vorzugsweise wird als Algorithmus für den LV-Agenten 200 ein Markow-Entscheidungsprozess verwendet. Es kann aber auch vorgesehen sind, einen Temporal Difference Learning (TD-Learning)-Algorithmus zu verwenden. Ein LV-Agent 200 mit einem TD-Learning-Algorithmus nimmt die Anpassung der Aktionen A+, A0, A- nicht erst dann vor, wenn er die Belohnung erhält, sondern nach jeder Aktion a_i auf Basis einer geschätzten erwarteten Belohnung. Des Weiteren sind auch Algorithmen wie Q-Learning und SARSA denkbar oder auch Monte-Carlo-Simulationen.
Gemäß dem Verfahren und des Systems der vorliegenden Erfindung wird ein verstärkendes Lernen (Reinforcement Learning) eingesetzt, um eine Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie automatisch zu kalibrieren. Da verschiedene Parameter \p_i wie die Umgebungstemperatur, der Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur oder das Fahrverhalten des Fahrzeugs in das Berechnungsverfahren eingehen und hierfür Aktionen a_i ausgewählt werden, können insbesondere nichtlineare Zusammenhänge zwischen diesen Parametern p_i erfasst und berücksichtigt werden, was in herkömmlichen Steuerungsverfahren kaum möglich ist. Es handelt sich somit um eine optimierte Kalibrierungsmethode, da eine Variation von verschiedenen Parametern p_i , die einen Einfluss auf den Funktionszustand und/oder Gesundheitszustand haben und miteinander wechselwirken, berücksichtigt wird. Da der LV-Agent 200 die Aktionen a_i selbst auswählt und für diese jeweils eine Belohnung erhält, kann er eine optimale Kalibrierungsstrategie für die Bestimmung des Ladezustands und/oder der Lebensdauer einer Batterie bereitstellen.
Durch das erfindungsgemäße Verfahren kann eine verbesserte Bestimmung und Abschätzung des Ladezustandes und der Lebensdauer einer Batterie erreicht werden, da die Kalibrierung der Parameter, die in Modellberechnungen verwendet werden, erheblich verbessert wird. Daher können Kosten für eine bisherige manuelle und damit zeitintensive Kalibrierung gesenkt werden. Darüber hinaus ist die gleichzeitige Bestimmung des Funktionszustandes und des Gesundheitszustandes einer Batterie möglich. Insgesamt kann somit das Batteriemanagement deutlich verbessert werden. Da die Abschätzung der Leistung und der Lebensdauer einer Batterie auch vom Fahrverhalten abhängt, kann insbesondere während des Fahrens der Gesundheitszustand der Batterie aktualisiert werden und gegebenenfalls angezeigt werden.
In 2 sind die Verfahrensschritte zum Kalibrieren einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie dargestellt.
In einem Schritt S10 erhält ein Lernverstärkungs-Agenten 200 einen Zustand s_i einer Batterie von einem Zustandsmodul 300, wobei ein Zustand s_i durch Daten und Messwerte von zumindest einem Parameter p_i der Batterie definiert ist und der Wert des Funktionszustandes und/oder Gesundheitszustandes zumindest teilweise von diesem Parameter p_i abhängt.
In einem Schritt S20 wählt der LV-Agent 200 für den Zustand s_i zumindest eine Berechnungsfunktion f_i und/oder eine Aktion a_i für den Parameter p_i aus.
In einem Schritt S30 berechnet der LV-Agent einen modellierten Wert F_M für den Funktionszustandes und/oder Gesundheitszustand mittels der ausgewählten Berechnungsfunktion f_i und/oder der Aktion α_i.
In einem Schritt S40 wird ein realer Wert F_R für den Funktionszustand und/oder ein realer Wert H_R für den Gesundheitszustand von einem Umgebungsmodul 400 aufgrund von Messergebnissen bereitgestellt.
In einem Schritt S50 werden der modellierte Wert F_M für den Funktionszustand und der reale Wert F_R für den Funktionszustand und/oder der modellierte Wert H_M für den Gesundheitszustand und der reale Wert H_R für den Gesundheitszustand miteinander verglichen.
In einem Schritt S60 wird das Vergleichsergebnis für den Funktionszustand und/oder den Gesundheitszustand an das Belohnungsmodul 500 weitergegeben und eine Belohnung für das Vergleichsergebnis wird in dem Belohnungsmodul 500 ermittelt.
In einem Schritt S70 wird die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten 200 weitergegeben und eine weitere Aktion a_j wird von dem Lernverstärkungsagenten 200 basierend auf der Belohnung für das Vergleichsergebnis für den Zustand s_i ausgewählt.
3 stellt schematisch ein Computerprogrammprodukt 700 dar, das einen ausführbaren Programmcode 750 umfasst, der konfiguriert ist, um das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen, wenn es ausgeführt wird.
Mit dem Verfahren gemäß der vorliegenden Erfindung können zuverlässig optimierte Zustände s_i durch die Auswahl von passenden Aktionen a_i gefunden werden, um eine Softwareapplikation zur Bestimmung eines Funktionszustandes und/oder eines Gesundheitszustandes einer Batterie zuverlässig und automatisch zu kalibrieren. Durch die Verwendung eines Lernverstärkungs-Agenten 200 mit einem Algorithmus des verstärkenden Lernens ist eine Anpassung und Kalibrierung der Parameter, die einen Einfluss auf den Funktionszustand und/oder Gesundheitszustand der Batterie haben, autonom und automatisch ermöglicht.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1691209 B1 [0012]
US 2016/0195586 A1 [0013]
US 2018/0252775 A1 [0014]
US 2017/0038436 A1 [0015]

Claims

Ein Verfahren zum Kalibrieren einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie, umfassend: - Bestimmen (S10) eines Zustandes (s_i) der Batterie durch ein Zustandsmodul (300), wobei ein Zustand (s_i) durch Daten und Messwerte von zumindest einem Parameter (p_i) der Batterie definiert wird und der Wert des Funktionszustandes und/oder Gesundheitszustandes zumindest teilweise von diesem Parameter (p_i) abhängt; - Auswählen (S20) einer Berechnungsfunktion (f_i) und/oder einer Aktion (a_i) für den Parameter (p_i) von einem Lernverstärkungs-Agenten (200); - Berechnen (S30) eines modellierten Wertes (F_M) für den Funktionszustand und/oder eines modellierten Wertes (H_M) für den Gesundheitszustand mittels der ausgewählten Berechnungsfunktion (f_i) und/oder der Aktion (a_i) von dem Lernverstärkungs-Agenten (200); - Bereitstellen (S40) eines realen Wertes (F_R) für den Funktionszustand und/oder eines realen Wertes (H_R) für den Gesundheitszustand von einem Umgebungsmodul (400) aufgrund von Messergebnissen; - Vergleichen (S50) des modellierten Wertes (F_M) für den Funktionszustand mit dem realen Wert (F_R) des Funktionszustands und/oder modellierten Wertes (H_M) für den Gesundheitszustand mit dem realen Wert (H_R) des Gesundheitszustands; - Weitergeben (S60) des Vergleichsergebnisses an ein Belohnungsmodul (500) und Ermitteln einer Belohnung für das Vergleichsergebnis; - Weitergeben (S70) der Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) und basierend auf dieser Belohnung erneutes Auswählen von einer weiteren Aktion (a_j) von dem Lernverstärkungs-Agenten (200).
Verfahren nach Anspruch 1, wobei Sensoren (420, 440) und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter (p_i) vorgesehen sind.
Verfahren nach Anspruch 1 oder 2, wobei eine positive Aktion (A+), die den Wert für einen Parameter (p_i) erhöht, vorgesehen ist, wobei eine neutrale Aktion (A0), bei der der Wert des Parameters( p_i) gleichbleibt, vorgesehen ist, und wobei eine negative Aktion (A-), bei der sich der Wert des Parameters (p_i) verringert, vorgesehen ist.
Verfahren nach einem der vorangehenden Ansprüche 1 bis 3, wobei das Belohnungsmodul (500) eine Datenbank (520) oder eine Funktion oder Matrix für die Bewertung der Aktionen (a_i) umfasst.
Verfahren nach einem oder mehreren der vorangehenden Ansprüche 1 bis 4, wobei der Lernverstärkungs-Agent (200) ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
Verfahren nach Anspruch 5, wobei der Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als DYNAQ oder als POMDP oder als Monte-Carlo-Simulation ausgebildet ist.
Verfahren nach einem oder mehreren der Ansprüche 1 bis 6, wobei zumindest ein Parameter (p_i) eine Umgebungstemperatur oder einen Batteriezellenstrom oder eine Batteriezellenspannung oder eine Batteriezellentemperatur oder ein Fahrverhalten des Fahrzeugs darstellt.
Ein System (100) zum Kalibrieren einer Softwareapplikation zur Bestimmung des Funktionszustandes und/oder Gesundheitszustandes einer elektrischen Batterie, umfassend ein Zustandsmodul (300), das ausgebildet ist, einen Zustand (s_i) der Batterie zu bestimmen, wobei ein Zustand (s_i) durch Daten und Messwerte von zumindest einem Parameter (p_i) der Batterie definiert ist und der Wert des Funktionszustandes und/oder des Gesundheitszustandes zumindest teilweise von diesem Parameter (p_i) abhängt, und einen Lernverstärkungs-Agenten (200), der ausgebildet ist, eine Berechnungsfunktion (f_i) und/oder eine Aktion (a_i) für den Parameter (p_i) auszuwählen und einen modellierten Wert (F_M) für den Funktionszustand und/oder einen modellierten Wert (H_M) für den Gesundheitszustand mittels der ausgewählten Berechnungsfunktion (f_i) und/oder der Aktion (a_j) zu berechnen; und ein Umgebungsmodul (400), das ausgebildet ist, einen realen Wert (F_R) für den Funktionszustand und/oder einen realen Wert (H_R) für den Gesundheitszustand aufgrund von Messergebnissen bereitzustellen, wobei das Zustandsmodul (300) ausgebildet ist, den modellierten Wert (F_M) für den Funktionszustand mit dem realen Wert (F_R) des Funktionszustands und/oder den modellierten Wert (H_M) für den Gesundheitszustand mit dem realen Wert (H_R) des Gesundheitszustands zu vergleichen, und mit einem Belohnungsmodul (500), das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) weiterzugeben, wobei der Lernverstärkungs-Agenten (200) ausgebildet ist, basierend auf dieser Belohnung erneut eine weitere Aktion (a_j) auszuwählen.
System (100) nach Anspruch 8, wobei Sensoren (420, 440) und/oder Messvorrichtungen zur Erfassung von Messwerten der Parameter (p_i) vorgesehen sind.
System (100) nach Anspruch 8 oder 9, wobei eine positive Aktion (A+), die den Wert für einen Parameter (p_i) erhöht, vorgesehen ist, wobei eine neutrale Aktion (A0), bei der der Wert des Parameters (p_i) gleichbleibt, vorgesehen ist, und wobei eine negative Aktion (A-), bei der sich der Wert des Parameters (p_i) verringert, vorgesehen ist.
System (100) nach einem der vorangehenden Ansprüche 8 bis 10, wobei das Belohnungsmodul (500) eine Datenbank (520) oder Funktion oder Matrix für die Bewertung der Aktionen (a_i) umfasst.
System (100) nach einem oder mehreren der vorangehenden Ansprüche 8 bis 11, wobei der Lernverstärkungs-Agent (200) ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
System (100) nach Anspruch 12, wobei der Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als DYNAQ oder als POMDP oder als SARSA oder als Monte-Carlo-Simulation ausgebildet ist.
System (100) nach einem oder mehreren der Ansprüche 8 bis 13, wobei zumindest ein Parameter (p_i) wobei zumindest ein Parameter (p_i) eine Umgebungstemperatur oder einen Batteriezellenstrom oder eine Batteriezellenspannung oder eine Batteriezellentemperatur oder ein Fahrverhalten des Fahrzeugs darstellt.
Computerprogrammprodukt (700), umfassend einen ausführbaren Programmcode (750), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 1 bis 7 ausführt.