DE102019119736A1

DE102019119736A1 - System und Verfahren zur Bestimmung eines Ladezustands einer elektrischen Batterie

Info

Publication number: DE102019119736A1
Application number: DE102019119736.8A
Authority: DE
Inventors: Matteo Skull
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2019-07-22
Filing date: 2019-07-22
Publication date: 2021-01-28

Abstract

Die Erfindung betrifft ein System (100) zum Auffinden von optimierten Aktionen (a1, a2, ...,ai) für die Kalibrierung einer Softwareapplikation zur Bestimmung eines Ladezustands einer Traktionsbatterie (10) eines Kraftfahrzeugs, umfassend einen Lernverstärkungs-Agenten (200), der dazu ausgebildet ist, eine oder mehrere Aktionen (a1, a2, ...,ai) auszuwählen zur Bearbeitung von Daten aus einem Datenspeicher (300) für die Berechnung eines Ladezustands (s1) der Traktionsbatterie (10), wobei der Lernverstärkungs-Agent (200) ausgebildet ist, den berechneten Ladezustand (s1) an ein Vergleichsmodul (400) weiterzugeben, welches dazu ausgebildet ist, den berechneten Ladezustand (s1) mit einem gemessenen Ladezustand (s2) zu vergleichen und das Vergleichsergebnis an ein Belohnungsmodul (500) weiterzugeben, das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und diese Belohnung an den Lernverstärkungs-Agenten (200) weiterzugeben, der ausgebildet ist auf Basis dieser Belohnung für das Vergleichsergebnis erneut eine oder mehrere Aktionen (a1, a2, ..., ai) auszuwählen.

Description

Die Erfindung betrifft ein System und Verfahren für die Kalibrierung einer Softwareapplikation zur Bestimmung eines Ladezustands einer Traktionsbatterie.
Ein Elektrofahrzeug ist ein Kraftfahrzeug zur Personen- und Güterbeförderung mit einem elektrischen Antrieb. Der Begriff beschreibt im Allgemeinen einen Pkw, kann jedoch auch für die gesamte Bandbreite von Kraftfahrzeugen verstanden werden. International ist die Abkürzung (B)EV für den englischen Begriff (Battery) Electric Vehicle üblich. Die Räder eines Elektrofahrzeugs werden über Elektromotoren angetrieben. Die Elektroenergie wird in Akkumulatoren in Form von einer oder mehreren Traktionsbatterien gespeichert. Ein zentraler Punkt in der Entwicklung von Elektrofahrzeugen ist daher der Energiespeicher. Da ein Kraftfahrzeug, mit Ausnahme von Oberleitungsfahrzeugen wie Straßenbahnen, während der Fahrt normalerweise nicht mit dem Stromnetz verbunden ist, werden Energiespeicher mit hoher Leistungs- und Energiedichte benötigt. Elektrofahrzeuge können dabei Reichweiten erzielen, die mit denen von verbrennungsmotorisch angetriebenen Kraftfahrzeugen vergleichbar sind. Allerdings ist normalerweise der Ladevorgang deutlich länger. Er kann je nach Kapazität der verwendeten Batterie mehrere Stunden benötigen. Allerdings sind auch Schnellladestationen entwickelt worden, die eine Aufladung innerhalb von 30 Minuten von bis zu 80 Prozent ermöglichen.
Eine Traktionsbatterie (auch als Traktionsakkumulator, Antriebsbatterie oder Zyklenbatterie bezeichnet) ist ein Energiespeicher, die aus wenigen bis Tausenden parallel und seriell zusammengeschalteten Akkumulator-Zellen oder Zellenblöcken besteht. Im Vergleich zur stationären Verwendung einer Batterie sind jedoch bei der mobilen Anwendung der Traktionsbatterien höhere Sicherheitsanforderungen einzuhalten. So muss vor allem die Sicherheit bei mechanischen Einwirkungen nachgewiesen werden. Erreicht wird dies durch die Bevorzugung von Traktionsbatterien, die auf einer sicherer Zellchemie wie beispielsweise Lithium-Eisenphosphat beruht, wobei allerdings die elektrischen Kennwerte hier häufig nicht optimiert sind. Im Traktionsbetrieb kann zudem nicht die gesamte Nennkapazität genutzt werden. Zum einen wird die nutzbare Kapazität bis zum Absinken auf die festgelegte Schlussspannung bei hohen entnommenen Strömen geringer (Peukert-Effekt), zum anderen bestimmt bei seriellen Verschaltungen die Zelle oder der Zellblock mit der geringsten Kapazität die nutzbare Kapazität ohne schädigende Tiefenentladung.
Die einzelnen Zellen einer Traktionsbatterie weisen fertigungsbedingt sowie durch Nutzungseinflüsse immer Unterschiede hinsichtlich der Kapazität und der Stromabgabe auf. Da dadurch im Betrieb die einzelnen Zellen unterschiedlich belastet werden, kommt es zu einem Auseinanderdriften, was die nutzbare Kapazität der gesamten Batterie verringert. Während die Kapazität der besten Zellen nie gänzlich ausgenutzt werden kann, werden die schwachen Zellen regelmäßig überlastet, tiefenentladen oder überladen. Auch um diese Effekte zu verringern bzw. zu vermeiden, werden bei modernen Traktionsbatterien Balancer und Batteriemanagementsysteme eingesetzt. Auch tiefere Temperaturen verringern die Fähigkeit der Traktionsbatterie zur Abgabe hoher Ströme und verstärken den Peukert-Effekt, da sich generell die Beweglichkeit der Elektronen verringert. Um diesem Effekt entgegenzuwirken und da verschiedene Akkutechnologien bei tieferen Temperaturen unbrauchbar werden, sind Traktionsbatterien oft auch mit einer zusätzlichen Heizung ausgestattet. Diese übernimmt entweder während der Verbindung zum Stromnetz die Temperierung oder heizt sich aus ihrem Energiegehalt selbst. Dadurch und durch zusätzliche Verbraucher wie elektrische Innenraumheizung oder Klimaanlage verringert sich die winterliche Reichweite, obwohl der nutzbare Energiegehalt der Traktionsbatterie auch im Winter zur Verfügung steht. Die Entladetiefe der Akkuzellen wird zugunsten der Lebensdauer oft durch das Batteriemanagementsystem (BMS) begrenzt, meist auf 60-80 % der Nennkapazität.
Der Ladezustand der Traktionsbatterie stellt daher für den Fahrer eines Kraftfahrzeugs eine wichtige Kenngröße dar, da er damit planen kann, wann er das Elektrofahrzeug an eine Ladestation anschließen sollte für das Aufladen der Batterie. Außerdem kann er dann abschätzen, wie groß die Reichweite seines Fahrzeugs aktuell noch ist.
Es ist bekannt, den Ladezustand mittels des verbrauchten Batteriestroms zu ermitteln. Allerdings ist dies Verfahren temperaturabhängig, so dass die Ergebnisse bei veränderten Witterungsverhältnissen nicht immer sehr genau sind.
Ein anderes Verfahren verwendet den Spannungsabfall der Batterie bei einem offenen Stromkreis. Da bei einer Lithium-Ionen-Batterie dieser Effekt nur sehr geringfügig ist, sind sehr genaue Messungen erforderlich, was wiederum kostenintensiv ist.
Darüber hinaus ist es bekannt, für die Bestimmung des Ladezustands bei Elektrofahrzeugen Softwareapplikationen, die auf mathematischen Modellen beruhen wie beispielsweise erweiterte Kalman-Filter, neuronale Netzwerke, radiale Basisfunktionen, assoziative Datenfelder, etc., zu verwenden. Aus dem Vergleich zwischen dem gemessenen Ladezustand der Traktionsbatterie und dem berechneten Ladezustand kann die Qualität des mathematischen Modells abgeleitet werden. Eine entsprechend erstellte Softwareapplikation wird in das Steuergerät (ECU = electronic control unit) des Kraftfahrzeugs implementiert. Allerdings sind solche mathematischen Modelle bzw. Softwareapplikationen schwierig und komplex zu kalibrieren bezogen auf einen konkreten Einsatzort wie ein bestimmter Fahrzeugtyp und/oder eine bestimmte Batteriekonfiguration. Es wird daher ein Experte auf diesem Gebiet wie beispielsweise ein Ingenieur für die Kalibrierung des Ladezustands-Modell benötigt, der über das notwendige Fachwissen verfügt, um das mathematische Modell und/oder die Softwareapplikation an einen bestimmten Anwendungsfall anzupassen. Eine autonome Kalibrierung der Softwareapplikation ist hingegen nicht möglich.
In der DE 10 2012 015 949 A1 ist ein Verfahren zur Steuerung des Ladebetriebs einer einem Elektrokraftfahrzeug zugeordneten Batterie beschrieben. Ein Ladeparameter, der den zeitlichen Verlauf eines Ladevorgangs bestimmt, wird in Abhängigkeit von wenigstens einer prädiktiven, zeitbezogenen Nutzungsinformation für das Elektrokraftfahrzeug ermittelt. Die Ermittlung der Nutzungsinformation erfolgt unter Verwendung eines neuronalen Netzes.
Die DE 103 32 625 A1 offenbart eine Diagnosevorrichtung für ein elektrisches System eines Kraftfahrzeugs, die die über die Batterie abfallende Spannung verwendet, um mittels neuronaler Netze anhand des Batteriealterungsgrades, der Temperatur, dem Ladungsgleichgewicht, dem Ladungswirkungsgrad, der Batteriekonstruktion, der Plattenkonfiguration sowie anderen Parametern der Batterie den Ladezustand zu bestimmt.
Die DE 696 29 470 T2 beschreibt ein Energieverwaltungssystem mit Batteriesteuermodulen, die die Betriebsparameter der Batterie messen, einem Steuergerät für die Batterie und einem Radiofrequenzempfänger, das die Informationen über die Batterie-Betriebsparameter von jedem Batteriesteuermodul mittels eines Mikroprozessors unter Nutzung neuronaler Netze auswertet.
Die der Erfindung zu Grunde liegende Aufgabe besteht nun darin, ein Verfahren und ein System zum Bestimmen des Ladezustands einer elektrischen Batterie zu schaffen, das sich durch eine hohe Zuverlässigkeit und Genauigkeit auszeichnet und sich einfach bei einem Elektrofahrzeug implementieren lässt.
Gemäß der vorliegenden Erfindung wird ein Verfahren vorgeschlagen, durch das eine automatische Kalibrierung einer Softwareapplikation zur Berechnung des Ladezustands einer elektrischen Batterie ermöglicht ist, um hierdurch die Grundlage für eine zuverlässige und genaue Bestimmung des Ladezustands zu schaffen.
Diese Aufgabe wird hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 1, und hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 8 erfindungsgemäß gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
Gemäß eines ersten Aspekts betriff die Erfindung ein System zum Auffinden von optimierten Aktionen für die Kalibrierung einer Softwareapplikation zur Bestimmung eines Ladezustands einer Traktionsbatterie eines Kraftfahrzeugs, umfassend einen Lernverstärkungs-Agenten, der dazu ausgebildet ist, eine oder mehrere Aktionen auszuwählen zur Bearbeitung von Daten aus einem Datenspeicher für die Berechnung eines Ladezustands der Traktionsbatterie, wobei der Lernverstärkungs-Agent ausgebildet ist, den berechneten Ladezustand s₁ an ein Vergleichsmodul weiterzugeben, welches dazu ausgebildet ist, den berechneten Ladezustand s₁ mit einem gemessenen Ladezustand s₂ zu vergleichen und das Vergleichsergebnis an ein Belohnungsmodul weiterzugeben, das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und diese Belohnung an den Lernverstärkungs-Agenten weiterzugeben, der ausgebildet ist auf Basis dieser Belohnung für das Vergleichsergebnis erneut eine oder mehrere Aktionen auszuwählen.
In einer Weiterentwicklung der Erfindung ist vorgesehen, dass die Daten in dem Datenspeicher Messwerte der Traktionsbatterie wie den Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur und/oder den gemessenen Ladezustand s₂ umfassen.
Vorteilhafterweise sind Sensoren und/oder Messvorrichtungen vorgesehen zur Erfassung von Messwerten der Traktionsbatterie.
In einer weiteren Ausgestaltung weist das Belohnungsmodul eine Datenbank oder Matrix für die Bewertung der Aktionen auf.
Des Weiteren ist vorgesehen, dass der Lernverstärkungsagent ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
Insbesondere kann vorgesehen sein, den Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation auszubilden.
In einer weiteren Ausgestaltung ist die Softwareapplikation auf einem Steuergerät (ECU = electronic control unit) des Kraftfahrzeugs implementiert.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein Verfahren zum Auffinden von optimierten Aktionen für die Kalibrierung einer Softwareapplikation zur Bestimmung eines Ladezustands einer Traktionsbatterie eines Kraftfahrzeugs, umfassend:

- Auswählen von einer oder mehreren Aktionen von einem Lernverstärkungs-Agenten;
- Bearbeiten von Daten aus einem Datenspeicher mittels der ausgewählten Aktionen für die Berechnung eines Ladezustands s₁ der Traktionsbatterie;
- Weitergeben des berechneten Ladezustand s₁ von dem Lernverstärkungs-Agenten an ein Vergleichsmodul und Vergleichen des berechneten Ladezustand s₁ mit einem gemessenen Ladezustand s₂ in dem Vergleichsmodul;
- Weitergeben des Vergleichsergebnisses an ein Belohnungsmodul und Ermitteln einer Belohnung für das Vergleichsergebnis;
- Weitergeben der Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten und erneutes Auswählen auf Basis dieser Belohnung von einer oder mehreren Aktionen von dem Lernverstärkungsagenten.

Vorteilhafterweise ist vorgesehen, dass die Daten in dem Datenspeicher Messwerte der Traktionsbatterie wie den Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur und/oder den gemessenen Ladezustand s₂ umfassen.
In einer Weiterentwicklung der Erfindung sind Sensoren und/oder Messvorrichtungen vorgesehen zur Erfassung von Messwerten der Traktionsbatterie.
Vorteilhafterweise weist das Belohnungsmodul eine Datenbank oder Matrix für die Bewertung der Aktionen auf.
In einer vorteilhaften Weiterentwicklung ist vorgesehen, dass der Lernverstärkungsagent ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
Insbesondere kann der Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation ausgebildet sein.
Des Weiteren kann die Softwareapplikation auf einem Steuergerät (ECU = electronic control unit) des Kraftfahrzeugs implementiert sein.
Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem zweiten Aspekt ausführt.
Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
Dabei zeigt:

1 eine schematische Darstellung einer Traktionsbatterie mit einem Ladezustand;
2 ein Blockdiagram zur Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Systems;
3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte eines erfindungsgemäßen Verfahrens;
4 zeigt schematisch ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.

Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
1 zeigt eine Traktionsbatterie 10, deren Ladezustand s₁ mittels einer Softwareapplikation, die auf einem oder mehreren mathematischen Modellen beruht, berechnet wird. Außerdem wird ein Ladezustand s₂ gemessen. Für die Berechnung des Ladezustandswert s₁ werden Eingangsparameter p_i wie der Batteriezellenstrom, die Batteriezellenspannung und/oder die Batteriezellentemperatur verwendet. Der berechnete Ladezustand s₁ und der gemessene Ladezustand s₂ werden miteinander verglichen und es wird eine Abweichung Δ ermittelt.
2 zeigt ein erfindungsgemäßes System 100 zur Auswahl von optimierten Aktionen a₁, a₂, ..., a_i für die Berechnung des Ladezustands einer Traktionsbatterie 10. In einem Lernverstärkungs-Agenten (LV)(Reinforcement Learning Agent) 200 werden Berechnungsfunktionen f_i und Parameter p_i vordefiniert zur Berechnung des Ladezustands der Traktionsbatterie 10. Bei den Berechnungsfunktionen f_i kann es sich um mathematische Funktionen wie Mittelwerte, Minimal- und Maximalwerte, Fast Fourier Transformationen, Integral- und Differentialrechnungen, aber auch erweiterte Kalman-Filter, radiale Basisfunktionen, Datenfelder, konvergente neuronale Netze, künstliche neuronale Netze und rückgekoppelte neuronale Netze handeln. Die Auswahl einer Berechnungsfunktion f_i aus der Menge der Berechnungsfunktionen {f₁, f₂, ... , f_n } und/oder die Auswahl eines Parameters p_i aus der Menge der Parameter {p₁, p₂, ... , p_n } wird als Aktion a_i bezeichnet.
Der LV-Agent 200 hat zudem Zugriff auf einen Datenspeicher 300, der Daten von verschiedenen Sensoren und Datenquellen wie den Batteriestrom I, die Batteriespannung V, die Temperatur T der Batterie, den aktuellen Ladezustand der Batterie enthält sowie weitere Kraftfahrzeugparameter wie beispielsweise die Kraftfahrzeuggeschwindigkeit. Der LV-Agent 200 verwendet diese Daten und wählt für sie eine Aktion a₁ aus zur Berechnung eines Ladezustand s₁ der Batterie 10. In einem Vergleichsmodul 400 wird nun der berechnete Wert s₁ des Ladezustands der Batterie 10 mit dem tatsächlich gemessenen Wert s₂ des Ladezustands verglichen. In einem Belohnungsmodul 500 wird der Grad der Abweichung Δ zwischen dem berechneten Wert s₁ und dem gemessenen Wert s₂ verglichen und dem Grad der Abweichung Δ eine Belohnung b_i zugeordnet. Da der Grad der Abweichung Δ von der Auswahl der jeweiligen Aktion a₁ abhängig ist, wird vorzugsweise in einer Matrix oder einer sonstigen Datenbank 520 der jeweiligen ausgewählten Aktion a_i die Belohnung b_i zugeordnet. Die Belohnung b_i weist vorzugsweise die Werte +1 und -1 auf, wobei eine geringe Abweichung Δ zwischen dem berechneten Wert s₁ und dem gemessenen Wert s₂ mit +1 belohnt wird und somit verstärkt wird, während eine erhebliche Abweichung Δ mit -1 belohnt wird und somit negativ bewertet wird. Es ist aber auch denkbar, dass Werte > 1 und Werte < 1 Verwendung finden.
Nun beginnt ein zweiter Zyklus einer Berechnung des Ladezustands s₁ der Traktionsbatterie mit einer anderen Aktion a₂. Hierbei kann/können eine andere Berechnungsfunktion oder andere Parameter ausgewählt werden. Es kann auch der Wert eines Parameters erhöht oder erniedrigt werden. Das Ergebnis wird wiederum dem Vergleichsmodul 400 zugeführt und das Ergebnis des Vergleichs in dem Belohnungsmodul 500 bewertet. Der LV-Agent 200 wiederholt die Berechnung des Ladezustandes s₁ der Traktionsbatterie 10 solange, bis sich eine größtmögliche Übereinstimmung zwischen dem berechneten Wert s₁ und dem gemessenen Wert s₂ des Ladezustands ergibt.
Neben einer Aktion a₁ können auch mehrere Aktionen a₁, a₂, ..., a_i nacheinander ausgewählt und miteinander verknüpft werden zur Berechnung eines geschätzten Ladezustandes s₁. So kann eine Aktion a₁ die Auswahl einer Berechnungsfunktion f₁ wie beispielsweise die Berechnung eines Minimal- oder Maximalwertes, einer Fourier Transformation und/oder eines Mittelwertes darstellen. Eine Aktion a₂ wird nun auf das Berechnungsergebnis der Aktion a₁ angewendet und das Gesamtberechnungsergebnis wird bestimmt durch die Anwendung der ausgewählten Berechnungsfunktionen f₁ und f₂.
Vorzugsweise wird als Algorithmus für den LV-Agenten 200 ein Markow-Entscheidungsprozess verwendet. Es kann aber auch vorgesehen sind, einen Temporal Difference Learning (TD-Learning)-Algorithmus zu verwenden. Ein LV-Agent 200 mit einem TD-Learning-Algorithmus nimmt die Anpassung der Aktionen nicht erst dann vor, wenn er die Belohnung erhält, sondern nach jeder Aktion auf Basis einer geschätzten erwarteten Belohnung. Des Weiteren sind auch Algorithmen wie Q-Learning und SARSA denkbar oder auch Monte-Carlo-Simulationen.
Gemäß dem Verfahren und des Systems der vorliegenden Erfindung wird ein verstärkendes Lernen (Reinforcement Learning) eingesetzt, um automatisiert eine optimale Kombination von Aktionen a_i zu finden, die den Ladezustand einer Traktionsbatterie charakterisieren.
In 3 sind die Verfahrensschritte zum Auffinden von optimierten Aktionen für die Kalibrierung einer Softwareapplikation zur Berechnung eines Ladezustands einer Traktionsbatterie 10 dargestellt.
In einem Schritt S10 wird/werden eine oder mehrere Aktionen a₁ a₂, ..., a_i von dem Lernverstärkungs-Agenten 200 ausgewählt.
In einem Schritt S20 werden Daten aus einem Datenspeicher 300 mittels der ausgewählten Aktionen a₁, a₂, ..., a_i von dem LV-Agenten 200 bearbeitet zur Berechnung eines Ladezustands s₁ der Traktionsbatterie 10.
In einem Schritt S30 wird der berechnete Ladezustand s₁ an das Vergleichsmodul 400 weitergegeben und im Vergleichsmodul 400 mit dem gemessenen Ladezustand s₂ verglichen.
In einem Schritt S40 wird das Vergleichsergebnis an das Belohnungsmodul 500 weitergegeben und eine Belohnung für das Vergleichsergebnis wird in dem Belohnungsmodul 500 ermittelt.
In einem Schritt S50 wird die Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten 200 weitergegeben und eine oder mehrere Aktionen a₁, a₂, ..., a_i werden von dem Lernverstärkungsagenten 200 auf Basis der Belohnung für das Vergleichsergebnis ausgewählt.
4 stellt schematisch ein Computerprogrammprodukt 700 dar, das einen ausführbaren Programmcode 750 umfasst, der konfiguriert ist, um das Verfahren gemäß dem zweiten Aspekt der vorliegenden Erfindung auszuführen, wenn es ausgeführt wird.
Mit dem Verfahren gemäß der vorliegenden Erfindung kann zuverlässig eine optimierte Kombination von Aktionen gefunden werden, um den Ladezustand einer Traktionsbatterie 10 zuverlässig zu berechnen. Durch die Verwendung eines Lernverstärkungs-Agenten 200 mit einem Algorithmus des verstärkenden Lernens ist eine autonome Anpassung und Kalibrierung einer Softwareapplikation an einen bestimmten Fahrzeugtyp und/oder einen bestimmten Batterietyp autonom und automatisch ermöglicht.
Bezugszeichenliste

10: Traktionsbatterie
100: System zur Kalibrierung
200: Lernverstärkungs-Agent
300: Datenspeicher
400: Vergleichsmodul
500: Belohnungsmodul
520: Datenbank
700: Computerprogrammprodukt
750: Programmcode

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102012015949 A1 [0009]
DE 10332625 A1 [0010]
DE 69629470 T2 [0011]

Claims

Ein System (100) zum Auffinden von optimierten Aktionen (a₁, a₂, ...,a_i) für die Kalibrierung einer Softwareapplikation zur Bestimmung eines Ladezustands einer Traktionsbatterie (10) eines Kraftfahrzeugs, umfassend einen Lernverstärkungs-Agenten (200), der dazu ausgebildet ist, eine oder mehrere Aktionen (a₁, a₂, ...,a_i) auszuwählen zur Bearbeitung von Daten aus einem Datenspeicher (300) für die Berechnung eines Ladezustands (s₁) der Traktionsbatterie (10), wobei der Lernverstärkungs-Agent (200) ausgebildet ist, den berechneten Ladezustand (s₁) an ein Vergleichsmodul (400) weiterzugeben, welches dazu ausgebildet ist, den berechneten Ladezustand (s₁) mit einem gemessenen Ladezustand (s₂) zu vergleichen und das Vergleichsergebnis an ein Belohnungsmodul (500) weiterzugeben, das ausgebildet ist, eine Belohnung für das Vergleichsergebnis zu ermitteln und diese Belohnung an den Lernverstärkungs-Agenten (200) weiterzugeben, der ausgebildet ist auf Basis dieser Belohnung für das Vergleichsergebnis erneut eine oder mehrere Aktionen (a₁, a₂, ..., a_i) auszuwählen.
System (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Daten in dem Datenspeicher (300) Messwerte der Traktionsbatterie (10) wie den Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur und/oder den gemessenen Ladezustand (s₂) umfassen.
System (100) nach Anspruch 2, dadurch gekennzeichnet, dass Sensoren und/oder Messvorrichtungen vorgesehen sind zur Erfassung von Messwerten der Traktionsbatterie (10).
System (100) nach einem oder mehreren der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das Belohnungsmodul (500) eine Datenbank (520) oder Matrix für die Bewertung der Aktionen (a₁, a₂, ..., a_i) aufweist.
System (100) nach einem oder mehreren der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Lernverstärkungsagent (200) ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
System (100) nach Anspruch 5, dadurch gekennzeichnet, dass der Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation ausgebildet ist.
System (100) nach einem oder mehreren der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Softwareapplikation auf einem Steuergerät (ECU = electronic control unit) des Kraftfahrzeugs implementiert ist.
Ein Verfahren zum Auffinden von optimierten Aktionen (a₁, a₂, ..., a_i) für die Kalibrierung einer Softwareapplikation zur Bestimmung eines Ladezustands einer Traktionsbatterie (10) eines Kraftfahrzeugs, umfassend: (a) Auswählen (S10) von einer oder mehreren Aktionen (a₁, a₂, ..., a_i) von einem Lernverstärkungs-Agenten (200); (b) Bearbeiten von Daten (S20) aus einem Datenspeicher (300) mittels der ausgewählten Aktionen (a₁, a₂, ..., a_i) für die Berechnung eines Ladezustands (s₁) der Traktionsbatterie (10); (c) Weitergeben (S30) des berechneten Ladezustands (s₁) von dem Lernverstärkungs-Agenten (200) an ein Vergleichsmodul (400) und Vergleichen des berechneten Ladezustand (s₁) mit einem gemessenen Ladezustand (s₂) in dem Vergleichsmodul (400); (d) Weitergeben (S40) des Vergleichsergebnisses an ein Belohnungsmodul (500) und Ermitteln einer Belohnung für das Vergleichsergebnis; (e) Weitergeben (S50) der Belohnung für das Vergleichsergebnis an den Lernverstärkungs-Agenten (200) und erneutes Auswählen auf Basis dieser Belohnung von einer oder mehreren Aktionen (a₁, a₂, ..., a_i) von dem Lernverstärkungs-Agenten (200).
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Daten in dem Datenspeicher (300) Messwerte der Traktionsbatterie (10) wie den Batteriezellenstrom, die Batteriezellenspannung, die Batteriezellentemperatur und/oder den gemessenen Ladezustand (s₂) umfassen.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass Sensoren und/oder Messvorrichtungen vorgesehen sind zur Erfassung von Messwerten der Traktionsbatterie (10).
Verfahren nach einem oder mehreren der vorangehenden Ansprüche 8-10, dadurch gekennzeichnet, dass das Belohnungsmodul (500) eine Datenbank (520) oder Matrix für die Bewertung der Aktionen (a₁, a₂, ..., a_i) aufweist.
Verfahren nach einem oder mehreren der vorangehenden Ansprüche 8-11, dadurch gekennzeichnet, dass der Lernverstärkungsagent (200) ausgebildet ist, einen Algorithmus aus dem verstärkenden Lernen zu verwenden.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass der Algorithmus als Markow-Entscheidungsprozess oder als Temporal Difference Learning (TD-Learning) oder als Q-Learning oder als SARSA oder als Monte-Carlo-Simulation ausgebildet ist.
Verfahren nach einem oder mehreren der Ansprüche 8 bis 13, dadurch gekennzeichnet, dass die Softwareapplikation auf einem Steuergerät (ECU = electronic control unit) des Kraftfahrzeugs implementiert ist.
Computerprogrammprodukt (700), umfassend einen ausführbaren Programmcode (750), der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren nach einem der Ansprüche 8 bis 14 ausführt.