DE112019002991T5 - Aktionsgenerator, energiespeichereinrichtungsbewertungseinheit, computerprogramm, lernverfahren und bewertungsverfahren - Google Patents

Abstract

Ein Aktionsgenerator beinhaltet: eine Aktionsauswahleinheit, die eine Aktion einschließlich einer Festlegung in Bezug auf einen Ladezustand (SOC) einer Energiespeichereinrichtung auf der Grundlage einer Aktionsbewertungsinformation auswählt; eine Zustandserfassungseinheit, die einen Zustand einschließlich eines Leistungsfähigkeitszustands (SOH) der Energiespeichereinrichtung erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Belohnungserfassungseinheit, die eine Belohnung beim verstärkten Lernen erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Aktualisierungseinheit, die die Aktionsbewertungsinformation auf der Grundlage des von der Zustandserfassungseinheit erfassten Zustands und auf der Grundlage der Belohnung, die von der Belohnungserfassungseinheit erfasst wird, aktualisiert; und eine Aktionserzeugungseinheit, die eine Aktion entsprechend dem Zustand der Energiespeichereinrichtung auf der Grundlage der von der Aktualisierungseinheit aktualisierten Aktionsbewertungsinformation erzeugt.

Description

• TECHNISCHES GEBIET
• Die vorliegende Erfindung betrifft einen Aktionsgenerator, eine Energiespeichereinrichtungsbewertungseinheit, ein Computerprogramm, ein Lernverfahren und ein Bewertungsverfahren.
• STAND DER TECHNIK
• In einer unterbrechungsfreien Stromversorgung, einer Gleichstrom-zu-Wechselstrom-Leistungsversorgung, die in einer stabilisierten Leistungsversorgung enthalten ist, und dergleichen, sind häufig Energiespeichereinrichtungen eingesetzt. Des Weiteren nimmt auch die Verwendung von Energiespeichereinrichtungen in Leistungsversorgungssystemen im großen Maßstab zu, die erneuerbare Energie oder durch bestehende Energieerzeugungssysteme erzeugte Energie speichern.
• In einem Leistungsversorgungssystem werden Markttransaktionen ausgeführt, in denen durch einen photovoltaischen Energieerzeuger, durch einen Windenergieerzeuger oder dergleichen erzeugte elektrische Leistung an ein Leistungsversorgungsunternehmen verkauft wird. Die Patentschrift 1 offenbart eine Technik zur Bereitstellung einer Zeit, in welcher elektrische Leistung zu einem höheren Preis verkauft werden kann, wobei dies auf einer vorhergesagten Größe der Nachfrage nach elektrischer Leistung und einem Betrag an elektrischer Leistung, die geliefert werden kann, beruht.
• DRUCKSCHRIFT DES STANDS DER TECHNIK
• PATENTSCHRIFT
• Patentschrift 1: JP-A-2017-151756
• ÜBERBLICK ÜBER DIE ERFINDUNG
• PROBLEME, DIE DURCH DIE ERFINDUNG ZU LÖSEN SIND
• Die Technik der Patentschrift 1 berücksichtigt jedoch nicht den Zustand der Energiespeichereinrichtung. Wenn beispielsweise das System so betrieben wird, dass lediglich dem Zeitpunkt des Verkaufs der elektrischen Leistung Priorität eingeräumt wird, besteht die Möglichkeit, dass die Leistungsfähigkeit bzw. die Gesundheit der Energiespeichereinrichtung verringert werden kann. Wenn andererseits der Leistungsfähigkeit der Energiespeichereinrichtung eine zu hohe Priorität eingeräumt wird, dann führt dies nicht zu einer Zunahme des Betrags an verkaufter elektrischer Leistung oder des Zukaufs an elektrischer Leistung.
• Eine Aufgabe der vorliegenden Erfindung besteht darin, einen Aktionsgenerator, eine Energiespeicherbewertungseinheit, ein Computerprogramm, ein Lernverfahren und ein Bewertungsverfahren anzugeben, die einen optimalen Betrieb des gesamten Systems unter Berücksichtigung der Leistungsfähigkeit bzw. „Gesundheit“ einer Energiespeichereinrichtung bewirken können.
• MITTEL ZUM LÖSEN DER PROBLEME
• Ein Aktionsgenerator beinhaltet: eine Aktionsauswahleinheit, die eine Aktion, die ein Festlegen bzw. ein Einstellen einen Ladezustand (SOC) einer Energiespeichereinrichtung betreffend beinhaltet, auf der Grundlage einer Aktionsbewertungsinformation auswählt; eine Zustandserfassungseinheit, die einen Zustand einschließlich eines Gesundheitszustands bzw. Leistungsfähigkeitszustands (SOH) der Energiespeichereinrichtung erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Belohnungserfassungseinheit, die eine Belohnung erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Aktualisierungseinheit, die die Aktionsbewertungsinformation auf der Grundlage des von der Zustandserfassungseinheit erfassten Zustands und auf der Grundlage der von der Belohnungserfassungseinheit erfassten Belohnung aktualisiert; und eine Aktionserzeugungseinheit, die eine Aktion, die dem Zustand der Energiespeichereinrichtung entspricht, auf der Grundlage der von der Aktualisierungseinheit aktualisierten Aktionsbewertungsinformation erzeugt.
• Ein Computerprogramm veranlasst einen Computer, folgende Prozesse auszuführen: Auswählen einer Aktion, die ein Festlegen bzw. Einstellen einen SOC einer Energiespeichereinrichtung betreffend beinhaltet, auf der Grundlage einer Aktionsbewertungsinformation; Erfassen eines Zustands, der eine Belohnung und einen Leistungsfähigkeitszustand (SOH) der Energiespeichereinrichtung beinhaltet, wenn die ausgewählte Aktion ausgeführt wird; und Aktualisieren der Aktionsbewertungsinformation derart, dass die erfasste Belohnung größer wird und eine Aktion, die dem Zustand der Energiespeichereinrichtung entspricht, eingelernt wird.
• Ein Lernverfahren beinhaltet: Auswählen einer Aktion, die ein Festlegen bzw. Einstellen einen SOC einer Energiespeichereinrichtung betreffend beinhaltet, auf der Grundlage einer Aktionsbewertungsinformation; Erfassen eines Zustands, der eine Belohnung und einen Leistungsfähigkeitszustand (SOH) der Energiespeichereinrichtung enthält, wenn die ausgewählte Aktion ausgeführt wird; und Aktualisieren der Aktionsbewertungsinformation derart, dass die erfasste Belohnung größer wird und eine Aktion, die dem Zustand der Energiespeichereinrichtung entspricht, eingelernt wird.
• Eine Energiespeichereinrichtungsbewertungseinheit beinhaltet: ein eingelerntes bzw. lernendes Modell, das eine aktualisierte Aktionsbewertungsinformation beinhaltet; eine Zustandserfassungseinheit, die einen Zustand einschließlich eines SOH einer Energiespeichereinrichtung erfasst; und eine Bewertungserzeugungseinheit, die den von der Zustandserfassungseinheit erfassten Zustand in das eingelernte Modell einspeist und ein Bewertungsergebnis der Energiespeichereinrichtung auf der Grundlage einer Aktion erzeugt, die ein Festlegen beinhaltet, das den SOC der Energiespeichereinrichtung, der von dem eingelernten Modell ausgegeben wird, betrifft.
• Ein Computerprogramm bewirkt, dass ein Computer die Prozesse ausführt: Erfassen eines Zustands, der einen Leistungsfähigkeitszustand (SOH) einer Speichereinrichtung beinhaltet; Eingeben des erfassten Zustands in ein eingelerntes Modell, das aktualisierte Aktionsbewertungsinformation enthält; und Erzeugen eines Bewertungsergebnisses der Energiespeichereinrichtung auf der Grundlage einer Aktion, die ein Festlegen bzw. Einstellen beinhaltet, das den SOC der Energiespeichereinrichtung, der vom erlernten Modell ausgegeben wird, betrifft.
• Ein Bewertungsverfahren beinhaltet: Erfassen eines Zustands, der einen Leistungsfähigkeitszustand (SOH) einer Speichereinrichtung enthält; Einspeisen des erfassten Zustands in ein eingelerntes Modell, das aktualisierte Aktionsbewertungsinformation enthält; und Erzeugen eines Bewertungsergebnisses der Energiespeichereinrichtung auf der Grundlage einer Aktion, die ein Festlegen bzw. Einstellen in Bezug auf den SOC der Energiespeichereinrichtung, der von dem erlernten Modell ausgegeben wird, beinhaltet.
• VORTEILE DER ERFINDUNG
• Mit der vorhergehenden Anordnung ist es möglich, einen optimalen Betrieb des gesamten Systems unter Berücksichtigung der Leistungsfähigkeit der Energiespeichereinrichtung zu erreichen.
• Figurenliste
• 1 ist eine Ansicht, die einen Überblick eines Fernüberwachungssystems zeigt.
• 2 ist eine Blockansicht, die ein Beispiel des Aufbaus des Fernüberwachungssystems zeigt.
• 3 ist eine Ansicht, die ein Beispiel eines Verbindungsmodus einer Kommunikationseinrichtung zeigt.
• 4 ist eine Blockansicht, die ein Beispiel eines Aufbaus einer Server-Vorrichtung zeigt.
• 5 ist eine schematische Ansicht, die ein Beispiel einer Energieverbrauchgrößeninformation zeigt.
• 6 ist eine schematische Ansicht, die ein Beispiel einer Energieerzeugungsgrößeninformation zeigt.
• 7 ist eine schematische Ansicht, die einen beispielhaften Übergang eines Angebot/ Nachfrage-Ungleichheitsbetrags für elektrische Energie bzw. Leistung in jeder Jahreszeit zeigt.
• 8 ist eine schematische Ansicht, die ein Beispiel einer Umgebungstemperaturinformation zeigt.
• 9 ist eine schematische Ansicht, die die Funktion eines Lebensdauervorhersagesimulators zeigt.
• 10 ist eine schematische Ansicht, die ein Beispiel einer virtuellen SOC-Fluktuation zeigt.
• 11 ist eine schematische Ansicht, die eine Beispiel eines Betrags einer Eigenschaft des SOC zeigt.
• 12 ist eine schematische Ansicht, die ein Beispiel zum Festlegen in Bezug auf den SOC in einem Beispiel des Betriebs in einem Nutzungsfall beim Verkauf von Leistung bzw. Energie zeigt.
• 13 ist eine schematische Ansicht, die ein Beispiel eines verstärkten Lernens zeigt.
• 14 ist eine schematische Ansicht, die ein Beispiel eines Aufbaus einer Bewertungswerttabelle zeigt.
• 15 ist eine schematische Ansicht, die ein Beispiel einer Aktion zeigt.
• 16 ist eine schematische Ansicht, die ein Beispiel des Zustandsübergangs beim verstärkten Lernen zeigt.
• 17 ist eine schematische Ansicht, die ein Beispiel eines Betriebsverfahrens zeigt, das durch verstärktes Lernen erhalten wird.
• 18 ist eine schematische Ansicht, die ein Beispiel des Verlaufs des SOH gemäß dem Betriebsverfahren zeigt, das durch das verstärkte Lernen erreicht wird.
• 19 ist eine schematische Ansicht, die ein Beispiel eines Festlegens in Bezug auf den SOC in einem Beispiel einer Betriebsweise für selbstversorgende Nutzung zeigt.
• 20 ist eine schematische Ansicht, die ein Beispiel eines Aufbaus einer Bewertungswerttabelle in einem zweiten Beispiel zeigt.
• 21 ist eine schematische Ansicht, die ein Beispiel des Betriebsverfahrens des zweiten Beispiels zeigt, das durch das verstärkte Lernen erhalten wird.
• 22 ist ein Flussdiagramm, das ein Beispiel eines Prozessablaufs für ein verstärktes Lernen zeigt.
• 23 ist eine Blockansicht, die ein Beispiel eines Aufbaus einer Server-Vorrichtung als eine Energiespeichereinrichtungsbewertungseinheit zeigt.
• 24 ist ein Flussdiagramm, das ein Beispiel eines Prozessablaufs für ein Verfahren zum Bewerten einer Energiespeichereinrichtung durch die Server-Vorrichtung zeigt.
• 25 ist eine schematische Ansicht, die ein Beispiel eines von der Server-Vorrichtung erzeugten Bewertungsergebnisses zeigt.
• ART ZUM AUSFÜHREN DER ERFINDUNG
• Ein Aktionsgenerator beinhaltet: eine Aktionsauswahleinheit, die eine Aktion, die ein Festlegen bzw. ein Einstellen in Bezug auf einen Ladezustand (SOC) einer Energiespeichereinrichtung enthält, auf der Grundlage einer Aktionsbewertungsinformation auswählt; eine Zustandserfassungseinheit, die einen Zustand einschließlich eines Leistungsfähigkeitszustands (SOH) der Energiespeichereinrichtung erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Belohnungserfassungseinheit, die eine Belohnung erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Aktualisierungseinheit, die die Aktionsbewertungsinformation auf der Grundlage des von der Zustandserfassungseinheit erfassten Zustands und auf der Grundlage der durch die Belohnungserfassungseinheit erfassten Belohnung aktualisiert; und eine Aktionserzeugungseinheit, die eine Aktion entsprechend dem Zustand der Energiespeichereinrichtung auf der Grundlage der von der Aktualisierungseinheit aktualisierten Aktionsbewertungsinformation erzeugt.
• Ein Computerprogramm bewirkt, dass ein Computer Prozesse ausführt mit: Auswählen einer Aktion, die ein Festlegen in Bezug auf den SOC einer Energiespeichereinrichtung beinhaltet, auf der Grundlage einer Aktionsbewertungsinformation; Erfassen eines Zustands, der eine Belohnung enthält, und eines Leistungsfähigkeitszustands (SOH) der Energiespeichereinrichtung, wenn die ausgewählte Aktion ausgeführt wird; und Aktualisieren der Aktionsbewertungsinformation derart, dass die erfasste Belohnung größer wird und eine Aktion, die dem Zustand der Energiespeichereinrichtung entspricht, gelernt bzw. eingelernt wird.
• Ein Lernverfahren beinhaltet: Auswählen einer Aktion, die ein Festlegen bzw. ein Einstellen in Bezug auf einen SOC einer Energiespeichereinrichtung beinhaltet, auf der Grundlage einer Aktionsbewertungsinformation; Erfassen eines Zustands, der eine Belohnung beinhaltet, und eines Leistungsfähigkeitszustands (SOH) der Energiespeichereinrichtung, wenn die ausgewählte Aktion ausgeführt wird; und Aktualisieren der Aktionsbewertungsinformation derart, dass die erfasste Belohnung größer wird und eine Aktion, die dem Zustand der Energiespeichereinrichtung entspricht, eingelernt wird.
• Die Aktionsauswahleinheit wählt eine Aktion auf der Grundlage einer Aktionsbewertungsinformation aus, wobei die Aktion das einen Leistungsfähigkeitszustand (SOC) einer Energiespeichereinrichtung betreffende Durchführen einer Festlegung bzw. einer Einstellung beinhaltet. Die Aktionsbewertungsinformation ist eine Aktionswertfunktion oder eine Tabelle zum Ermitteln eines Bewertungswertes einer Aktion in einem gegebenen Zustand einer Umgebung beim verstärkten bzw. wiederholten Lernen und bedeutet einen Q-Wert oder eine Q-Funktion beim Q-Lernen. Das den SOC betreffende Festlegen bzw. Einstellen beinhaltet beispielsweise ein Festlegen bzw. Einstellen eines oberen Grenzwertes des SOC (um ein Überladen der Energiespeichereinrichtung zu vermeiden), eines unteren Grenzwerts des SOC (um eine Tiefentladung der Energiespeichereinrichtung zu vermeiden), eines SOC-Einstellbetrages zur Einstellung bzw. Festlegung des SOC der Energiespeichereinrichtung auf einen erforderlichen Wert (um die Energiespeichereinrichtung im Voraus zu laden) und dergleichen. Die Aktionsauswahleinheit entspricht einem Agenten beim verstärkten Lernen und kann eine Aktion mit der höchsten Bewertung in der Aktionsbewertungsinformation auswählen.
• Die Zustandserfassungseinheit erfasst einen Zustand einschließlich eines Leistungsfähigkeitszustands bzw. Gesundheitszustands (SOH) der Energiespeichereinrichtung, wenn die ausgewählte Aktion ausgeführt wird. Wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird, ändert sich der Zustand der Umgebung. Die Zustandserfassungseinheit erfasst den geänderten Zustand.
• Die Belohnungserfassungseinheit erfasst eine Belohnung, wenn die ausgewählte Aktion ausgeführt wird. Die Belohnungserfassungseinheit erfasst einen hohen Wert (positiven Wert), wenn die Aktionsauswahleinheit bewirkt, dass ein gewünschtes Ergebnis beim Interagieren mit der Umgebung auftritt. Wenn die Belohnung 0 ist, gibt es keine Belohnung, und wenn die Belohnung ein negativer Wert ist, dann entspricht dies einer Strafe.
• Die Aktualisierungseinheit aktualisiert die Aktionsbewertungsinformation auf der Grundlage des erfassten Zustands und der Belohnung. Genauer gesagt, die Aktualisierungseinheit entspricht dem Agenten beim verstärkten Lernen und aktualisiert die Aktionsbewertungsinformation in einer Richtung, in der die Belohnung für die Aktion maximiert wird. Dies ermöglicht das Erlernen bzw. Einlernen einer Aktion, von der erwartet wird, dass sie den größten Wert in einem gegebenem Zustand der Umgebung hat.
• Die Aktionserzeugungseinheit erzeugt eine Aktion entsprechend einem Systembetrieb, der den Zustand der Energiespeichereinrichtung beinhaltet, auf der Grundlage der aktualisierten Aktionsbewertungsinformation. Dadurch kann für diverse Zustände (beispielsweise diverse SOH) der Energiespeichereinrichtung beispielsweise der optimale Wert der Einstellung in Bezug auf den SOC durch das verstärkte Lernen ermittelt werden, so dass der optimale Betrieb des Systems, das die Energiespeichereinrichtung beinhaltet, erreicht werden kann.
• In dem Aktionsgenerator kann die den SOC betreffende Festlegung bzw. Einstellung die Festlegung bzw. Einstellung des oberen Grenzwertes des SOC, des unteren Grenzwertes des SOC und/oder des SOC-Einstellbetrags auf der Grundlage einer Ladung oder Entladung der Energiespeichereinrichtung beinhalten.
• Die den SOC betreffende Festlegung beinhaltet das Festlegen bzw. Einstellen des oberen Grenzwertes des SOC, des unteren Grenzwertes des SOC und/oder des SOC-Einstellbetrags auf der Grundlage des Ladens oder Entladens der Energiespeichereinrichtung. Zu beachten ist, dass die Festlegung den maximalen Strom und die obere und untere Grenzspannung der Energiespeichereinrichtung beinhalten kann. Durch die Festlegung bzw. Einstellung des oberen Grenzwertes des SOC kann ein Überladen der Energiespeichereinrichtung verhindert werden. Durch die Festlegung des unteren Grenzwerts des SOC kann das Tiefentladen der Energiespeichereinrichtung verhindert werden. Das Festlegen des oberen Grenzwerts und des unteren Grenzwerts des SOC ermöglicht die Einstellung des zentralen bzw. mittleren SOC der SOC und des Schwankungsbereichs des SOC, die sich beim Laden und Entladen der Energiespeichereinrichtung ändern können. Die mittlere SOC ist der Mittelwert des sich ändernden SOC, und der Schwankungsbereich des SOC ist die Differenz zwischen dem maximalen Wert und dem minimalen Wert des ändernden SOC. Der Degradationswert der Energiespeichereinrichtung ändert sich entsprechend dem mittleren SOC und entsprechend dem Schwankungsbereich des SOC. Dies macht es möglich, die den SOC betreffende Festlegung bzw. Einstellungen einzuerlernen, um damit den Grad der Degradation gemäß dem Zustand (beispielsweise SOH) der Energiespeichereinrichtung zu reduzieren.
• Der SOC-Einstellbetrag ist ein Einstellbetrag zum Laden der Energiespeichereinrichtung aus dem Leistungssystem bei Nacht und zum Festlegen des SOC der Energiespeichereinrichtung auf einen erforderlichen Wert vor dem Verbinden der Energiespeichereinrichtung mit einem Verbraucher. Wenn beispielsweise der SOC der Energiespeichereinrichtung, die einen SOC von 20% hat, auf 90% festgelegt wird, dann ist der SOC-Einstellbetrag 70% (= 90 - 20). Diese überschüssige Energie vom Tag zur Nacht kann verkauft werden, während der Energiebedarf des Verbrauchers gedeckt wird, und es kann daher die den SOC betreffende Festlegung zum Reduzieren des Grades der Degradation der Energiespeichereinrichtung erlernt werden, während der Verkauf von Energie berücksichtigt wird. Durch Nutzung von elektrischer Energie, die während der Nacht bei geringem Elektrizitätsbedarf geladen wird, ist es während der Tageszeit möglich, ein Betriebsverfahren für ein System einzulernen, das den Verkauf von Elektrizität während der Tageszeit vermeidet, wenn die Elektrizitätsrate hoch ist.
• In dem Aktionsgenerator kann die Aktion das Festlegen der Umgebungstemperatur der Energiespeichereinrichtung beinhalten.
• Die Aktion beinhaltet das Festlegen der Umgebungstemperatur der Energiespeichereinrichtung. Die Temperatur der Energiespeichereinrichtung kann auf der Grundlage der Umgebungstemperatur der Energiespeichereinrichtung abgeschätzt werden. Der Degradationswert der Energiespeichereinrichtung ändert sich in Abhängigkeit von der Temperatur der Energiespeichereinrichtung, so dass es möglich ist, eine Einstellung der Umgebungstemperatur, die den Grad der Degradation reduzieren kann, gemäß dem Zustand (beispielsweise SOH) der Energiespeichereinrichtung einzulernen. Andererseits steigen die Kosten aufgrund des Verbrauchs elektrischer Energie zum Einstellen der Umgebungstemperatur. Mit der vorliegenden Offenbarung ist es möglich, die Festlegung der Umgebungstemperatur derart einzulernen, dass der Energieverbrauch minimiert wird.
• Der Aktionsgenerator kann aufweisen: eine Energieerzeugungsbetrags-Informationserfassungseinheit, die Energieerzeugungsbetragsinformation in Energieerzeugungsstätten erfasst, mit der die Energiespeichereinrichtung verbunden ist; eine Energieverbrauchbetrags-Informationserfassungseinheit, die eine Energieverbrauchbetragsinformation in einer Energie anfordernden Stätte erfasst; eine SOC-Verlaufsschätzeinheit, die einen Verlauf des SOC der Energiespeichereinrichtung auf der Grundlage der Energieerzeugungsbetragsinformation, der Energieverbrauchbetragsinformation und der von der Aktionsauswahleinheit ausgewählten Aktion abschätzt; und eine SOH-Schätzeinheit, die einen SOH der Energiespeichereinrichtung auf der Grundlage des Verlaufs des SOC, der von der SOC-Übergangsschätzeinheit abgeschätzt wird, abschätzt. Die Zustandserfassungseinheit kann den von der SOH-Schätzeinheit abgeschätzten bzw. ermittelten SOH erfassen.
• Die Energieerzeugungsbetrags-Informationserfassungseinheit erfasst eine Energieerzeugungsbetragsinformation in einer Energieerzeugungsstätte (Leistungssystem), mit welchem die Energiespeichereinrichtung verbunden ist. Die Energieerzeugungsbetragsinformation ist eine Information, die den Verlauf erzeugter Energie bzw. Leistung über eine vorbestimmte Zeitdauer hinweg repräsentiert. Die vorbestimmte Zeitdauer kann beispielsweise auf einen Tag, eine Woche, einen Monat, den Frühling, den Sommer, den Herbst, den Winter, ein Jahr oder dergleichen festgelegt werden. Dabei bezeichnet der Energieerzeugungsbetrag die Menge an elektrischer Energie bzw. Leistung, die durch erneuerbare Energie oder ein bestehendes Energieerzeugungssystem erzeugt wird. Das Energieerzeugungssystem kann ein Energieversorgungsunternehmen oder ein großes kommerzielles (ziviles) Energieerzeugungsunternehmen, ein Geschäftsbüro, ein Gebäude, ein öffentliches Gebäude, etwa eine kommerzielle Einrichtung, eine Regierungsstelle oder eine Eisenbahn (Bahnhofsgebäude) oder eine kleine Energieerzeugungseinheit, etwa ein Haushalterzeugungssystem, sein.
• Die Energieverbrauchbetrags-Informationserfassungseinheit erfasst eine Energieverbrauchbetragsinformation in einer Energie anfordernden Stätte (Leistungssystem). Die Energieverbrauchbetragsinformation ist eine Information, die den Verlauf des Energieverbrauchs über eine vorbestimmte Zeitdauer hinweg repräsentiert. Die vorbestimmte Zeitdauer kann auf die gleiche Zeitdauer festgelegt werden, wie die vorbestimmte Zeitdauer der Energieerzeugungsbetragsinformation. Die Energieverbrauchbetragsinformation ist eine Information, die ein Lastmuster repräsentiert, das von einem Nutzer, der die Energiespeichereinrichtung benutzt, angefordert wird. Zu beachten ist, dass das Leistungssystem die Energieerzeugungsstätte und die Energie anfordernde Stätte umfasst.
• Die SOC-Verlaufsschätzeinheit schätzt den Verlauf des SOC der Energiespeichereinrichtung auf der Grundlage der Energieerzeugungsbetragsinformation, der Energieverbrauchbetragsinformation und der ausgewählten Aktion ab. Wenn die erzeugte Energie höher ist als der Energieverbrauch in der vorbestimmten Zeitdauer, dann wird die Energiespeichereinrichtung geladen und der SOC steigt an. Wenn andererseits die erzeugte Energie geringer als der Energieverbrauch ist, dann wird die Energiespeichereinrichtung entladen, und der SOC nimmt ab. Gegebenenfalls kann in der vorbestimmten Zeitdauer das Laden und Entladen der Energiespeichereinrichtung nicht ausgeführt werden (beispielsweise in der Nacht). Die Schwankung des SOC ist durch den oberen Grenzwert und den unteren Grenzwert begrenzt. Mit dem SOC-Einstellbetrag kann der SOC erhöht werden. Daher kann der Verlauf des SOC über die vorbestimmte Zeitdauer hinweg abgeschätzt werden.
• Die SOH-Schätzeinheit schätzt den SOH der Energiespeichereinrichtung auf der Grundlage des abgeschätzten SOC-Verlaufs ab. Die Zustandserfassungseinheit erfasst den von der SOH-Schätzeinheit abgeschätzten SOH. Ein Degradationswert Qdeg der Energiespeichereinrichtung nach der vorbestimmten Zeitdauer kann als die Summe eines Aktivierungsdegradationswertes Qcur und eines Nicht-Aktivierungsdegradationswertes Qcnd ausgedrückt werden. Wenn die verstrichene Zeit durch t repräsentiert wird, dann kann der Nicht-Aktivierungsdegradationswert Qcnd durch beispielsweise $\text{Qcnd=K1}\times \sqrt{\left(\text{t}\right)}$

  

  ermittelt werden. Der Koeffizient K1 ist eine Funktion des SOC. Der Aktivierungsdegradationswert Qcur kann durch beispielsweise Qcur = K2 ermittelt werden. Der Koeffizient K2 ist eine Funktion des SOC. Es sei angenommen, dass der SOH am Startpunkt der vorbestimmten Zeitdauer gleich SOH1 ist, und dass der SOH am Endpunkt gleich SOH2 ist, dann kann der SOH durch SOH2 = SOH1 - Qdeg abgeschätzt werden.
• Daher kann der SOH nach dem Verstreichen der vorbestimmten Zeitdauer bezüglich seines künftigen Verlaufs abgeschätzt werden. Wenn ferner der Degradationswert nach dem Verstreichen der vorbestimmten Zeitdauer auf der Grundlage des abgeschätzten SOH berechnet wird, kann der SOH nach dem Verstreichen der vorbestimmten Zeitdauer weiter abgeschätzt werden. Durch Wiederholung der Abschätzung des SOH für jede vorbestimmte Zeitdauer ist es möglich abzuschätzen, ob die Speichereinrichtung die erwartete Lebensdauer (beispielsweise 10 Jahre, 15 Jahr etc.) der Energiespeichereinrichtung erreicht hat oder nicht (unabhängig davon, ob der SOH gleich oder kleiner ist als der Endzustand der Belastbarkeit (EOL)).
• Der Aktionsgenerator kann eine Temperaturinformationserfassungseinheit aufweisen, die eine Umgebungstemperaturinformation der Energiespeichereinrichtung erfasst, und die SOH-Schätzeinheit kann den SOH der Energiespeichereinrichtung auf der Grundlage der Umgebungstemperaturinformation abschätzen.
• Die Temperaturinformationserfassungseinheit erfasst die Umgebungstemperaturinformation der Energiespeichereinrichtung. Die Umgebungstemperaturinformation ist eine Information, die den Verlauf der Umgebungstemperatur über eine vorbestimmte Zeitdauer repräsentiert.
• Die SOH-Schätzeinheit schätzt den SOH der Energiespeichereinrichtung auf der Grundlage des abgeschätzten SOC-Verlaufs und der Umgebungstemperaturinformation ab. Die Zustandserfassungseinheit erfasst den von der SOH-Schätzeinheit abgeschätzten SOH. Ein Degradationswert Qdeg der Energiespeichereinrichtung nach der vorbestimmten Zeitdauer kann ausgedrückt werden durch die Summe eines Aktivierungsdegradationswerts Qcur und eines Nicht-Aktivierungsdegradationswerts Qcnd. Wenn die verstrichene Zeitdauer durch t repräsentiert ist, dann kann der Nicht-Aktivierungsdegradationswert Qcnd durch beispielsweise $\text{Qcnd=K1}\times \sqrt{\left(\text{t}\right)}$

  

  ermittelt werden. Der Koeffizient K1 ist eine Funktion des SOC und der Temperatur T. Der Aktivierungsdegradationswert Qcur kann beispielsweise durch $\text{Qcur=K2}\times \sqrt{\left(\text{t}\right)}$

  

  ermittelt werden. Der Koeffizient K2 ist eine Funktion des SOC und der Temperatur T. Wenn man annimmt, dass der SOH zum Startpunkt der vorbestimmten Zeitdauer SOH1 und der SOH am Endpunkt gleich SOH2 ist, dann kann der SOH durch SOH2 = SOH1 - Qdeg abgeschätzt werden.
• Daher kann der SOH nach dem Verstreichen der vorbestimmten Zeitdauer bezüglich des künftigen Verlaufs abgeschätzt werden. Wenn ferner der Degradationswert nach dem Verstreichen der vorbestimmten Zeitdauer auf der Grundlage des abgeschätzten SOH berechnet wird, dann kann der SOH nach dem Verstreichen der vorbestimmten Zeitdauer weiterhin abgeschätzt werden. Durch das Wiederholen der Abschätzung des SOH für jede vorbestimmte Zeitdauer ist es möglich abzuschätzen, ob die Energiespeichereinrichtung die erwartete Lebensdauer (beispielsweise 10 Jahre, 15 Jahre etc.) der Energiespeichereinrichtung erreicht hat oder nicht (unabhängig davon, ob der SOH gleich oder kleiner als der Endzustand der Belastbarkeit (EOL) ist).
• Der Aktionsgenerator kann eine Belohnungsberechnungseinheit aufweisen, die eine Belohnung auf der Grundlage eines Betrags an elektrischer Energie, der an die energieerzeugende Stätte oder die energieanfordernde Stätte verkauft worden ist, berechnet, und die Belohnungserfassungseinheit kann die von der Belohnungsberechnungseinheit berechnete Belohnung erfassen.
• Die Belohnungsberechnungseinheit berechnet eine Belohnung auf der Grundlage der Menge an elektrischer Energie, die an die energieerzeugende Stätte oder die energieanfordernde Stätte verkauft wird. Wenn beispielsweise ein Betrieb stattfindet, in welchem Überschussenergie, die in der Energiespeichereinrichtung gespeichert ist, aktiv verkauft wird, dann wird die Belohnung derart berechnet, dass gilt: je größer die Menge verkaufter elektrischer Energie ist, umso größer ist der Wert der Belohnung. Dadurch kann der optimale Betrieb des Leistungssystems für den Zweck des Verkaufens elektrischer Energie erreicht werden.
• Ferner wird im Falle eines Betriebs, in welchem die in der Energiespeichereinrichtung gespeicherte überschüssige Energie nicht in dem Maße verkauft wurde, wie dies möglich war, die Belohnung derart berechnet, dass gilt: je kleiner die Menge verkaufter elektrischer Energie ist, desto größer wird der Wert der Belohnung. Daher ist es möglich, einen optimalen Betrieb des Leistungssystems für die Eigenbedarfnutzung der elektrischen Energie zu erreichen.
• Der Aktionsgenerator kann eine Belohnungsberechnungseinheit aufweisen, die eine Belohnung auf der Grundlage des Energieverbrauchbetrags, der sich aus dem Ausführen der Aktion ergibt, berechnen, und die Belohnungserfassungseinheit kann die von der Belohnungsberechnungseinheit berechnete Belohnung erfassen.
• Die Belohnungsberechnungseinheit berechnet die Belohnung auf der Grundlage des Energieverbrauchbetrags, der sich aus dem Ausführen der Aktion ergibt. Der Energieverbrauchbetrag, der sich aus dem Ausführen der Aktion ergibt, ist beispielsweise der Energieverbrauch, der sich aus dem Festlegen des SOC-Einstellbetrags, dem Festlegen der Umgebungstemperatur und dergleichen ergibt, und kann durch eine Funktion, in der der SOC-Einstellbetrag, die Umgebungstemperatur und dergleichen als Variablen auftreten, berechnet werden. Wenn beispielsweise der SOC-Einstellbetrag groß ist, dann kann die Belohnung ein negativer Wert (Strafe) sein. Daher ist es möglich, einen optimalen Betrieb der Energiespeichereinrichtung zu erreichen, während gleichzeitig der Energieverbrauchbetrag reduziert wird.
• Der Aktionsgenerator kann eine Belohnungsberechnungseinheit aufweisen, die eine Belohnung auf der Grundlage davon berechnet, ob der Zustand der Energiespeichereinrichtung die Lebensdauer erreicht hat oder nicht, und die Belohnungserfassungseinheit kann die von der Belohnungsberechnungseinheit berechnete Belohnung erfassen.
• Die Belohnungsberechnungseinheit berechnet die Belohnung auf der Grundlage davon, ob die Energiespeichereinrichtung die Lebensdauer erreicht hat oder nicht. Wenn beispielsweise der SOH der Energiespeichereinrichtung nicht kleiner als der Endzustand der Belastbarkeit (EOL) ist, dann kann eine Belohnung gegeben werden, und wenn der SOH gleich oder kleiner als der EOL ist, dann kann eine Strafe gegeben werden. Es ist dadurch möglich, den optimalen Betrieb derart zu erreichen, dass die erwartete Lebensdauer (beispielsweise 10 Jahre, 15 Jahre etc.) der Energiespeichereinrichtung erreicht wird.
• Eine Energiespeichereinrichtungsbewertungseinheit beinhaltet: ein eingelerntes bzw. lernendes Modell, das aktualisierte Aktionsbewertungsinformation enthält; eine Zustandserfassungseinheit, die einen Zustand einschließlich des SOH der Energiespeichereinrichtung erfasst; und eine Bewertungserzeugungseinheit, die den von der Zustandserfassungseinheit erfassten Zustand in das eingelernte Modell einspeist und ein Bewertungsergebnis der Energiespeichereinrichtung auf der Grundlage einer Aktion erzeugt, die ein Festlegen beinhaltet, das den von dem eingelernten Modell ausgegebenen SOC der Energiespeichereinrichtung betrifft.
• Ein Computerprogramm bewirkt, dass ein Computer die Prozesse ausführt: Erfassen eines Zustands, der einen Leistungsfähigkeitszustand (SOH) einer Speichereinrichtung beinhaltet; Einspeisen des erfassten Zustands in ein eingelerntes Modell, das eine aktualisierte Aktionsbewertungsinformation enthält; und Erzeugen eines Bewertungsergebnisses der Energiespeichereinrichtung auf der Grundlage einer Aktion, die ein Festlegen bzw. Einstellen beinhaltet, das den von dem erlernten Modell ausgegebenen SOC der Energiespeichereinrichtung betrifft.
• Ein Bewertungsverfahren beinhaltet: Erfassen eines Zustands, der einen Leistungsfähigkeitszustand (SOH) einer Speichereinrichtung enthält; Einspeisen des erfassten Zustands in ein eingelerntes Modell, das aktualisierte Aktionsbewertungsinformation enthält; und Erzeugen eines Bewertungsergebnisses der Energiespeichereinrichtung auf der Grundlage einer Aktion, die eine Festlegung beinhaltet, die den von dem eingelernten Modell ausgegebenen SOC der Energiespeichereinrichtung betrifft.
• Das eingelernte Modell beinhaltet eine aktualisierte, das heißt, eingelernte Aktionsbewertungsinformation. Wenn der Zustand einschließlich des SOH der Energiespeichereinrichtung, der von der Zustandserfassungseinheit erfasst wird, in das lernende Modell eingespeist wird, dann gibt das lernende Modell eine Aktion aus, die dem Systembetrieb, der die Energiespeichereinrichtung beinhaltet, entspricht. Die Bewertungserzeugungseinheit erzeugt ein Bewertungsergebnis der Energiespeichereinrichtung auf der Grundlage der Aktion der Energiespeichereinrichtung, die von dem lernenden Modell ausgegeben wird. Das Bewertungsergebnis beinhaltet beispielsweise das optimale Betriebsverfahren des gesamten Systems, das die Energiespeichereinrichtung beinhaltet, in Hinblick auf die Leistungsfähigkeit der Energiespeichereinrichtung.
• Die Energiespeichereinrichtungsbewertungseinheit beinhaltet eine Parametererfassungseinheit, die einen Entwurfsparameter der Energiespeichereinrichtung erfasst, und die Bewertungserzeugungseinheit erzeugt ein Bewertungsergebnis der Energiespeichereinrichtung gemäß dem Entwurfsparameter, der von der Parametererfassungseinheit erfasst wird.
• Die Bewertungserzeugungseinheit erzeugt ein Bewertungsergebnis der Energiespeichereinrichtung entsprechend dem Entwurfsparameter, der von der Parametererfassungseinheit erfasst wird. Die Entwurfsparameter der Energiespeichereinrichtung beinhalten diverse Parameter, etwa die Art, die Anzahl und die Nennwerte der Energiespeichereinrichtungen, die für den Systementwurf vor einem tatsächlichen Betrieb des Systems erforderlich sind. Durch die Erzeugung des Bewertungsergebnisses der Energiespeichereinrichtung gemäß dem Entwurfsparameter ist es möglich, beispielsweise zu erkennen, welche Art von Entwurfsparameter verwendet wird, um das optimale Betriebsverfahren des gesamten Systems in Hinblick auf die Leistungsfähigkeit zu erhalten.
• Im Weiteren werden der Aktionsgenerator und die Energiespeicherbewertungseinheit gemäß der vorliegenden Erfindung mit Verweis auf die Zeichnungen beschrieben. 1 ist eine Ansicht, die einen Überblick über ein Fernüberwachungssystem 100 zeigt. Wie in 1 gezeigt ist, umfasst ein Netzwerk N ein öffentliches Kommunikationsnetzwerk (beispielsweise das Internet) N1, ein Trägernetzwerk N2, das eine drahtlose Kommunikation auf der Grundlage eines Mobilkommunikationsstandards ermöglicht, und dergleichen. Ein thermisches Energieerzeugungssystem F, ein Mega-Solarenergieerzeugungssystem S, ein Windenergieerzeugungssystem W, eine unterbrechungsfreie Energieversorgungsvorrichtung, eine unterbrechungsfreie Energieversorgung (UPS) U, ein Gleichrichter (eine Gleichstromenergieversorgung oder Wechselstromenergieversorgung) D, die in einem stabilisierten Energieversorgungssystem für Schienentransport angeordnet ist, und dergleichen sind mit dem Netzwerk N verbunden. Eine Kommunikationseinrichtung 1, die nachfolgend beschrieben wird, eine Server-Vorrichtung 2 als ein Aktionsgenerator zur Gewinnung von Information aus der Kommunikationseinrichtung 1 und eine Client-Vorrichtung 3, die die gesammelte Information erfasst, sind mit dem Netzwerk N verbunden.
• Genauer gesagt, das Trägernetzwerk N2 beinhaltet eine Basisstation BS. Die Client-Vorrichtung 3 kann mit der Server-Vorrichtung 2 über das Netzwerk N über die Basisstation BS kommunizieren. Ein Zugangspunkt AP ist mit dem öffentlichen Kommunikationsnetzwerk N1 verbunden, und die Client-Vorrichtung 3 kann Information aus dem Zugangspunkt AP über das Netzwerk N zu und von der Server-Vorrichtung 2 senden und empfangen.
• Das Mega-Solarenergieerzeugungssystem S, das thermische Energieerzeugungssystem F und das Windenergieerzeugungssystem W sind neben einer Leistungsaufbereitungseinheit (Leistungsaufbereitungssystem: PCS) P und einem Energiespeichersystem 101 angeordnet. Das Energiespeichersystem 101 ist durch Anordnung mehrerer Behälter C, die jeweils eine Energiespeichermodulgruppe L beherbergen, aufgebaut. Die Energiespeichermodulgruppe L besitzt eine hierarchische Struktur von beispielsweise einem Energiespeichermodul (auch als Modul bezeichnet), in welchem mehrere Energiespeicherzellen (auch als Zellen bezeichnet) in Reihe geschaltet sind, eine Bank, in der mehrere Energiespeichermodule in Reihe geschaltet sind, und einen Bereich, in welchem mehrere Bänke parallel geschaltet sind. Die Energiespeichereinrichtung ist vorzugsweise wiederaufladbar, etwa in Form einer Sekundärbatterie, etwa einer Blei-Säure-Batterie oder einer Lithium-Ionen-Batterie oder eines Kondensators. Ein Teil der Energiespeichereinrichtung kann eine Primärbatterie sein, die nicht wiederaufladbar ist. Das Mega-Solarenergieerzeugungssystem S, das thermische Energieerzeugungssystem F, das Windenergieerzeugungssystem W, der Leistungsaufbereitungseinheit P und das Energiespeichereinrichtungssystem 101 liefern elektrische Energie an eine energieanfordernde Stätte über ein Energieübertragungs- und - verteilungsnetz (nicht gezeigt). Das Leistungssystem beinhaltet eine energieerzeugende Stätte, eine energieanfordernde Stätte und dergleichen, die mit dem Energiespeichersystem 101 verbunden sind.
• 2 ist eine Blockansicht, die ein Beispiel des Aufbaus des Fernüberwachungssystems 100 zeigt. Das Fernüberwachungssystem 100 beinhaltet die Kommunikationseinrichtung 1, die Server-Vorrichtung 2, die Client-Vorrichtung 3 und dergleichen.
• Wie in 2 gezeigt ist, ist die Kommunikationseinrichtung 1 mit dem Netzwerk N verbunden und ist ferner mit den Zielvorrichtungen P, U, D, M verbunden. Die Zielvorrichtungen P, U, D, M beinhalten eine Leistungsaufbereitungseinheit P, eine unterbrechungsfreie Energieversorgung U, einen Gleichrichter D und eine Verwaltungsvorrichtung M, die nachfolgend beschrieben werden.
• In dem Fernüberwachungssystem 100 wird der Zustand (beispielsweise Spannung, Strom, Temperatur, Ladezustand (SOC)) des Energiespeichermoduls (Energiespeicherzellen) in dem Energiespeichersystem 101 überwacht und zusammengetragen, wobei die mit jeder der Zielvorrichtungen P, U, D, M verbundene Kommunikationseinrichtung 1 verwendet wird. Das Fernüberwachungssystem 100 stellt den erkannten Zustand (einschließlich eines degradierten Zustands, eines von der Norm abweichenden Zustands, und dergleichen) der Energiespeicherzelle derart dar, so dass ein Benutzer oder ein Bediener (eine für die Wartung verantwortliche Person) den erkannten Zustand wahrnehmen kann.
• Die Kommunikationseinrichtung 1 beinhaltet eine Steuereinheit 10, eine Speichereinheit 11, eine erste Kommunikationseinheit 12 und eine zweite Kommunikationseinheit 13. Die Steuereinheit 10 ist aus einer zentralen Verarbeitungseinheit (CPU) oder dergleichen aufgebaut und steuert die gesamte Kommunikationseinrichtung 1, indem eingebaute Speicher, etwa ein Nur-Lese-Speicher (ROM) und ein Speicher mit wahlfreiem Zugriff (RAM), verwendet werden.
• Als die Speichereinheit 11 kann beispielsweise ein nichtflüchtiger Speicher, etwa ein Flash-Speicher, verwendet werden. Die Speichereinheit 11 speichert ein Geräteprogramm 1P, das von der Steuereinheit 10 auszulesen und auszuführen ist. Die Speichereinheit 11 speichert Information, etwa Information, die durch den Arbeitsablauf der Steuereinheit 10 gewonnen wird, und entsprechende Ereignisaufzeichnungen.
• Die erste Kommunikationseinheit 12 ist eine Kommunikationsschnittstelle zur Ermöglichung einer Kommunikation mit den Zielvorrichtungen P, U, D, M und kann beispielsweise eine serielle Kommunikationsschnittstelle sein, etwa RS-232 C oder RS-485.
• Die zweite Kommunikationseinheit 13 ist eine Schnittstelle zur Ermöglichung einer Kommunikation über das Netzwerk N und sie verwendet beispielsweise eine Kommunikationsschnittstelle, etwa Ethernet (eingetragene Handelsmarke) oder eine Drahtlos-Kommunikationsantenne. Die Steuereinheit 10 kann mit der Server-Vorrichtung 2 über die zweite Kommunikationseinheit 13 kommunizieren.
• Die Client-Vorrichtung 3 kann ein Computer sein, der von dem Bediener, etwa dem Administrator des Energiespeichersystems 101 der Energieerzeugungssysteme S, F oder einer Person, die für die Wartung der Zielvorrichtungen P, U, D, M verantwortlich ist, verwendet wird. Die Client-Vorrichtung 3 kann ein Tischrechner oder ein tragbarer Personalcomputer sein, oder kann ein intelligentes Telefon oder ein Kommunikationsendgerät in Form eines Tablets sein. Die Client-Vorrichtung 3 beinhaltet eine Steuereinheit 30, eine Speichereinheit 31, eine Kommunikationseinheit 32, eine Anzeigeeinheit 33 und eine Bedieneinheit 34.
• Die Steuereinheit 30 ist ein Prozessor, in welchem eine CPU verwendet wird. Die Steuereinheit 30 bewirkt, dass die Anzeigeeinheit 33 einer Netz-Seite angezeigt wird, die von der Server-Vorrichtung 2 oder der Kommunikationseinrichtung 1 auf der Grundlage eines Netz-Browserprogramms bereitgestellt wird, das in der Speichereinheit 31 abgelegt ist.
• Die Speichereinheit 31 verwendet einen nichtflüchtigen Speicher, etwa eine Festplatte oder einen Flash-Speicher. Die Speichereinheit 31 speichert diverse Programme, einschließlich eines Netz-Browserprogramms.
• Die Kommunikationseinheit 32 kann eine Kommunikationseinrichtung verwenden, etwa eine Netzwerkkarte für eine verdrahtete Kommunikation, eine drahtlose Kommunikationseinrichtung für mobile Kommunikation in Verbindung mit einer Basisstation BS (siehe 1), oder eine drahtlose Kommunikationseinrichtung, die einer Verbindung zu dem Zugangspunkt AP zugeordnet ist. Die Steuereinheit 30 ermöglicht mittels der Kommunikationseinheit 32 eine Kommunikationsverbindung oder eine Übertragung und einen Empfang von Information zwischen der Server-Vorrichtung 2 oder der Kommunikationseinrichtung 1 über das Netzwerk N.
• Als die Anzeigeeinheit 33 kann eine Flüssigkristallanzeige, eine organische Elektrolumineszenz- (EL-)Anzeige oder dergleichen verwendet werden. Die Anzeigeeinheit 33 kann ein Bild einer durch die Server-Vorrichtung 2 bereitgestellten Netz-Seite anzeigen, indem eine Verarbeitung auf der Grundlage des Netz-Browserprogramm der Steuereinheit 30 erfolgt.
• Die Bedieneinheit 34 ist eine Benutzerschnittstelle, etwa eine Tastatur und eine Zeigeeinrichtung, die in der Lage sind, eine Eingabe und Ausgabe in Verbindung mit der Steuereinheit 30 zu ermöglichen, oder ist eine Spracheingabeeinheit. Es können eine berührungsempfindliche Fläche der Anzeigeeinheit 33 oder ein physischer Knopf, der in dem Gehäuse vorgesehen ist, für die Bedieneinheit 34 verwendet werden. Die Bedieneinheit 34 benachrichtigt die Steuereinheit 20 über die Betriebsinformation, die durch den Benutzer eingegeben wird.
• Der Aufbau der Server-Vorrichtung 2 wird später beschrieben.
• 3 ist eine Ansicht, die ein Beispiel des Verbindungsmodus einer Kommunikationseinrichtung 1 zeigt. Wie in 3 gezeigt ist, ist die Kommunikationseinrichtung 1 mit der Verwaltungsvorrichtung M verbunden.
• Verwaltungsvorrichtungen M, die in Bänken #1 bis # N entsprechend angeordnet sind, sind mit der Verwaltungsvorrichtung M geeignet verbunden. Zu beachten ist, dass die Kommunikationseinrichtung 1 eine Endgerätvorrichtung (Messbildschirm) sein kann, die mit den Verwaltungsvorrichtungen M, die entsprechend in den Bänken #1 bis # N vorgesehen sind, in Verbindung treten, um Information über die Energiespeichereinrichtungen zu empfangen, oder sie kann eine Kommunikationseinrichtung in Form einer Netzwerkkarte sein, die mit einer Vorrichtung, die mit der Energieversorgung in Beziehung steht, verbunden werden kann.
• Jede der Bänke #1 bis # N beinhaltet mehrere Energiespeichermodule 60, und jedes Energiespeichermodul 60 beinhaltet eine Steuerplatine (Zellenüberwachungseinheit: CMU) 70. Die Verwaltungsvorrichtung M, die für jede Bank vorgesehen ist, kann mit der Steuerplatine 70 mittels einer Kommunikationsfunktion in Verbindung treten, die in jedes Energiespeichermodul 60 durch serielle Kommunikation eingebaut ist, und sie kann Information zu der Verwaltungsvorrichtung M, die mit einer Kommunikationseinrichtung 1 verbunden ist, senden und davon empfangen. Die Verwaltungsvorrichtung M, die mit der Kommunikationseinrichtung 1 verbunden ist, sammelt Information aus jeder Verwaltungsvorrichtung M der Bank, die zu einem Bereich gehört, und gibt die gesammelte Information an die Kommunikationseinrichtung 1 aus.
• 4 ist eine Blockansicht, die ein Beispiel des Aufbaus der Server-Vorrichtung 2 zeigt. Die Server-Vorrichtung 2 enthält eine Steuereinheit 20, eine Kommunikationseinheit 21, eine Speichereinheit 22 und eine Verarbeitungseinheit 23. Die Verarbeitungseinheit 23 beinhaltet einen Lebensdauervorhersage-Simulator 24, eine Belohnungsberechnungseinheit 25, eine Aktionsauswahleinheit 26 und eine Bewertungswerttabelle 27. Die Server-Vorrichtung 2 kann ein einzelner Server-Computer sein oder kann alternativ aus mehreren Server-Computern aufgebaut sein.
• Die Steuereinheit 20 kann beispielsweise aus einer CPU aufgebaut sein und sie steuert die gesamte Server-Vorrichtung 2 unter Verwendung von eingebauten Speichern, etwa ROM und RAM. Die Steuereinheit 20 führt eine Informationsverarbeitung auf der Grundlage eines Server-Programms 2P aus, das in der Speichereinheit 22 abgelegt ist. Das Server-Programm 2P beinhaltet ein Netz-Server-Programm, und die Steuereinheit 20 agiert als ein Netz-Server, der die Bereitstellung einer Netz-Seite für die Client-Vorrichtung 3, den Empfang einer Login-Information in einem Netz-Dienst und dergleichen ausführt. Die Steuereinheit 20 kann auch Information aus der Kommunikationseinrichtung 1 als ein einfacher Netzverwaltungsprotokoll- (SNMP-)Server auf der Grundlage des Server-Programms 2P sammeln.
• Die Kommunikationseinheit 21 ist eine Kommunikationseinrichtung, die eine Kommunikationsverbindung und das Senden und das Empfangen von Daten über das Netzwerk N ermöglicht. Insbesondere ist die Kommunikationseinrichtung 21 eine Netzwerkkarte, die für das Netzwerk N geeignet ist.
• Als die Speichereinheit 22 kann ein nichtflüchtiger Speicher, etwa eine Festplatte oder ein Flash-Speicher, verwendet werden. Die Speichereinheit 22 speichert Sensorinformation (beispielsweise Spannungsdaten, Stromdaten und Temperaturdaten der Energiespeichereinrichtung), die die Zustände der Zielvorrichtungen P, U, D, M beinhaltet, die es zu überwachen gilt, und die durch Arbeit der Steuereinheit 20 gesammelt wird.
• Die Speichereinheit 22 speichert eine Energieverbrauchbetragsinformation in dem Leistungssystem, mit welchem das Energiespeichersystem 101 verbunden ist. Die Leistungssysteme beinhalten Energieerzeugungsstätten, etwa das Mega-Solarenergieerzeugungssystem S, das thermische Energieerzeugungssystem F und das Windenergieerzeugungssystem W, sowie auch energieanfordernde Stätten. Die Energieverbrauchbetragsinformation ist eine Information, die den Verlauf des Energieverbrauchs über eine vorbestimmte Zeitdauer repräsentiert. Die vorbestimmte Zeitdauer kann beispielsweise auf einen Tag, eine Woche, einen Monat, den Frühling, den Sommer, den Herbst, den Winter, ein Jahr oder dergleichen festgelegt werden. Die Energieverbrauchbetragsinformation ist eine Information, die ein Lastmuster bzw. Verbrauchsmuster repräsentiert, das von einem Benutzer unter Anwendung des Energiespeichersystems 101 hervorgerufen wird. Zu beachten ist, dass die Energieverbrauchbetragsinformation beispielsweise in Bänke unterteilt und gespeichert werden kann, und dass eine gemeinsame Energieverbrauchbetragsinformation für jede Bank für die Energiespeichereinrichtungen (Batteriezellen), die die Bank bilden, verwendet werden kann. Die Energieverbrauchbetragsinformation beinhaltet sowohl vergangene Ergebnisse als auch Vorhersagen.
• 5 ist eine schematische Ansicht, die ein Beispiel der Energieverbrauchbetragsinformation zeigt. In 5 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert einen Energieverbrauchbetrag pro Zeitdauer. 5 zeigt den Verlauf eines täglichen Energieverbrauchbetrags jeweils im Frühling, Sommer, Herbst und Winter. In dem in 5 gezeigten Energieverbrauchsmuster (auch als Lastmuster bzw. Verbrauchsmuster bezeichnet) treten die Spitzenwerte des Energieverbrauchs ca. um 7 bis 8 Uhr vormittags, ungefähr zu Mittag und ungefähr um 8 Uhr abends auf. Das Energieverbrauchsmuster kann sich alternativ von dem Beispiel der 5 unterscheiden.
• Die Speichereinheit 22 speichert die Energieerzeugungsbetragsinformation in dem Leistungssystem, mit welchem das Energiespeichersystem 101 verbunden ist. Die Energieerzeugungsbetragsinformation ist eine Information, die den Verlauf der erzeugten Leistung bzw. Energie für eine vorbestimmte Zeitdauer repräsentiert. Die vorbestimmte Zeitdauer kann auf einen Tag, eine Woche, einen Monat, den Frühling, den Sommer, den Herbst, den Winter, ein Jahr oder dergleichen in ähnlicher Weise wie bei der Energieverbrauchbetragsinformation festgelegt werden. Dabei bezeichnet der Energieerzeugungsbetrag den Betrag bzw. die Menge an elektrischer Energie, die durch ein System zur Erzeugung erneuerbarer Energie oder durch ein bestehendes Energieerzeugungssystem erzeugt wird. Das Energieerzeugungssystem kann ein elektrisches Versorgungsunternehmen oder eine große kommerzielle (zivile) Energieerzeugungsstätte, ein Geschäftsbüro, ein Gebäude, eine öffentliche Stätte, etwa eine kommerzielle Stätte, eine Regierungsstelle oder ein Schienentransportsystem (Bahnhofsgebäude), oder eine kleine Energieerzeugungsstätte, etwa ein Haushaltserzeugungssystem, sein. Zu beachten ist, dass die Energieerzeugungsbetragsinformation beispielsweise in Bänke unterteilt und gespeichert werden kann, und die Energieerzeugungsbetragsinformation für jede Bank kann für die Energiespeichereinrichtungen (Batteriezellen), die die Bank bilden, verwendet werden. Die Energieerzeugungsbetragsinformation beinhaltet vergangene Ergebnisse und Vorhersagen.
• 6 ist eine schematische Ansicht, die ein Beispiel der Energieerzeugungsbetragsinformation zeigt. In 6 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert einen Energieerzeugungsbetrag pro Zeitdauer. Zu beachten ist, dass 6 so gezeigt ist, dass die Differenz zwischen der Menge an elektrischer Energie, die von dem photovoltaischen Energieerzeugungssystem erzeugt wird, und dem Energieverbrauchsbetrag erkennbar ist. Die in 6 gezeigte Eingangsenergie/Ausgangsenergie zeigt einen Fall im Sommer. Bei dem in 6 gezeigten Energieerzeugungsbetragsmuster tritt der Spitzenwert des Energieerzeugungsbetrags während der Tageszeit (insbesondere ungefähr am Nachmittag) auf. Das Energieerzeugungsbetragsmuster kann sich alternativ von dem Beispiel der 6 unterscheiden.
• 7 ist eine schematische Ansicht, die ein Beispiel des Verlaufs eines Angebot/Nachfrage-Ungleichheitsbetrags an elektrischer Leistung zu jeder Jahreszeit zeigt. In 7 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert den Nachfrage/Angebot-Ungleichheitsbetrags. Wenn der Angebot/Nachfrage-Ungleichheitsbetrag positiv ist, so zeigt dies an, dass der Verbrauch höher ist, und wenn der Angebot/Nachfrage-Ungleichheitsbetrag negativ ist, so zeigt dies, dass die Energieerzeugung größer ist. Wie in 7 gezeigt ist, kann die Angebot/Nachfrage-Ungleichheit durch beispielsweise das Laden und Entladen des Energiespeichersystems 101, das in der photovoltaischen Energieerzeugungsstätte vorgesehen ist, aufgefangen werden.
• Die Speichereinheit 22 speichert eine Umgebungstemperaturinformation in dem Energiespeichersystem 101. Die Umgebungstemperaturinformation ist eine Information, die den Verlauf der Umgebungstemperatur über eine vorbestimmte Zeitdauer hinweg repräsentiert. Zu beachten ist, dass die Umgebungstemperaturinformation in Bänke aufgeteilt und gespeichert werden kann, und es kann für die Energiespeichereinrichtungen (Batteriezellen), die die Bank bilden, die Umgebungstemperatur, die in Bezug auf die Anordnung der Energiespeichereinrichtungen korrigiert ist, verwendet werden. Die Umgebungstemperaturinformation beinhaltet sowohl vergangene Ergebnisse als auch Vorhersagen. Beispielsweise können Vorhersagedaten für künftige Wetterbedingungen hinzugefügt werden, um die Abschätzgenauigkeit weiter zu verbessern.
• 8 ist eine schematische Ansicht, die ein Beispiel der Umgebungstemperaturinformation zeigt. In 8 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert die Temperatur. 8 zeigt den Verlauf der täglichen Umgebungstemperatur. In dem in 8 gezeigten Temperaturmuster ist die Temperatur zur Tageszeit geringfügig höher und ist in der Nacht etwas niedriger, aber das Temperaturmuster kann alternativ sich von dem Beispiel der 8 unterscheiden.
• Die Verarbeitungseinheit 23 kann Sensorinformation (Spannungsdaten als Zeitreihen, Stromdaten als Zeitreihen, Temperaturdaten als Zeitreihen) der Energiespeichereinrichtungen (Energiespeichermodule, Energiespeicherzellen), die in der Datenbank der Speichereinheit 22 gesammelt werden, erfassen, indem die Information in Bezug auf jede Energiespeichereinrichtung klassifiziert wird.
• Die Verarbeitungseinheit 23 kann die Energieverbrauchbetragsinformation, die Energieerzeugungsbetragsinformation und die Umgebungstemperaturinformation, die zuvor beschrieben sind, aus der Speichereinheit 22 erhalten.
• In der Verarbeitungseinheit 23 bilden die Belohnungsberechnungseinheit 25, die Aktionsauswahleinheit 26 und die Bewertungswerttabelle 27 eine Funktion, um ein verstärktes Lernen bzw. wiederholtes Lernen auszuführen. Die Verarbeitungseinheit 23 führt ein verstärktes Lernen aus, indem der Degradationswert der Energiespeichereinrichtung (der durch den Leistungsfähigkeitszustand (SOH) der Speichervorrichtung ersetzt werden kann), der von dem Lebensdauervorhersage-Simulator 24 ausgegeben wird, verwendet wird, so dass es möglich ist, optimale Betriebsbedingungen zum Erreichen der erwarteten Lebensdauer (beispielsweise 10 Jahre, 15 Jahre etc.) der Energiespeichereinrichtung zu erhalten. Die Details der Verarbeitungseinheit 23 sind nachfolgend beschrieben.
• 9 ist eine schematische Ansicht, die die Funktionsweise des Lebensdauervorhersage-Simulators 24 zeigt. Ein Lebensdauervorhersage-Simulator 24 erfasst ein Lastmuster (Energieverbrauchbetragsinformation), ein Energieerzeugungsbetragsmuster (Energieerzeugungsbetragsinformation) und ein Temperaturmuster (Umgebungstemperaturinformation) als Eingangsdaten. Der Lebensdauervorhersage-Simulator 24 schätzt den SOC-Verlauf der Energiespeichereinrichtung ab und schätzt (berechnet) den Degradationswert der Energiespeichereinrichtung. Der Lebensdauervorhersage-Simulator 24 kann die von der Aktionsauswahleinheit 26 ausgewählte Aktion erfassen, den SOC-Verlauf der Energiespeichereinrichtung abschätzen und den Degradationswert der Energiespeichereinrichtung abschätzen.
• Wenn der SOH (auch als Gesundheit bzw. Leistungsfähigkeit bezeichnet) zum Zeitpunkt t als SOH_t bezeichnet wird, und wenn der SOH zum Zeitpunkt t+1 als SOH_t+1 bezeichnet wird, dann ergibt sich der Degradationswert durch (SOH_t - SOH_t+1). Dabei kann der Zeitpunkt ein gegebener Zeitpunkt in der Gegenwart oder in der Zukunft sein, und der Zeitpunkt t+1 kann ein Zeitpunkt sein, an welchem eine erforderliche Zeit ausgehend vom Zeitpunkt t in Richtung der Zukunft verstrichen ist. Die Zeitdifferenz zwischen dem Zeitpunkt t und dem Zeitpunkt t+1 ist die Lebensdauervorhersage-Sollperiode des Lebensdauervorhersage-Simulators 24 und kann näherungsweise in Übereinstimmung damit festgelegt werden, inwieweit die Lebensdauer in der Zukunft vorhergesagt wird. Die Zeitdifferenz zwischen dem Zeitpunkt t und dem Zeitpunkt t+1 kann eine erforderliche Zeit sein, etwa ein Monat, ein halbes Jahr, ein Jahr oder zwei Jahre.
• Wenn die Periode von dem Startpunkt bis zum Endpunkt des Lastmusters, des Energieerzeugungsbetragsmusters oder des Temperaturmusters kürzer ist als die Lebensdauervorhersage-Sollperiode des Lebensdauervorhersage-Simulators 24, dann können beispielsweise das Lastmuster, das Energieerzeugungsbetragsmuster oder das Temperaturmuster wiederholt über die Lebensdauervorhersage-Sollperiode hinweg verwendet werden.
• Der Lebensdauervorhersage-Simulator 24 hat eine Funktion wie die SOC-Verlaufsschätzeinheit und schätzt den Verlauf des SOC der Energiespeichereinrichtung auf der Grundlage des Energieerzeugungsbetragsmusters, des Lastmusters und einer von der Aktionsauswahleinheit 26 ausgewählten Aktion ab. Wenn in der Lebensdauervorhersage-Sollperiode die erzeugte Leistung größer ist als der Energieverbrauch, dann wird die Energiespeichereinrichtung geladen und der SOC nimmt zu. Wenn andererseits die erzeugte Leistung kleiner als die Energieverbrauch ist, dann wird die Energiespeichereinrichtung entladen, und der SOC nimmt ab. Gegebenenfalls kann in der Lebensdauervorhersage-Sollperiode das Laden und Entladen der Energiespeichereinrichtung nicht ausgeführt werden (beispielsweise in der Nacht). Die Schwankung des SOC wird durch den oberen Grenzwert und den unteren Grenzwert des SOC begrenzt. Mit Hilfe des SOC-Einstellbetrags kann der SOC erhöht werden. Somit kann der Lebensdauervorhersage-Simulator 24 den Verlauf des SOC über die Lebensdauervorhersage-Sollperiode hinweg abschätzen.
• 10 ist eine schematische Ansicht, die ein Beispiel einer virtuellen SOC-Schwankung zeigt. In 10 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert den SOC. Die SOC-Schwankung in jeder Jahreszeit, die in 10 gezeigt ist, entspricht dem SOC-Verlauf als Folge des Ladens und Entladens der Energiespeichereinrichtung, um die jahreszeitliche Angebot/Nachfrage-Ungleichheit, die in 7 gezeigt ist, auszugleichen. In 10 ist der Bequemlichkeit halber die von der Aktionsauswahleinheit 26 ausgewählte Aktion weggelassen.
• 11 ist eine schematische Ansicht, die ein Beispiel eines Eigenschaftsbetrags des SOC zeigt. In 11 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert den SOC. In der Figur ist die Schwankung des SOC der Einfachheit halber sinusförmig gezeigt, wobei aber die tatsächliche Schwankung des SOC nicht notwendigerweise sinusförmig ist. Der Startpunkt kann als Zeitpunkt t festgelegt werden, und der Endpunkt kann als Zeitpunkt t+1 festgelegt werden. Der Eigenschaftsbetrag des SOC beeinflusst die Degradation (oder den SOH) der Energiespeichereinrichtung und beinhaltet beispielsweise einen SOC-Mittelwert (auch als zentraler oder mittlerer SOC bezeichnet), einen SOC-Schwankungsbereich und dergleichen. Der mittlere SOC ist ein Wert, der erhalten wird, indem ein Wert, der wiederum durch Abtastung und Aufsummieren von SOC-Werten vom Startpunkt bis zum Endpunkt erhalten wird, durch die Anzahl an Abtastungen geteilt wird. Der SOC-Schwankungsbereich ist die Differenz zwischen dem maximalen und dem minimalen SOC-Wert vom Startpunkt bis zum Endpunkt.
• Der Lebensdauervorhersage-Simulator 24 kann die Temperatur der Energiespeichereinrichtung auf der Grundlage der Umgebungstemperatur der Energiespeichereinrichtung abschätzen.
• Der Lebensdauervorhersage-Simulator 24 hat eine Funktion wie die SOH-Schätzeinheit und schätzt den SOH der Energiespeichereinrichtung auf der Grundlage des abgeschätzten SOC-Verlaufs und der Temperatur der Energiespeichereinrichtung ab. Der Degradationswert Qdeg nach dem Ablauf der Lebensdauervorhersage-Sollperiode (beispielsweise vom Zeitpunkt t bis zum Zeitpunkt t+1) der Energiespeichereinrichtung kann durch Gleichung (1) berechnet werden:
  [Mathematische Beziehung 1] $$\begin{array}{c}\text{Qdeg=Qcnd+Qcur}\\ =\text{K1}\left(\text{soc}\text{,T}\right)\times \sqrt{\text{t}}+\text{K2}\left(\text{soc}\text{,T}\right)\times \sqrt{\text{t}}\end{array}$$

  
• Dabei ist Qcnd der Nicht-Aktivierungsdegradationswert und Qcur ist ein Aktivierungsdegradationswert. Wie in Gleichung (1) gezeigt ist, kann der Nicht-Aktivierungsdegradationswert Qcnd beispielsweise erhalten werden durch $\text{Qcnd=K1}\times \sqrt{\left(\text{t}\right)}.$

  

  Der Koeffizient K1 ist eine Funktion des SOC und einer Temperatur T. „t“ ist eine verstrichene Zeit, beispielsweise die Zeit vom Zeitpunkt t bis zum Zeitpunkt t+1. Der Aktivierungsdegradationswert Qcur kann beispielsweise erhalten werden durch $\text{Qcur=K2}\times \sqrt{\left(\text{t}\right).}$

  

  Der Koeffizient K2 ist eine Funktion des SOC und der Temperatur T. Es sei angenommen, dass der SOH zum Zeitpunkt t gleich SOH_t ist, und dass der SOH zum Zeitpunkt t+ gleich SOH_t+1 ist, dann kann der SOH abgeschätzt werden durch SOH_t+1 = SOH_t - Qdeg.
• Der Koeffizient K1 ist ein Degradationskoeffizient, und die Abhängigkeit zwischen jeweils dem SOC und der Temperatur T und dem Koeffizienten K1 kann durch Berechnung oder durch einen gespeicherten Wert in Tabellenform ermittelt werden. Der SOC beinhaltet beispielsweise Eigenschaftsbeträge, etwa den mittleren SOC und den SOC-Schwankungsbereich. Der Koeffizient K2 ist gleich dem Koeffizienten K1.
• Wie zuvor beschrieben ist, kann der Lebensdauervorhersage-Simulator 24 den SOH nach dem Verstreichen der künftigen Lebensdauervorhersage-Sollperiode abschätzen. Wenn ferner der Degradationswert nach dem Verstreichen der Lebensdauervorhersage-Sollperiode auf der Grundlage des abgeschätzten SOH berechnet wird, dann kann der SOH nach dem Verstreichen der Lebensdauervorhersage-Sollperiode weiter abgeschätzt werden. Durch Wiederholen der Abschätzung des SOH für jede Lebensdauervorhersage-Sollperiode ist es möglich abzuschätzen, ob die Energiespeichereinrichtung die erwartete Lebensdauer (beispielsweise 10 Jahre, 15 Jahre etc.) der Energiespeichereinrichtung erreicht hat (ob der SOH gleich oder kleiner ist als der Endzustand der Belastbarkeit (EOL) oder nicht).
• Es werden die folgenden zwei virtuellen Beispiele als Betriebsmodus des Leistungssystems betrachtet. Das erste Beispiel ist ein Modus, in welchen ein Laden (hilfsweise ausgeführtes Laden) aus dem Leistungssystem heraus in das Energiespeichersystem 101 bei Nacht ausgeführt wird, und überschüssige Energie wird vom Tag in die Nacht (ein Beispiel eines Betriebs für die Nutzung des Verkaufs elektrischer Energie) ausgeführt, und das zweite Beispiel ist ein Modus, in welchem das elektrische Energiespeichersystem 101 veranlasst wird, den gesamten Angebot/Nachfrage-Ungleichheitsbetrag aufzunehmen, und es wird keine elektrische Energie verkauft oder gekauft (ein Beispiel eines Betriebs für eigengenutzte Energieversorgung). Zunächst wird ein verstärktes Lernen bzw. ein wiederholtes Lernen des Betriebsverfahrens in dem Betriebsbeispiel für die Nutzung des Verkaufs elektrischer Energie in dem ersten Beispiel beschrieben.
• 12 ist eine schematische Ansicht, die ein Beispiel der den SOC betreffenden Einstellung in einem Beispiel der Betriebsweise bei Nutzung des Verkaufs von Energie zeigt. In 12 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert den SOC, wobei der Verlauf des SOC in einem Tag von 0 Uhr bis 24 Uhr für jede Jahreszeit dargestellt ist. In 12 wird in der Nacht die Ladung (hilfsweise erfolgende Ladung) von dem Leistungssystem in das Energiespeichersystem 101 durchgeführt, und der SOC-Einstellbetrag wird so festgelegt, dass der SOC der Energiespeichereinrichtung einem erforderlichen Wert bzw. Sollwert entspricht. Um die überschüssige Leistung zu verkaufen, wird der Bereich zwischen dem oberen Grenzwert und dem unteren Grenzwert des SOC verkleinert. Insbesondere wird der untere Grenzwert des SOC auf einen großen Wert derart festgelegt, dass die Restkapazität der Energiespeichereinrichtung nicht reduziert wird. Das verstärkte Lernen bzw. wiederholte Lernen in der vorliegenden Ausführungsform ist beispielsweise ein Lernen darüber, welche Art von SOC-bezogener Einstellung als eine Aktion vorzunehmen ist, um ein optimales Betriebsverhalten zu erreichen. Die Details des verstärkten Lernens werden nachfolgend beschrieben.
• 13 ist eine schematische Ansicht, die ein Beispiel eines verstärkten bzw. wiederholten Lernens zeigt. Das verstärkte Lernen ist ein Maschinenlernalgorithmus, der eine Strategie (eine Regel, die als ein Indikator dient, wenn der Agent aktiv ist) enthält, mit der ein Agent in einer gegebenen Umgebung eine Aktion in Bezug auf die Umgebung vornimmt, um die erhaltene Belohnung zu maximieren (eine Regel, die als ein Indikator dient, wann der Agent agiert). Beim verstärkten Lernen ist der Agent wie ein Lernender, der eine Aktion an der Umgebung vornimmt, und ist auch das Zielobjekt des Lernens. In Reaktion auf die Aktion des Agenten aktualisiert die Umgebung den Zustand und gibt eine Belohnung. Die Aktion ist eine Aktion, die der Agent für einen gegebenen Zustand der Umgebung vornehmen kann. Der Zustand ist der Zustand der Umgebung, den die Umgebung hat. Die Belohnung wird dem Agenten gegeben, wenn der Agent bewirkt, dass ein gewünschtes Ergebnis auf die Umgebung einwirkt. Die Belohnung kann beispielsweise ein positiver Wert, ein negativer Wert oder der Wert Null sein. Die Belohnung ist die Belohnung selbst, wenn sie ein positiver Wert ist, die Belohnung ist eine Strafe, wenn sie ein negativer Wert ist, und wenn keine Belohnung vorliegt, dann hat die Belohnung den Wert Null. Eine Aktionsbewertungsfunktion ist eine Funktion zur Ermittelung eines Bewertungswerts einer Aktion in einem gegebenen Zustand, sie kann in Tabellenform ausgedrückt werden, etwa als eine Tabelle, und sie wird als eine Q-Funktion, ein Q-Wert, ein Bewertungswert und dergleichen beim Q-Lernen bezeichnet. Das Q-Lernen ist eines der Verfahren, das häufig im verstärkten Lernen eingesetzt werden. Obwohl das Q-Lernen nachfolgend erläutert wird, kann sich alternativ das verstärkte Lernen von dem Q-Lernen unterscheiden.
• In der Verarbeitungseinheit 23 der vorliegenden Ausführungsform entsprechen der Lebensdauervorhersage-Simulator 24 und die Belohnungsberechnungseinheit 25 der Umgebung, und die Aktionsauswahleinheit 26 und die Bewertungswerttabelle 27 entsprechen dem Agenten. Die Bewertungswerttabelle 27 entspricht der zuvor beschriebenen Q-Funktion und wird auch als eine Aktionsbewertungsinformation bezeichnet.
• Die Aktionsauswahleinheit 26 wählt eine Aktion aus, die das den SOC betreffende Festlegen für einen Zustand beinhaltet, der den Leistungsfähigkeitszustand (SOH) der Energiespeichereinrichtung beinhaltet, wobei dies auf der Grundlage der Bewertungswerttabelle 27 erfolgt. In dem Beispiel der 13 erfasst die Aktionsauswahleinheit 26 einen Zustand st (beispielsweise SOH_t) zum Zeitpunkt t aus dem Lebensdauervorhersage-Simulator 24 und wählt eine Aktion a_t aus und gibt diese aus. Wie zuvor beschrieben ist, beinhaltet die Festlegung bzw. die Einstellung, die den SOC betrifft, beispielsweise die Festlegung eines oberen Grenzwertes des SOC (zum Vermeiden einer Überladung der Energiespeichereinrichtung), eines unteren Grenzwerts des SOC (zur Vermeidung einer Tiefentladung der Energiespeichereinrichtung), eines SOC-Einstellbetrags zur Einstellung des SOC der Energiespeichereinrichtung auf einen Sollwert (zum Laden der Energiespeichereinrichtung im Voraus) und dergleichen. Die Aktionsauswahleinheit 26 kann eine Aktion auswählen, die die höchste Bewertung (beispielsweise den höchsten Q-Wert) in der Bewertungswerttabelle 27 hat.
• Die Aktionsauswahleinheit 26 hat eine Funktion als die Zustandserfassungseinheit und erfasst den Zustand der Energiespeichereinrichtung, wenn die ausgewählte Aktion ausgeführt wird. Wenn die von der Aktionsauswahleinheit 26 ausgewählte Aktion von dem Lebensdauervorhersage-Simulator 24 ausgeführt wird, dann ändert sich der Zustand der Umgebung. Insbesondere gibt der Lebensdauervorhersage-Simulator 24 den Zustand s_t+1 (beispielsweise SOH_t+1) zum Zeitpunkt t+1 aus, und der Zustand wird von s_t auf s_t+1 aktualisiert. Anschließend erfasst die Aktionsauswahleinheit 26 den aktualisierten Zustand. Die Aktionsauswahleinheit 26 hat eine Funktion als Belohnungserfassungseinheit und erfasst eine von der Belohnungsberechnungseinheit 25 berechnete Belohnung.
• Die Belohnungsberechnungseinheit 25 berechnet eine Belohnung, wenn die ausgewählte Aktion ausgeführt wird. Wenn die Aktionsauswahleinheit 26 bewirkt, dass ein gewünschtes Ergebnis auf den Lebensdauervorhersage-Simulator 24 einwirkt, dann wird ein hoher Wert (positiver Wert) berechnet. Wenn die Belohnung 0 ist, gibt es keine Belohnung, und wenn die Belohnung ein negativer Wert ist, dann liegt eine Strafe vor. In dem Beispiel der 13 gibt die Belohnungsberechnungseinheit 25 eine Belohnung r_t+1 an die Aktionsauswahleinheit 26 aus.
• Die Belohnungsberechnungseinheit 25 berechnet die Belohnung auf der Grundlage des Betrags an elektrischer Energie, der an das Leistungssystem verkauft wurde. Wenn beispielsweise ein Betrieb vorliegt, in welchen überschüssige Energie, die in der Energiespeichereinrichtung gespeichert ist, aktiv verkauft wird, dann wird die Belohnung derart berechnet, dass gilt: je größer der Betrag verkaufter elektrischer Energie ist, desto größer wird der Wert der Belohnung. Dadurch kann der optimale Betrieb des Leistungssystems für die Nutzung beim Verkaufen elektrischer Energie erreicht werden.
• Die Belohnungsberechnungseinheit 25 berechnet die Belohnung auf der Grundlage des Energieverbrauchbetrags, der sich aus dem Ausführen der Aktion ergibt. Der Energieverbrauchbetrag, der sich aus dem Ausführen der Aktion ergibt, ist beispielsweise die Energieverbrauch, die sich aus dem Festlegen des SOC-Einstellbetrags, dem Festlegen der Umgebungstemperatur und dergleichen ergibt, und er kann durch eine Funktion berechnet werden, in der der SOC-Einstellbetrag, die Umgebungstemperatur und dergleichen als Variablen verwendet werden. Wenn beispielsweise der SOC-Einstellbetrag groß ist, dann kann die Belohnung ein negativer Wert (Strafe) sein. Daher ist es möglich, den optimalen Betrieb der Energiespeichereinrichtung zu erreichen, während dennoch der Energieverbrauchbetrag reduziert wird.
• Die Belohnungsberechnungseinheit 25 kann die Belohnung auf der Grundlage davon berechnen, ob der Zustand der Energiespeichereinrichtung die Lebensdauer erreicht hat oder nicht. Wenn beispielsweise der SOH der Energiespeichereinrichtung nicht kleiner als der Endzustand der Belastbarkeit (EOL) ist, dann kann eine Belohnung gegeben werden, und wenn der SOH gleich oder kleiner als der EOL ist, kann eine Strafe gegeben werden. Es ist daher möglich, den optimalen Betrieb derart zu erreichen, dass die erwartete Lebensdauer (beispielsweise 10 Jahre, 15 Jahre usw.) der Energiespeichereinrichtung erreicht wird.
• Die Aktionsauswahleinheit 26 hat eine Funktion als die Aktualisierungseinheit und aktualisiert die Bewertungswerttabelle 27 auf der Grundlage des erfassten Zustands s_t+1 und der Belohnung r_t+1. Genauer gesagt, die Aktionsauswahleinheit 26 aktualisiert die Bewertungswerttabelle 27 in Richtung zum Maximieren der Belohnung für die Aktion. Dies ermöglicht ein Erlernen einer Aktion, von der erwartet wird, dass sie in einem gegebenen Zustand der Umgebung den größten Wert hat.
• Durch Wiederholung des zuvor beschriebenen Ablaufs, um die Aktualisierung der Bewertungswerttabelle 27 zu wiederholen, ist es möglich, die Erwartungswerttabelle 27 einzulernen, so dass sie in der Lage ist, die Belohnung zu maximieren.
• Die Verarbeitungseinheit 23 hat die Funktion der Aktionserzeugungseinheit, und auf der Grundlage der aktualisierten Bewertungswerttabelle 27 (das heißt, der eingelernten Bewertungswerttabelle 27) erzeugt die Verarbeitungseinheit 23 eine Aktion (insbesondere eine Betriebsinformation), die dem Systembetrieb, der den Zustand der Energiespeichereinrichtung beinhaltet, entspricht. Somit kann für diverse Zustände (beispielsweise diverse SOH) der Energiespeichereinrichtung beispielsweise der optimale Wert der Festlegung in Bezug auf den SOC durch verstärktes Lernen erreicht werden, so dass der optimale Betrieb des Systems, das die Energiespeichereinrichtung beinhaltet, erreicht werden kann.
• Die Aktualisierung der Q-Funktion beim Q-Lernen kann ausgeführt werden durch die Gleichung (2):
  [Mathematischer Ausdruck 2] $$\text{Q}\left({\text{s}}_{\text{t}}{\text{,a}}_{\text{t}}\right)\leftarrow \text{Q}\left({\text{s}}_{\text{t}}{\text{,a}}_{\text{t}}\right)+\mathrm{\alpha }\left\{{\text{r}}_{\text{t+1}}+\mathrm{\gamma }\cdot \text{maxQ}\left({\text{s}}_{\text{t+1}},{\text{a}}_{\text{t+1}}\right)-\text{Q}\left({\text{s}}_{\text{t}},{\text{a}}_{\text{t}}\right)\right\}$$

  

  $$\text{Q}\left({\text{s}}_{\text{t}}{\text{,a}}_{\text{t}}\right)\leftarrow \text{Q}\left({\text{s}}_{\text{t}}{\text{,a}}_{\text{t}}\right)+\mathrm{\alpha }\left\{{\text{r}}_{\text{t+1}}-\text{Q}\left({\text{s}}_{\text{t}}{\text{,a}}_{\text{t}}\right)\right\}$$

  

  $$\text{Q}\left({\text{s}}_{\text{t}}{\text{,a}}_{\text{t}}\right)\leftarrow \text{Q}\left({\text{s}}_{\text{t}}{\text{,a}}_{\text{t}}\right)+\mathrm{\alpha }\left\{\mathrm{\gamma }\cdot \text{maxQ}\left({\text{s}}_{\text{t+1}},{\text{a}}_{\text{t+1}}\right)-\text{Q}\left({\text{s}}_{\text{t}},{\text{a}}_{\text{t}}\right)\right\}$$

  
• Dabei ist Q eine Funktion oder eine Tabelle (beispielsweise die Bewertungswerttabelle 27) zur Speicherung der Bewertung der Aktion in einem Zustand s und sie kann beispielsweise in Form einer Matrix ausgeführt sein, die jeweils einen Zustand s als eine Zeile und jede Aktion a als eine Spalte hat.
• 14 ist eine schematische Ansicht, die ein Beispiel des Aufbaus der Bewertungswerttabelle 27 zeigt. Wie in 14 gezeigt ist, besitzt die Bewertungswerttabelle 27 eine Matrixform, die aus jedem Zustand (in dem Beispiel von 14) SOH1, SOH2, ..., SOHs als SOH der Energiespeichereinrichtung) und jeder Aktion (in dem Beispiel der 14 SOC1, SOC2, ..., SOCn als die Festlegung des SOC-Einstellbetrags) aufgebaut ist, und es wird die Bewertung der Aktion in jedem Zustand (in dem Beispiel der 14, Q11, Q12, ..., Qsn) gespeichert. Die Bewertungswerttabelle 27 zeigt einen Bewertungswert, wenn eine Aktion a, die in einem gegebenen Zustand s vorgenommen werden kann, ausgeführt wird. Der SOC-Einstellbetrag kann in geeigneter Weise innerhalb des Bereichs zwischen dem oberen Grenzwert und dem unteren Grenzwert des SOC festgelegt werden und kann auf 1 %-Intervalle beispielsweise 50%-, 51%-, 52%- oder auf 5%-lntervalle festgelegt werden.
• In Gleichung (2) repräsentiert s_t einen Zustand zum Zeitpunkt t, a_t repräsentiert eine Aktion, die in dem Zustand s_t vorgenommen werden kann, α repräsentiert eine Lernrate (wobei 0<α<1) und γ repräsentiert eine Rabattrate (wobei 0<γ<1). Die Lernrate α wird auch als ein Lernkoeffizient bezeichnet und ist ein Parameter zur Bestimmung der Geschwindigkeit (Schrittgröße) des Lernens. Das heißt, die Lernrate α ist ein Parameter zur Einstellung des aktualisierten Betrags der Bewertungswerttabelle 27. Die Rabattrate γ ist ein Parameter zur Bestimmung, um wieviel die Bewertung (Belohnung oder Strafe) des künftigen Zustands reduziert wird, und wird zum Zeitpunkt des Aktualisierens der Bewertungswerttabelle 27 berücksichtigt. Das heißt, die Rabattrate γ ist ein Parameter zum Bestimmen, wie stark die Belohnung oder die Strafe reduziert wird, wenn die Bewertung in einem gegebenen Zustand mit der Bewertung in einem vergangenen Zustand verknüpft wird.
• In Gleichung (2) ist r_t+1 eine Belohnung, die als Ergebnis der Aktion erhalten wird, und r_t+1 ist 0, wenn keine Belohnung erhalten wird, und sie ist ein negativer Wert im Falle einer Strafe. Beim Q-Lernen wird die Bewertungswerttabelle 27 derart aktualisiert, dass der zweite Term {r_t+1+γ ·maxQ(s_t+1,a_t+1) - Q(s_t,a_t)} der Gleichung (2) zu 0 wird, das heißt, der Wert Q(s_t,a_t) der Bewertungswerttabelle 27 wird zu einer Summe aus Belohnung (r_t+1) und maximalem Wert (γ/maxQ(s_t+1,a_t+1)) aus möglichen Aktionen in dem nächsten Zustand s_t+1. Die Bewertungswerttabelle 27 wird derart aktualisiert, dass der Fehler zwischen dem erwarteten Wert der Belohnung und der aktuellen Aktionsbewertung näher an 0 herangeführt wird. Anders ausgedrückt, der Wert von (γ/maxQ(s_t+1,a_t+1)) wird auf der Grundlage des Wertes des aktuellen Q(s_t,a_t) und des maximalen Bewertungswerts, der aus den in dem Zustand des Zustands S_t+1 ausführbaren Aktionen erhalten wird, modifiziert, nachdem die Aktion a_t ausgeführt ist.
• Die Belohnung wird nicht notwendigerweise erhalten, wenn die Aktion in einem gegebenen Zustand ausgeführt wird. Beispielsweise kann die Belohnung nach mehreren Malen von wiederholten Aktionen erhalten werden. Gleichung (3) repräsentiert eine aktualisierte Gleichung der Q-Funktion, wenn die Belohnung erhalten wird, und Gleichung (4) repräsentiert eine aktualisierte Gleichung der Q-Funktion, wenn die Belohnung nicht erhalten wird.
• Im Anfangszustand des Q-Lernens kann beispielsweise der Q-Wert der Bewertungswerttabelle 27 mit einer Zufallszahl initialisiert werden. Sobald eine Differenz in dem erwarteten Wert der Belohnung in der Anfangsphase des Q-Lernens vorliegt, ist es nicht möglich, in einen Zustand überzugehen, der noch nicht erlebt worden ist, und es ist möglich, dass das Ziel nicht erreicht werden kann. Daher kann eine Wahrscheinlichkeit ε verwendet werden, um eine Aktion für einen gegebenen Zustand zu ermitteln. Insbesondere kann eine Aktion aus allen Aktionen mit einer gegebenen Wahrscheinlichkeit ε ausgewählt und ausgeführt werden, und es kann eine Aktion mit dem größten Q-Wert mit einer Wahrscheinlichkeit (1-ε) ausgewählt und ausgeführt werden. Dabei ist es möglich, in geeigneter Weise das Lernen unabhängig von dem Anfangszustand des Q-Wertes weiterzuführen.
• Der SOC-Einstellbetrag ist ein Einstellbetrag zum Laden der Energiespeichereinrichtung aus dem Leistungssystem bei Nacht und ein Festlegen des SOC der Energiespeichereinrichtung auf einen erforderlichen Wert vor dem Verbinden der Energiespeichereinrichtung mit einem Verbraucher. Wenn beispielsweise der SOC der Energiespeichereinrichtung, der einem SOC von 20% entspricht, auf 90% festgelegt wird, dann beträgt der SOC-Einstellbetrag 70% (= 90-20). Daher kann Überschussenergie vom Tag in der Nacht verkauft werden, während die Energienachfrage des Verbrauchers gedeckt wird, und es kann eine den SOC betreffende Festlegung, die zum Reduzieren des Grades an Degradation der Energiespeichereinrichtung in der Lage ist, eingelernt werden, während das Verkaufen von Energie berücksichtigt wird. Durch die Nutzung elektrischer Energie, die in der Nacht bei niedriger Elektrizitätsrate eingeladen wird, während der Tageszeit, ist es möglich zu erlernen, wie ein System zu betreiben ist, das den Einkauf von elektrischer Energie während der Tageszeit vermeidet, wenn die Elektrizitätsrate hoch ist.
• In dem Beispiel der 14 ist die Festlegung des SOC-Einstellbetrags als die Aktion beschrieben, aber die Aktion kann alternativ andere Aktionen als den SOC-Einstellbetrag beinhalten.
• 15 ist eine schematische Ansicht, die ein Beispiel der Aktion zeigt. Wie in 15 gezeigt ist, kann zusätzlich zu der Festlegung des SOC-Einstellbetrags die Aktion die Festlegung der Umgebungstemperatur, die Festlegung des oberen SOC-Grenzwerts des SOC, die Festlegung des unteren Grenzwerts des SOC und dergleichen beinhalten. Die Umgebungstemperatur kann beispielsweise mit Intervallen von 1° C oder mit Intervallen von 5° C festgelegt werden. Das Temperaturintervall kann in geeigneter Weise festgelegt werden. Wenn die Umgebungstemperatur festgelegt ist, dann wird die Temperatur der Energiespeichereinrichtung auf der Grundlage der Umgebungstemperatur der Energiespeichereinrichtung abgeschätzt. Der Degradationswert der Energiespeichereinrichtung ändert sich gemäß der Temperatur der Energiespeichereinrichtung, so dass es möglich ist, die Festlegung einer Umgebungstemperatur einzulernen, die den Grad der Degradation entsprechend dem Zustand (beispielsweise SOH) der Energiespeichereinrichtung reduzieren kann. Andererseits nehmen die Kosten aufgrund des Verbrauchs elektrischer Energie für die Einstellung der Umgebungstemperatur zu. Mittels der vorliegenden Ausführungsform ist es möglich, eine Umgebungstemperatureinstellung einzulernen, die einen derartigen Energieverbrauch minimiert.
• Der obere Grenzwert und der untere Grenzwert des SOC können auf geeignete Werte festgelegt werden. Die Intervalle der eingestellten Werte können beispielsweise in Intervallen von 1% oder in Intervallen von 5% festgelegt werden. Das Festlegen des oberen Grenzwerts des SOC kann eine Überladung der Energiespeichereinrichtung verhindern. Die Festlegung des unteren Grenzwerts des SOC kann eine Tiefentladung der Energiespeichereinrichtung verhindern. Die Festlegung des oberen Grenzwertes und des unteren Grenzwertes des SOC kann zur Einstellung des mittleren SOC des SOC und des Schwankungsbereichs des SOC führen, die sich beim Laden und Entladen der Energiespeichereinrichtung ändern. Der mittlere SOC ist der Durchschnitt des sich ändernden SOC, und der Schwankungsbereich des SOC ist die Differenz des maximalen Werts und des minimalen Werts des Verlaufs des SOC. Der Degradationswert der Energiespeichereinrichtung ändert sich entsprechend dem mittleren Wert des SOC und dem Schwankungsbereich des SOC, so dass es möglich ist, ein den SOC betreffendes Festlegen einzulernen, das den Grad der Degradation entsprechend dem Zustand (beispielsweise SOH) der Energiespeichereinrichtung reduzieren kann.
• Die Aktion kann die Festlegung des SOC-Einstellbetrags, des oberen Grenzwerts des SOC, des unteren Grenzwerts des SOC und/oder der Umgebungstemperatur beinhalten. Das heißt, die Aktion kann eine Kombination einiger Komponenten aus dem SOC-Einstellbetrag, dem oberen Grenzwert des SOC, dem unteren Grenzwert des SOC und der Umgebungstemperatur sein, oder sie kann die Kombination aller dieser Komponenten sein. Die Aktion kann die Festlegung des maximalen Stromwerts, des oberen und des unteren Grenzwertes für die Spannung und dergleichen der Energiespeichereinrichtung beinhalten.
• Im Beispiel der 14 ist der SOH als Zustand beschrieben, jedoch kann der Zustand auch alternativ andere Zustände als den SOH beinhalten. Beispielsweise können Wettervorhersagen (sonnig, wolkig, regnerisch etc.), Jahreszeiten (Frühling, Sommer, Herbst, Winter) und dergleichen enthalten sein. Die Wettervorhersage kann zufällig entsprechend einer Zufallszahl oder dergleichen verlaufen. Die Jahreszeit kann periodisch verlaufen.
• 16 ist eine schematische Ansicht, die ein Beispiel des Zustandsverlaufs des verstärkten Lernens zeigt. Der Einfachheit halber zeigt 16 acht Zeitpunkte mit Zeitpunkten t0, t1, t2, ..., t7. Bei dem tatsächlichen verstärkten Lernen kann die Anzahl der Zeitpunkte alternativ auch andere Punkte als diejenigen des Beispiels der 16 beinhalten. Bezugszeichen A, B und C repräsentieren Beispiele eines Lernprozesses: Das Lernen bzw. Erlernen oder Einlernen gemäß Bezugszeichen A zeigt einen Fall, in welchem der SOH zum Zeitpunkt t7 den EOL nicht erreicht hat (der Zustand als Ergebnis der Aktion, die zu jedem Zeitpunkt ausgewählt und ausgeführt wird); das Erlernen gemäß Bezugszeichen B repräsentiert einen Fall, in welchem der SOH zum Zeitpunkt t6 den EOL erreicht hat, aber zum Zeitpunkt t7 unter den EOL abgefallen ist; und das Erlernen gemäß Bezugszeichen C repräsentiert einen Fall, in welchem der SOH zum Zeitpunkt t5 unter den EOL abgefallen ist und seither das Erlernen beendet ist. Durch verstärktes Lernen werden die gemäß den Bezugszeichen B und C eingelernten Aktionen nicht angenommen, und die gemäß Bezugszeichen A eingelernte Aktion wird als ein Beispiel des Betriebsverfahrens verwendet.
• 17 ist eine schematische Ansicht, die ein Beispiel des Betriebsverfahrens, das durch verstärktes Lernen erhalten wird, zeigt. Der Einfachheit halber zeigt 17 das Betriebsverfahren nur für einen Tag von 0 Uhr bis 24 Uhr, aber die Zeitdauer kann alternativ auch anders sein als ein einzelner Tag. Beispielsweise können eine Woche, ein Monat, drei Monate, sechs Monate, ein Jahr oder dergleichen angewendet werden. Das in 17 gezeigte Betriebsverfahren wird in geeigneter Weise gemäß dem Lastmuster des Benutzers geändert. In dem Beispiel der 17 ist ein Betriebsverfahren gezeigt, in welchem der SOH der Energiespeichereinrichtung die erwartete Lebensdauer (beispielsweise 10 Jahre, 15 Jahre) erreicht. Das heißt, der Bereich zwischen dem oberen Grenzwert des SOC und dem unteren Grenzwert des SOC wird relativ klein gemacht (der untere Grenzwert des SOC wird auf einen relativ großen Wert gesetzt), die Energiespeichereinrichtung wird von dem Leistungssystem in der Nacht geladen, wenn die Entlademenge der Energiespeichereinrichtung reduziert ist (der SOC-Einstellbetrag wird festgelegt), das Absinken des SOC zu der Zeit, in der die Energiespeichereinrichtung mit dem Verbraucher verbunden und benutzt wird, wird verhindert und die überschüssige Energie kann in bestmöglicher Weise verkauft werden. In der Figur entspricht von dem Verlauf des SOC ein Bereich, der über dem oberen Grenzwert des SOC liegt (schattierter Bereich), der Menge an verkaufter elektrischer Energie.
• 18 ist eine schematische Ansicht, die ein Beispiel des Verlaufs des SOH durch das mittels des verstärkten Lernens erhaltene Betriebsverfahren zeigt. In dem Beispiel der 18 beträgt die erwartete Lebensdauer zehn Jahre. In 18 entspricht ein Graph, der durch eine durchgezogene Linie angegeben ist, der vorliegenden Ausführungsform, und Graphen, die durch gestrichelte Linien gekennzeichnet sind, zeigen als Vergleichsbeispiele einen Fall, in welchem der Energieverkaufspreis Priorität hat und einen Fall, in welchem der Leistungsfähigkeitszustand Priorität hat. Wenn dem Energieverkaufspreis Priorität gegeben wird, wird gegebenenfalls die erwartete Lebensdauer nicht erreicht, da der Leistungsfähigkeitszustand bzw. die Gesundheit der Energiespeichereinrichtung nicht berücksichtigt wird. Wenn dem Leistungsfähigkeitszustand Priorität gegeben wird, dann kann die erwartete Lebensdauer in ausreichender Weise erreicht werden, aber die Menge der verkauften elektrischen Energie kann sehr klein sein, und die Menge der gekauften elektrischen Energie kann äußerst groß sein. Da die Verringerung der SOH der Energiespeichereinrichtung berücksichtigt wird, ist es in der vorliegenden Ausführungsform möglich, einen optimalen Betrieb durchzuführen, in welchem die Menge der verkauften elektrischen Energie erhöht werden kann, während die erwartete Lebensdauer der Energiespeichereinrichtung erreicht wird. Da der Betriebsmodus des Systems in Abhängigkeit von dem Benutzer variiert, und wenn ein Fall unterstellt wird, in welchem der Benutzer der Leistungsfähigkeit der Energiespeichereinrichtung Priorität einräumt, ist es möglich, das Betriebsverfahren so einzusetzen, dass der Leistungsfähigkeit der Energiespeichereinrichtung Priorität gegeben wird, wie in 18 gezeigt ist, und es ist möglich, die Wahlmöglichkeiten für den Benutzer des Betriebsverfahrens zu erweitern.
• Als nächstes wird ein verstärktes Lernen des Betriebsverfahrens in dem Beispiel zur Nutzung bezüglich des Verkaufs elektrischer Energie in dem zweiten Beispiel beschrieben.
• 19 ist eine schematische Ansicht, die ein Beispiel der den SOC betreffenden Festlegung in einem Beispiel des Betriebs für Eigennutzung zeigt. In 19 repräsentiert die horizontale Achse die Zeit und die vertikale Achse repräsentiert den SOC, wobei der Verlauf des SOC an einem Tag von 0 Uhr bis 24 Uhr für jede Jahreszeit dargestellt ist. In 19 ist der Bereich zwischen dem oberen Grenzwert und dem unteren Grenzwert des SOC vergrößert, so dass das Energiespeichersystem 101 mit Überschussenergie geladen wird, dass Energie von dem Energiespeichersystem 101 in unzureichender Weise bereitgestellt wird und dass überschüssige Energie nicht in der höchstmöglichen Form verkauft wird. Insbesondere wird der untere Grenzwert des SOC auf einen Wert festgelegt, der möglichst klein ist, um die Kapazität der Energiespeichereinrichtung in der größtmöglichen Weise zu nutzen. Das Laden (hilfsweise erfolgendes Laden) wird nicht von dem Leistungssystem in das Energiespeichersystem 101 ausgeführt. Das verstärkte Lernen in der vorliegenden Ausführungsform ist beispielsweise ein Erlernen davon, welche Art von SOC-bezogener Festlegung als eine Aktion auszuführen ist, um ein optimales Betriebsverhalten zu erreichen. Im Weiteren werden aus den Details des verstärkten Lernens Punkte herausgegriffen, die sich von dem ersten Beispiel unterscheiden.
• In dem zweiten Beispiel können jeweils das Festlegen des oberen Grenzwertes des SOC und das Festlegen des unteren Grenzwertes des SOC als die Aktion verwendet werden.
• 20 ist eine schematische Ansicht, die ein Beispiel des Aufbaus der Bewertungswerttabelle 27 in dem zweiten Beispiel zeigt. Wie in 20 gezeigt ist, hat die Bewertungswerttabelle 27 eine Matrixform, die aus jedem Zustand (in dem Beispiel der 20, SOH1, SOH2, ..., SOHs als SOH der Energiespeichereinrichtung) und jeder Aktion (in dem Beispiel der 20 UL1 und DL1, UL2 und DL2, UL3 und DL3, ..., ULn und DLn als Kombination eines oberen Grenzwerts UL des SOC und eines unteren Grenzwerts DL des SOC) aufgebaut ist, und es wird die Bewertung der Aktion in jedem Zustand (in dem Beispiel der 20, Q11, Q12, ..., Qsn) gespeichert. Der obere Grenzwert und der untere Grenzwert des SOC werden beispielsweise mit Intervallen von 1% in geeigneter Weise festgelegt.
• In dem Fall des zweiten Beispiels kann die Belohnungsberechnungseinheit 25 die Belohnung auf der Grundlage des Betrags an gekaufter elektrischer Energie für das Leistungssystem berechnen. In dem zweiten Beispiel wird im Falle eines Betriebs, in welchem die in der Energiespeichereinrichtung gespeicherte Überschussenergie nicht in der bestmöglichen Form verkauft wird, die Belohnung derart berechnet, dass gilt: je kleiner der Betrag an verkaufter elektrischer Energie ist, desto größer ist der Wert der Belohnung. Daher ist es möglich, den optimalen Betrieb des Leistungssystems für die Eigennutzung der elektrischen Energie zu erreichen.
• Die Belohnungsberechnungseinheit 25 berechnet die Belohnung auf der Grundlage des Energieverbrauchbetrags, der sich aus dem Ausführen der Aktion ergibt. Der Energieverbrauchbetrag, der sich aus dem Ausführen der Aktion ergibt, ist beispielsweise der Energieverbrauch, der durch das Festlegen des oberen Grenzwertes und des unteren Grenzwertes des SOC oder dergleichen bewirkt wird. Des Weiteren ist es ebenso möglich, als ein Beispiel den Energieverbrauch anzugeben, der dadurch hervorgerufen wird, dass die Energiespeichereinrichtung nicht in der Lage ist, Energie an das System in Reaktion auf eine Energieanforderung aufgrund des hohen Einstellwertes für die untere Grenze des SOC zu liefern. Die Belohnungsberechnungseinheit 25 kann eine Berechnung derart anstellen, dass gilt: je kleiner die Energieverbrauch ist, desto größer ist die Belohnung. Daher ist es möglich, den optimalen Betrieb der Energiespeichereinrichtung zu erreichen, während der Energieverbrauchbetrag reduziert wird.
• 21 ist eine schematische Ansicht, die ein Beispiel des Betriebsverhaltens des durch verstärktes Lernen erhaltenen zweiten Beispiels zeigt. Der Einfachheit halber zeigt 21 das Betriebsverhalten für einen einzelnen Tag von 0 Uhr bis 24 Uhr, wobei jedoch die Zeitdauer alternativ auch einen anderen Zeitraum als einen einzelnen Tag überstreichen kann. Beispielsweise können eine Woche, ein Monat, drei Monate, sechs Monate, ein Jahr oder dergleichen verwendet werden. Das in 21 gezeigte Betriebsverfahren wird in geeigneter Weise gemäß dem Lastmuster des Benutzers geändert. In dem Beispiel der 21 ist ein Betriebsverfahren gezeigt, in welchem der SOH der Energiespeichereinrichtung die erwartete Lebensdauer (beispielsweise 10 Jahre, 15 Jahre) erreicht. Das heißt, der Bereich zwischen dem oberen Grenzwert des SOC und dem unteren Grenzwert des SOC wird relativ groß gewählt (der untere Grenzwert des SOC wird als ein relativ kleiner Wert festgelegt) in dem Maße, dass der SOH der Energiespeichereinrichtung die erwartete Lebensdauer erreicht, und die Energiespeichereinrichtung wird aktiv geladen und entladen derart, dass keine Tiefentladung und Überladung bewirkt werden, wodurch Energie in unzureichender Weise bereitgestellt wird, während die Überschussenergie minimiert wird. In der Figur entspricht in dem Verlauf des SOC ein Bereich, der über der oberen Grenze des SOC (schattierter Bereich) liegt, dem Betrag an verkaufter elektrischer Energie.
• Als nächstes wird der Ablauf beim verstärkten Lernen beschrieben.
• 22 ist ein Flussdiagramm, das ein Beispiel eines Ablaufs für ein verstärktes Lernen zeigt. Die Verarbeitungseinheit 23 legt den Bewertungswert (Q-Wert) der Bewertungswerttabelle 27 auf einen Anfangswert fest (S11). Beispielsweise wird eine Zufallszahl für die Festlegung des Anfangswertes verwendet. Die Verarbeitungseinheit 23 erfasst einen Zustand s_t (S12) und wählt eine Aktion a_t aus und führt diese aus, die in dem Zustand s_t ausführbar ist (S13). Die Verarbeitungseinheit 23 erfasst einen Zustand s_t+1, der als Folge der Aktion a_t erhalten wird (S14), und erfasst eine Belohnung r_t+1 (S15). Zu beachten ist, dass die Belohnung 0 (keine Belohnung) sein kann.
• Die Verarbeitungseinheit 23 verwendet die Gleichung (3) oder die Gleichung (4), die zuvor beschrieben ist, um den Bewertungswert in der Bewertungswerttabelle 27 zu aktualisieren (S16), und ermittelt, ob der Prozessablauf zu beenden ist oder nicht (S17). Ob der Prozessablauf zu beenden ist oder nicht, kann auf der Grundlage davon ermittelt werden, ob der Bewertungswert in der Bewertungswerttabelle 27 entsprechend einer vorbestimmten Häufigkeit aktualisiert worden ist oder nicht, oder auf der Grundlage davon, ob der Zustand s_t+1 einen vorbestimmten Zustand erreicht hat oder nicht (beispielsweise einen Zustand, in welchem der SOH der Energiespeichereinrichtung den EOL erreicht hat).
• Wenn der Ablauf nicht zu beenden ist (NEIN in S17), dann legt die Verarbeitungseinheit 23 den Zustand s_t+1 auf den Zustand s_t fest (S18) und fährt mit dem Ablauf ausgehend von Schritt S13 fort. Wenn der Ablauf zu beenden ist (JA in S17), dann beendet die Verarbeitungseinheit 23 den Ablauf. Zu beachten ist, dass der in 22 gezeigte Ablauf wiederholt werden kann. Der in 22 gezeigte Ablauf kann wiederholt ausgeführt werden, wobei geänderte Systementwurfsparameter verwendet werden, sobald die Systementwurfsparameter der Energiespeichereinrichtungen geändert werden. Die Details der Systementwurfsparameter der Energiespeichereinrichtung werden später beschrieben.
• Die Verarbeitungseinheit 23 kann konfiguriert werden, indem beispielsweise Hardware, etwa eine CPU (zum Beispiel mehrere Prozessoren, die mit mehreren Prozessorkernen und dergleichen versehen sind), eine graphische Verarbeitungseinheit (GPU), ein digitaler Signalprozessor (DSP), ein feldprogrammierbares Gatter-Array (FPGA) und dergleichen, kombiniert werden. Die Verarbeitungseinheit 23 kann eine virtuelle Maschine oder ein Quantencomputer sein. Der Agent ist eine virtuelle Maschine, die in einem Computer vorhanden ist, und der Zustand des Agenten wird durch Parameter oder dergleichen geändert.
• Die Steuereinheit 20 und die Verarbeitungseinheit 23 können unter Anwendung eines Computers für Allgemeinzwecke implementiert werden, der eine CPU (Prozessor), eine GPU, einen RAM (Speicher) und dergleichen beinhaltet. Beispielsweise können ein Computerprogramm und Daten (beispielsweise die eingelernte Q-Funktion oder Q-Wert), die auf einem Aufzeichnungsmedium MR aufgezeichnet sind, wie in 4 gezeigt ist (beispielsweise ein optisch auslesbares Diskettenspeichermedium, etwa ein Kompaktdisketten-Nur-Lese-Speicher (CD-ROM)), durch die Aufzeichnungsmedium-Leseeinheit 231 (beispielsweise ein optisches Diskettenlaufwerk) ausgelesen und in dem RAM gespeichert werden. Das Computerprogramm und die Daten können auf einer Festplatte (nicht gezeigt) gespeichert werden, und können in dem RAM gespeichert werden, wenn das Computerprogramm ausgeführt wird. Die Steuereinheit 20 und die Verarbeitungseinheit 23 können in dem Computer implementiert werden, indem ein Computerprogramm, das den Ablauf für jeden Prozessablauf, wie dies in den später beschriebenen 22 und 24 gezeigt ist, bestimmt, in den RAM (Speicher) eingeladen wird, der in dem Computer vorgesehen ist, und indem das Computerprogramm mit der CPU (Prozessor) ausgeführt wird. Das Computerprogramm, das einen Algorithmus für verstärktes Lernen definiert, und die Q-Funktion oder der Q-Wert, die durch das verstärkte Lernen gemäß der vorliegenden Ausführungsform erhalten werden, können in dem Aufzeichnungsmedium aufgezeichnet und verteilt werden oder können an die Fernüberwachungszielvorrichtungen P, U, D, M und die Endgerätvorrichtung über das Netzwerk N und die Kommunikationseinrichtung 1 verteilt und dort installiert werden.
• In der zuvor beschriebenen Ausführungsform wird der Lebensdauervorhersage-Simulator 24 verwendet, jedoch kann anstelle des Lebensdauervorhersage-Simulators 24 eine Konfiguration angewendet werden, in der alternativ tatsächliche Messdaten eingesetzt werden. Beispielsweise können Zeitreihendaten (beispielsweise Zeitreihendaten eines Stromwerts, eines Spannungswerts und der Temperatur) der Energiespeichereinrichtung aus dem Zustand s_t zu dem Zustand s_t+1 erfasst werden, und das verstärkte Lernen kann ausgeführt werden, damit die Q-Funktion oder der Q-Wert aktualisiert wird. In diesem Falle können die Zeitreihendaten des SOC auf der Grundlage der Zeitreihendaten des Stromwerts ermittelt werden, und der SOH kann auf der Grundlage der ermittelten Zeitreihendaten des SOC abgeschätzt werden. Andererseits kann ein Messwert anstelle des abgeschätzten Werts für den SOH verwendet werden. Ferner kann beispielsweise der Verlauf der mittleren Temperatur auf der Grundlage der Zeitreihendaten der Temperatur erhalten werden, und der SOH kann ebenfalls unter Berücksichtigung des Verlaufs der mittleren Temperatur ermittelt werden.
• Obwohl das Q-Lernen als Beispiel des verstärkten Lernens in der zuvor beschriebenen Ausführungsform angegeben ist, können andere Algorithmen für verstärktes Lernen alternativ eingesetzt werden, etwa für weiteres Lernen mit temporaler Differenz (TD-Lernen). Beispielsweise kann ein Lernverfahren zum Aktualisieren des Wertes des Zustands anstelle des Aktualisierens des Werts der Aktion, etwa ein Q-Lernen, verwendet werden. In diesem Verfahren wird ein Wert V(s_t) des aktuellen Zustands St durch eine Formel aktualisiert: V(s_t) < - V(s_t) + α · δt. Dabei bezeichnet δt = r_t+1 + γ · V(s_t+1) - V(s_t), wobei α eine Lernrate und δt ein TD-Fehler ist.
• In der zuvor beschriebenen Ausführungsform ist die Bewertungswerttabelle 27 als ein Beispiel der Aktionsbewertungsfunktion (Q-Funktion) verwendet, jedoch ist es gegebenenfalls nicht zweckmäßig, die Q-Funktion in einer Tabelle darzustellen, wenn die Anzahl der Zustände anwächst. Alternativ ist es auch möglich, ein tiefes verstärktes Lernen einzusetzen, in welchem das verstärkte Lernen und Techniken für tiefes Lernen kombiniert sind. Beispielsweise wird die Anzahl an Neuronen in einer Eingangsschicht eines neuronalen Netzwerks gleich der Anzahl an Zuständen gewählt, und die Anzahl an Neuronen in einer Ausgangsschicht wird gleich der Anzahl der Wahlmöglichkeiten der Aktion festgelegt. Die Ausgangsschicht gibt die Summe der Belohnungen aus, die der Reihe nach erhalten werden, wenn die Aktion a in dem Zustand s ausgeführt wird. Anschließend wird z.B. das Gewicht des neuronalen Netzwerks derart eingelernt, dass die Ausgabe des neuronalen Netzwerks nahe an dem Wert von {r_t+1 + γ/maxQ(s_t+1,a_t+1)} liegt.
• Durch die Anwendung des lernenden Modells bzw. des eingelernten Modells, das unter Anwendung des zuvor beschriebenen Lernverfahrens eingelernt wird, ist es möglich, ein optimales Betriebsverfahren für das gesamte System unter Berücksichtigung der Leistungsfähigkeit der Energiespeichereinrichtung vorzuschlagen. Dieser Punkt wird insbesondere nachfolgend beschrieben.
• 23 ist eine Blockansicht, die ein Beispiel des Aufbaus der Server-Vorrichtung 2 als eine Energiespeichereinrichtungsbewertungseinheit zeigt. Der Unterschied zu der in 4 gezeigten Server-Vorrichtung 2 besteht darin, dass die Server-Vorrichtung 2 (Verarbeitungseinheit 23) als Energiespeichereinrichtungsbewertungseinheit die Belohnungsberechnungseinheit 25 nicht enthält und die Server-Vorrichtung 2 die Aktionsauswahleinheit 26 und die Bewertungswerttabelle 27 als die eingelernten Modelle enthält. Das heißt, die Bewertungswerttabelle 27 ist durch das zuvor beschriebene Lernverfahren aktualisiert, das heißt, eingelernt, worden. Zu beachten ist, dass die Server-Vorrichtung 2 der 23 auch aus einem einzelnen Server-Computer aufgebaut sein kann, sie aber auch alternativ aus mehreren Server-Computern aufgebaut sein kann. Ferner kann die Belohnungsberechnungseinheit 25 vorgesehen sein.
• 24 ist ein Flussdiagramm, das ein Beispiel eines Prozessablaufs für ein Verfahren zum Bewerten der Energiespeichereinrichtung durch die Server-Vorrichtung 2 zeigt. Die Verarbeitungseinheit 23 erfasst Systementwurfsparameter der Energiespeichereinrichtung (S21). Die Systementwurfsparameter der Energiespeichereinrichtung beinhalten die Art, die Anzahl, die Nennwerte und dergleichen der Energiespeichereinrichtungen, die in dem gesamten System verwendet sind, und beinhaltet diverse Parameter, die für die Systemgestaltung erforderlich sind, etwa der Aufbau oder die Anzahl an Energiespeichermodulen und der Aufbau oder die Anzahl an Banken. Die Entwurfsparameter der Energiespeichereinrichtung werden vor einem tatsächlichen Betrieb des Systems festgelegt.
• Die Verarbeitungseinheit 23 erfasst einen Zustand s_t (S22) und gibt eine Aktion für den Zustand s_t auf der Grundlage der eingelernten Bewertungswerttabelle 27 aus (S23). Die Verarbeitungseinheit 23 erfasst einen Zustand s_t+1 (S24) und ermittelt, ob ein Betriebsergebnis des Systems der Energiespeichereinrichtung erhalten worden ist oder nicht (S25). Wenn das Betriebsergebnis nicht erhalten wird (NEIN in S25), dann setzt die Verarbeitungseinheit 23 den Zustand s_t+1 auf den Zustand s_t (S26) und fährt mit dem Arbeitsablauf ausgehend vom Schritt S23 fort.
• Wenn das Betriebsergebnis des Systems der Energiespeichereinrichtung erhalten wird (JA in S25), dann ermittelt die Verarbeitungseinheit 23, ob es andere Systementwurfsparameter gibt oder nicht (S27), und wenn es andere Systementwurfsparameter gibt (JA in S27), dann ändert die Verarbeitungseinheit 23 die Systementwurfsparameter (S28) und fährt mit der Verarbeitung ausgehend vom Schritt S21 fort. Wenn es keine anderen Systementwurfsparameter gibt (NEIN in S27), dann gibt die Verarbeitungseinheit 23 das Bewertungsergebnis der Energiespeichereinrichtung aus (S29) und beendet den Prozessablauf.
• Wie zuvor beschrieben ist, erfasst die Verarbeitungseinheit 23 den Zustand s_t+1, der den SOH der Energiespeichereinrichtung beinhaltet, gibt den Zustand s_t+1 an das lernende Modell aus und erfasst den erhaltenen Zustand s_t+1 als ein Ergebnis der Aktion, die dem Systembetrieb entspricht, das die Energiespeichereinrichtung enthält, und die Aktion wird von dem lernenden Modell ausgegeben. Die Verarbeitungseinheit 23 hat die Funktion als Bewertungserzeugungseinheit und erzeugt ein Bewertungsergebnis der Energiespeichereinrichtung auf der Grundlage der Aktion der Energiespeichereinrichtung, die von dem lernenden Modell ausgegeben wird. Das Bewertungsergebnis beinhaltet beispielsweise das optimale Betriebsverfahren des gesamten Systems, das die Energiespeichereinrichtung beinhaltet, in Hinblick auf die Leistungsfähigkeit bzw. die Gesundheit der Energiespeichereinrichtung. Das heißt, es ist möglich, den optimalen Betrieb des gesamten Systems unter Berücksichtigung der Leistungsfähigkeit der Energiespeichereinrichtung zu erreichen.
• Die Verarbeitungseinheit 23 kann das Bewertungsergebnis der Energiespeichereinrichtung in Übereinstimmung mit dem Entwurfsparameter der Energiespeichereinrichtung erzeugen.
• 25 ist eine schematische Ansicht, die ein Beispiel des von der Server-Vorrichtung 2 erzeugten Bewertungsergebnisses zeigt. In dem Beispiel der 25 beträgt die erwartete Lebensdauer zehn Jahre. In 25 sind der Einfachheit halber die Entwurfsparameter für die Energiespeichereinrichtung D1, D2 und D3, und die zeitliche Änderung des SOH der Energiespeichereinrichtung ist entsprechend aufgetragen, wenn jeder der Entwurfsparameter verwendet wird. Im Falle des Systembetriebs unter Verwendung des Entwurfsparameters D1 ist der SOH zu dem Zeitpunkt, an welchem die erwartete Lebensdauer erreicht wird, relativ hoch, und man kann erkennen, dass der Entwurfsparameter der Leistungsfähigkeit der Energiespeichereinrichtung eine übermäßig hohe Priorität verleiht. Andererseits ist im Falle des Systembetriebs unter Anwendung des Entwurfsparameters D3 der SOH zu dem Zeitpunkt, an dem die erwartete Lebensdauer erreicht ist, relativ niedrig, und wenn der Betrieb derart ausgeführt wird, dass der Energieverkaufspreis Priorität hat, dann kann die erwartete Lebensdauer nicht erreicht werden. Obwohl eine Abhängigkeit von der Anforderung des Benutzers für das Systembetriebsverfahren besteht, kann dennoch bewertet werden, dass der Betrieb unter Anwendung des Entwurfsparameters D2 als Ganzes ausgewogen ist.
• Durch Erzeugung des Bewertungsergebnisses für die Energiespeichereinrichtung gemäß dem Entwurfsparameter ist es möglich, beispielsweise zu erkennen, welche Art von Entwurfsparameter verwendet wird, um das optimale Betriebsverhalten für das gesamte System in Hinblick auf die Leistungsfähigkeit bzw. Gesundheit zu erhalten.
• Obwohl die Server-Vorrichtung 2 die Verarbeitungseinheit 23 in der zuvor beschriebenen Ausführungsform aufweist, kann die Verarbeitungseinheit 23 alternativ in einem weiteren Server oder mehreren anderen Servern vorgesehen sein. Der Lebensdauervorhersage-Simulator 24 kann alternativ in einem weiteren Server oder in einer Vorrichtung, etwa einem weiteren Lebensdauervorhersage-Simulator, vorgesehen sein.
• Die Ausführungsformen sind in jeglicher Hinsicht beispielhaft und nicht beschränkend. Der Schutzbereich der Erfindung wird durch die Patentansprüche angegeben und beinhaltet alle Modifizierungen, die innerhalb der Bedeutung und des Bereichs der Ansprüche liegen.
• Bezugszeichenliste

2

Server-Vorrichtung

20

Steuereinheit

21

Kommunikationseinheit

22

Speichereinheit

23

Verarbeitungseinheit

24

Lebensdauervorhersage-Simulator

25

Belohnungsberechnungseinheit

26

Aktionsauswahleinheit

27

Bewertungswerttabelle

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• JP 2017151756 A [0004]

Claims (16)

1. Ein Aktionsgenerator, der aufweist: eine Aktionsauswahleinheit, die eine Aktion, die eine Festlegung beinhaltet, die einen Ladezustand (SOC) einer Energiespeichereinrichtung betrifft, auf der Grundlage von Aktionsbewertungsinformation auswählt; eine Zustandserfassungseinheit, die einen Zustand, der einen Leistungsfähigkeitszustand (SOH) der Energiespeichereinrichtung beinhaltet, erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Belohnungserfassungseinheit, die eine Belohnung bei einem verstärkten Lernen erfasst, wenn die von der Aktionsauswahleinheit ausgewählte Aktion ausgeführt wird; eine Aktualisierungseinheit, die die Aktionsbewertungsinformation auf der Grundlage des von der Zustandserfassungseinheit erfassten Zustands und auf der Grundlage der Belohnung, die von der Belohnungserfassungseinheit erfasst wird, aktualisiert; und eine Aktionserzeugungseinheit, die eine Aktion entsprechend dem Zustand der Energiespeichereinrichtung auf der Grundlage der durch die Aktualisierungseinheit aktualisierten Aktionsbewertungsinformation erzeugt.
2. Der Aktionsgenerator nach Anspruch 1, wobei die Festlegung, die den SOC betrifft, die Festlegung eines oberen Grenzwertes des SOC, eines unteren Grenzwertes des SOC und/oder eines Einstellbetrags des SOC auf der Grundlage eines Ladens oder Entladens zu/von der Energiespeichereinrichtung enthält.
3. Der Aktionsgenerator nach Anspruch 1 oder 2, wobei die Aktion eine Festlegung einer Umgebungstemperatur der Energiespeichereinrichtung enthält.
4. Der Aktionsgenerator nach einem der Ansprüche 1 bis 3, wobei die Zustandserfassungseinheit eine Information erfasst, die den SOH der Energiespeichereinrichtung, der von einem Lebensdauervorhersage-Simulator ausgegeben wird, enthält.
5. Der Aktionsgenerator nach einem der Ansprüche 1 bis 3, mit: einer Energieerzeugungsbetrags-Informationserfassungseinheit, die eine Energieerzeugungsbetragsinformation in einer energieerzeugenden Stätte, mit der die Energiespeichereinrichtung verbunden ist, erfasst; einer Energieverbrauchbetrags-Informationserfassungseinheit, die eine Energieverbrauchbetragsinformation in einer energieanfordernden Stätte erfasst; einer SOC-Verlaufsschätzeinheit, die einen Verlauf des SOC der Energiespeichereinrichtung auf der Grundlage der Energieerzeugungsbetragsinformation, der Energieverbrauchbetragsinformation und der von der Aktionsauswahleinheit ausgewählten Aktion abschätzt; und einer SOH-Schätzeinheit, die den SOH der Energiespeichereinrichtung auf der Grundlage des Verlaufs des von der SOC-Verlaufsschätzeinheit abgeschätzten Verlaufs des SOC abschätzt, wobei die Zustandserfassungseinheit den SOH, der von der SOH-Schätzeinheit abgeschätzt wird, erfasst.
6. Der Aktionsgenerator nach Anspruch 5, mit: einer Temperaturinformationserfassungseinheit, die eine Umgebungstemperaturinformation in der Energiespeichereinrichtung erfasst, wobei die SOH-Schätzeinheit den SOH der Energiespeichereinrichtung auf der Grundlage der Umgebungstemperaturinformation abschätzt.
7. Der Aktionsgenerator nach Anspruch 5 oder 6, mit: einer Belohnungsberechnungseinheit, die eine Belohnung beim verstärkten Lernen auf der Grundlage eines Betrags an verkaufter elektrischer Energie an die energieerzeugende Stätte oder die leistungsanfordernde Stätte berechnet, wobei die Belohnungserfassungseinheit die von der Belohnungsberechnungseinheit berechnete Belohnung erfasst.
8. Der Aktionsgenerator nach einem der Ansprüche 1 bis 7, mit: einer Belohnungsberechnungseinheit, die eine Belohnung beim verstärkten Lernen auf der Grundlage eines Energieverbrauchbetrags, der sich aus dem Ausführen der Aktion ergibt, berechnet, wobei die Belohnungserfassungseinheit die von der Belohnungsberechnungseinheit berechnete Belohnung erfasst.
9. Der Aktionsgenerator nach einem der Ansprüche 1 bis 8, mit: einer Belohnungsberechnungseinheit, die eine Belohnung beim verstärkten Lernen auf der Grundlage davon berechnet, ob der Zustand der Energiespeichereinrichtung die Lebensdauer erreicht, wobei die Belohnungserfassungseinheit die von der Belohnungsberechnungseinheit berechnete Belohnung erfasst.
10. Eine Energiespeichereinrichtungsbewertungseinheit, mit: einem eingelernten Modell, das eine aktualisierte Aktionsbewertungsinformation enthält; einer Zustandserfassungseinheit, die einen Zustand, der einen SOH einer Energiespeichereinrichtung enthält, erfasst; und einer Bewertungserzeugungseinheit, die den von der Zustandserfassungseinheit erfassten Zustand in das eingelernte Modell einspeist und ein Bewertungsergebnis der Energiespeichereinrichtung auf der Grundlage einer Aktion erzeugt, die eine Festlegung beinhaltet, die den SOC der Energiespeichereinrichtung, der von dem eingelernten Modell ausgegeben wird, betrifft.
11. Die Energiespeichereinrichtungsbewertungseinheit nach Anspruch 10, wobei die Zustandserfassungseinheit Information erfasst, die den SOH der Energiespeichereinrichtung, der von einem Lebensdauervorhersage-Simulator ausgegeben wird, erfasst.
12. Die Energiespeichereinrichtungsbewertungseinheit nach Anspruch 10 oder 11, mit: einer Parametererfassungseinheit, die einen Entwurfsparameter der Energiespeichereinrichtung erfasst, wobei die Bewertungserzeugungseinheit ein Bewertungsergebnis der Energiespeichereinrichtung entsprechend dem Entwurfsparameter, der von der Parametererfassungseinheit erfasst wird, erzeugt.
13. Ein Computerprogramm, das einen Computer veranlasst, einen Prozessablauf auszuführen mit: Auswählen einer Aktion, die ein Festlegen beinhaltet, das einen Ladezustand (SOC) einer Energiespeichereinrichtung betrifft, auf der Grundlage einer Aktionsbewertungsinformation; Erfassen eines Zustands, der eine Belohnung bei einem verstärkten Lernen beinhaltet, und eines Leistungsfähigkeitszustands (SOH) der Energiespeichereinrichtung, wenn die ausgewählte Aktion ausgeführt wird; und Aktualisieren der Aktionsbewertungsinformation derart, dass die erfasste Belohnung zunimmt, so dass eine Aktion, die dem Zustand der Energiespeichereinrichtung entspricht, eingelernt wird.
14. Ein Computerprogramm, das einen Computer veranlasst, den Prozessablauf auszuführen mit: Erfassen eines Zustands, der einen Leistungsfähigkeitszustand (SOH) einer Speichereinrichtung enthält; Einspeisen des erfassten Zustands in ein eingelerntes Modell, das aktualisierte Aktionsbewertungsinformation enthält; und Erzeugen eines Bewertungsergebnisses der Energiespeichereinrichtung auf der Grundlage einer Aktion, die ein Festlegen beinhaltet, das einen Ladezustand (SOC) der Energiespeichereinrichtung, der von dem eingelernten Modell ausgegeben wird, betrifft.
15. Ein Lernverfahren, mit: Auswählen einer Aktion, die ein Festlegen beinhaltet, das einen Ladezustand (SOC) einer Energiespeichereinrichtung betrifft, auf der Grundlage einer Aktionsbewertungsinformation; Erfassen eines Zustands, der eine Belohnung bei einem verstärkten Lernen beinhaltet, und eines Leistungsfähigkeitszustands (SOH) der Energiespeichereinrichtung, wenn die ausgewählte Aktion ausgeführt wird; und Aktualisieren der Aktionsbewertungsinformation derart, dass die erfasste Belohnung größer wird, so dass eine dem Zustand der Energiespeichereinrichtung entsprechende Aktion eingelernt wird.
16. Ein Bewertungsverfahren, mit: Erfassen eines Zustands, der einen Leistungsfähigkeitszustand (SOH) einer Speichereinrichtung enthält; Einspeisen des erfassten Zustands in ein eingelerntes Modell, das aktualisierte Aktionsbewertungsinformation enthält; und Erzeugen eines Bewertungsergebnisses der Energiespeichereinrichtung auf der Grundlage einer Aktion, die ein Festlegen beinhaltet, das den Ladezustand (SOC) der Energiespeichereinrichtung, der von dem eingelernten Modell ausgegeben wird, betrifft.

Images