CN113227810A - 蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法及生成方法 - Google Patents

蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法及生成方法 Download PDF

Info

Publication number
CN113227810A
CN113227810A CN201980084253.2A CN201980084253A CN113227810A CN 113227810 A CN113227810 A CN 113227810A CN 201980084253 A CN201980084253 A CN 201980084253A CN 113227810 A CN113227810 A CN 113227810A
Authority
CN
China
Prior art keywords
storage element
power storage
action
soh
reward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980084253.2A
Other languages
English (en)
Inventor
鹈久森南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GS Yuasa International Ltd
Original Assignee
GS Yuasa International Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GS Yuasa International Ltd filed Critical GS Yuasa International Ltd
Publication of CN113227810A publication Critical patent/CN113227810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • B60L58/12—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries responding to state of charge [SoC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • B60L58/16—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries responding to battery ageing, e.g. to the number of charging cycles or the state of health [SoH]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
    • G01R31/367—Software therefor, e.g. for battery testing using modelling or look-up tables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
    • G01R31/382—Arrangements for monitoring battery or accumulator variables, e.g. SoC
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/36—Arrangements for testing, measuring or monitoring the electrical condition of accumulators or electric batteries, e.g. capacity or state of charge [SoC]
    • G01R31/392—Determining battery ageing or deterioration, e.g. state of health
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0226—Incentive systems for frequent usage, e.g. frequent flyer miles programs or point systems
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M10/00—Secondary cells; Manufacture thereof
    • H01M10/42—Methods or arrangements for servicing or maintenance of secondary cells or secondary half-cells
    • H01M10/48—Accumulators combined with arrangements for measuring, testing or indicating the condition of cells, e.g. the level or density of the electrolyte
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/0047—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries with monitoring or indicating devices or circuits
    • H02J7/0048—Detection of remaining charge capacity or state of charge [SOC]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/0047—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries with monitoring or indicating devices or circuits
    • H02J7/005—Detection of state of health [SOH]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/40—Drive Train control parameters
    • B60L2240/54—Drive Train control parameters related to batteries
    • B60L2240/545—Temperature
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/40—Drive Train control parameters
    • B60L2240/54—Drive Train control parameters related to batteries
    • B60L2240/547—Voltage
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/40—Drive Train control parameters
    • B60L2240/54—Drive Train control parameters related to batteries
    • B60L2240/549—Current
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/60—Navigation input
    • B60L2240/62—Vehicle position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/60—Navigation input
    • B60L2240/66—Ambient conditions
    • B60L2240/662—Temperature
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00—Control parameters of input or output; Target parameters
    • B60L2240/70—Interactions with external data bases, e.g. traffic centres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2260/00—Operating Modes
    • B60L2260/40—Control modes
    • B60L2260/46—Control modes by self learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M2220/00—Batteries for particular applications
    • H01M2220/20—Batteries in motive systems, e.g. vehicle, ship, plane
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/10—Energy storage using batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/72—Electric energy management in electromobility
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Power Engineering (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Sustainable Development (AREA)
  • Transportation (AREA)
  • General Chemical & Material Sciences (AREA)
  • Electrochemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Sustainable Energy (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Secondary Cells (AREA)
  • Tests Of Electric Status Of Batteries (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

提供一种能够考虑蓄电元件的劣化而最佳地分散负载的蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法以及生成方法。蓄电元件评价装置包括：基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动的行动选择部；获取执行了所选择的行动时的蓄电元件的状态的状态获取部；获取执行了所选择的行动时的报酬的报酬获取部；基于获取的状态以及报酬，更新行动评价信息的更新部；以及执行基于更新后的行动评价信息的行动，评价蓄电元件的状态的评价部。

Description

蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方 法及生成方法
技术领域
本发明涉及蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法以及生成方法。
背景技术
在运输业界、物流业界或货运业界等各种业界中，正在研究包含车辆或飞行器(Flying vehicle)的移动体的电动化。作为持有多个电动车辆(Electric vehicle)的事业主体，希望避免搭载于电动车辆的蓄电元件(Energy Storage Device)提早劣化。
在专利文献1中，公开了在有效利用车载蓄电池的能量管理中提高车载蓄电池的利用率的技术。
现有技术文献
专利文献
专利文献1：日本特开2017-46498号公报
发明内容
发明要解决的课题
蓄电元件的劣化根据蓄电元件被使用的环境(在电动车辆的情况下，为行驶状态、飞行状态或使用环境)而变化。如果过度使用特定的电动车辆，则搭载于该电动车辆的蓄电元件会提早劣化。
本发明的目的在于提供一种能够考虑蓄电元件的劣化而最佳地分散负载的蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法以及生成方法。
用于解决课题的手段
蓄电元件评价装置包括：行动选择部，基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动；状态获取部，获取执行了由所述行动选择部选择的行动时的所述蓄电元件的状态；报酬获取部，获取执行了由所述行动选择部选择的行动时的报酬；更新部，基于由所述状态获取部获取的状态以及由所述报酬获取部获取的报酬，更新所述行动评价信息；以及评价部，执行基于由所述更新部更新了的行动评价信息的行动，评价所述蓄电元件的状态。
计算机程序，使计算机执行：基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动的处理；获取执行了所选择的行动时的所述蓄电元件的状态的处理；获取执行了所选择的行动时的报酬的处理；基于获取的状态以及报酬，更新所述行动评价信息的处理；以及执行基于更新后的行动评价信息的行动，评价所述蓄电元件的状态的处理。
蓄电元件评价方法是，基于行动评价信息来选择包含蓄电元件的负载状态的变更的行动，获取执行了所选择的行动时的所述蓄电元件的状态，获取执行了所选择的行动时的报酬，基于所获取的状态以及报酬来更新所述行动评价信息，执行基于更新后的行动评价信息的行动，评价所述蓄电元件的状态。
学习方法是，基于行动评价信息来选择包含蓄电元件的负载状态的变更的行动，获取执行了所选择的行动时的所述蓄电元件的状态，获取执行了所选择的行动时的报酬，基于所获取的报酬来更新所述行动评价信息，学习与所述蓄电元件的状态对应的行动。
生成方法是，基于行动评价信息来选择包含蓄电元件的负载状态的变更的行动，获取执行了所选择的行动时的所述蓄电元件的状态，获取执行了所选择的行动时的报酬，基于所获取的报酬来更新所述行动评价信息，生成所述行动评价信息。
发明的效果
根据上述结构，能够考虑蓄电元件的劣化而最佳地对负载进行分散。
附图说明
图1是表示蓄电元件评价系统的结构的一例的示意图。
图2是表示蓄电元件评价服务器的结构的一例的框图。
图3A是表示蓄电元件的负载电力的例子的示意图。
图3B是表示蓄电元件的负载电力的例子的示意图。
图4是表示蓄电元件的环境温度的一例的示意图。
图5是表示SOH估计部的动作的示意图。
图6是表示蓄电元件的SOC的推移的一例的示意图。
图7是表示强化学习的一例的示意图。
图8是表示物流/货运服务的服务区域的一例的示意图。
图9是表示每个地域的电动车辆的调配状态的一例的示意图。
图10是表示电动车辆与搭载在电动车辆上的蓄电元件之间的关系的示意图。
图11是表示评价值表格的结构的一例的示意图。
图12是表示评价值表格的评价值的一例的示意图。
图13是表示本实施方式的神经网络模型的结构的一例的示意图。
图14是表示被调配电动车辆的地域的切换的一例的示意图。
图15是表示蓄电元件更换服务的服务内容的一例的示意图。
图16是表示蓄电元件的更换的一例的示意图。
图17是表示在固定蓄电元件运用监视服务中的蓄电元件的负载状态的变更的一例的示意图。
图18是表示负载的切换的一例的示意图。
图19是表示强化学习的状态迁移的情形的第1例的示意图。
图20是表示强化学习的状态迁移的情形的第2例的示意图。
图21是表示从运用开始前起使用SOH估计部的情况下的、基于通过强化学习得到的运用方法的SOH的推移的一例的示意图。
图22是表示使用运用初始阶段的数据生成寿命预测模拟器的情况下的、基于通过强化学习得到的运用方法的SOH的推移的一例的示意图。
图23是表示在不使用寿命预测模拟器的情况下的、基于通过强化学习得到的运用方法的SOH的推移的一例的示意图。
图24是表示强化学习的处理过程的一例的流程图。
具体实施方式
蓄电元件评价装置包括：行动选择部，基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动；状态获取部，获取执行了由所述行动选择部选择的行动时的所述蓄电元件的状态；报酬获取部，获取执行了由所述行动选择部选择的行动时的报酬；更新部，基于由所述状态获取部获取的状态以及由所述报酬获取部获取的报酬，更新所述行动评价信息；以及评价部，执行基于由所述更新部更新了的行动评价信息的行动，评价所述蓄电元件的状态。
计算机程序，使计算机执行：基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动的处理；获取执行了所选择的行动时的所述蓄电元件的状态的处理；获取执行了所选择的行动时的报酬的处理；基于获取的状态以及报酬，更新所述行动评价信息的处理；以及执行基于更新后的行动评价信息的行动，评价所述蓄电元件的状态的处理。
蓄电元件评价方法是，基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动，获取执行了所选择的行动时的所述蓄电元件的状态，获取执行了所选择的行动时的报酬，基于所获取的状态以及报酬，更新所述行动评价信息，执行基于更新后的行动评价信息的行动，评价所述蓄电元件的状态。
学习方法是，基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动，获取执行了所选择的行动时的所述蓄电元件的状态，获取执行了所选择的行动时的报酬，基于所获取的报酬，更新所述行动评价信息，学习与所述蓄电元件的状态对应的行动。
生成方法是，基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动，获取执行了所选择的行动时的所述蓄电元件的状态，获取执行了所选择的行动时的报酬，基于所获取的报酬，更新所述行动评价信息，生成所述行动评价信息。
行动选择部基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动。行动评价信息是用于在强化学习中确定在环境的某个状态下的行动的评价值的行动价值函数或表格(表)，在Q学习中意味着Q值或Q函数。蓄电元件的负载状态包括蓄电元件充电时或放电时的电流、电压、电力(功率)等物理量。另外，在负载状态中也能够包含蓄电元件的温度。负载状态的变更包括电流、电压、电力或温度等的变化模式(包括变动幅度、平均值、峰值等)、蓄电元件的使用场所的变更、使用状态的变更(例如，使用状态和保管状态之间的变更)等。考虑到多个蓄电元件分别存在单独的负载状态，蓄电元件的负载状态的变更相当于负载的分散。行动选择部相当于强化学习中的智能体，能够选择行动评价信息中评价最高的行动。
状态获取部获取执行了由行动选择部选择的行动时的蓄电元件的状态。当执行由行动选择部选择的行动时，环境的状态发生变化。状态获取部获取变化了的状态。蓄电元件的状态可以是SOH(健康状况(State Of Health))，也可以是SOH的先行指标即某个时间点的电流、电压、温度、电池厚度、其时间序列数据或各指标的组合。在本说明书中，SOH是指与初始状态的值进行比较的、可放电的电容量维持率、内部电阻增大率、可放电的电力容量维持率等、或这些值的组合、或时间序列的推移。SOH优选使用实测值，但也可以是根据先行指标或上次实测出的SOH而估计出的值。特别地，在是估计值的情况下，优选将SOH表现为概率分布。
报酬获取部获取执行了由行动选择部选择的行动时的报酬。报酬获取部在行动选择部使所期望的结果作用于环境时获取较高的值(正值)。当报酬为0时，没有报酬，当报酬为负值时，为惩罚。
更新部基于获取的状态以及报酬，更新行动评价信息。更具体而言，更新部相当于强化学习中的智能体，向使针对行动的报酬最大化的方向更新行动评价信息。由此，能够学习在环境的某个状态下期待最大价值的行动。
评价部执行基于由更新部更新了的行动评价信息的行动，评价蓄电元件的状态。由此，能够对于蓄电元件的例如SOH，通过强化学习得到包含负载状态的变更的行动，评价蓄电元件的SOH，作为包含负载状态的变更的行动的结果。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
蓄电元件评价装置使搭载了所述蓄电元件的移动体在多个移动区域中的一个移动区域内移动，所述行动能够包括从所述移动体进行移动的移动区域向与该移动区域不同的其他移动区域的切换。
使搭载了蓄电元件的移动体在多个移动区域中的一个移动区域内进行移动。例如，在物流行业或货运行业等中，能够将服务提供区域以多个移动区域进行划分，对每个移动区域确定用于服务的移动体(例如电动车辆)。例如，能够在移动区域A中调配移动体a1、a2、…，在移动区域B中调配移动体b1、b2、…。其他移动区域相同。
行动包括从移动体进行移动的移动区域向与该移动区域不同的其他移动区域的切换。在将路网以多个移动区域进行了划分的情况下，被认为，在某个特定的移动区域中，考虑坡道多、设置了红绿灯的交叉路口多、高速公路多、环境与其他移动区域不同，而搭载在移动体上的蓄电元件的负载状态也不同。如果使被调配给移动区域的移动体在该移动区域内进行移动，则按每个移动区域，对于蓄电元件的负载的轻重不同，特定的移动区域内的移动体的蓄电元件的劣化有可能提早。
通过利用强化学习来学习移动体所移动的移动区域的切换，作为移动区域的切换结果，能够评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
蓄电元件评价装置具备第1报酬计算部，该第1报酬计算部计算基于伴随所述移动区域的切换的移动体区域间的距离的报酬，所述报酬获取部能够获取由所述第1报酬计算部计算出的报酬。
第1报酬计算部计算基于伴随移动区域的切换的移动体区域间的距离的报酬。报酬获取部获取由第1报酬计算部计算出的报酬。例如，被认为存在距离越长则伴随移动区域的切换的成本变得越高的倾向，所以能够以距离越长而报酬越小，或者成为负的报酬(惩罚)的方式进行计算。由此，能够抑制包含多个蓄电元件的系统整体的成本的增大。
在蓄电元件评价装置中，所述行动能够包括所述蓄电元件被搭载于移动体的搭载状态与从移动体卸下后的保管状态之间的切换。
行动包括蓄电元件被搭载于移动体的搭载状态与从移动体卸下后的保管状态之间的切换。例如，在蓄电元件的更换服务中，预先保管有多个蓄电元件，当搭载在移动体上的蓄电元件的充电率(充电状态(SOC：State of Charge))下降时，移动体的蓄电元件被更换为充满电的蓄电元件。在搭载状态和保管状态下，蓄电元件的负载状态的轻重不同。
通过利用强化学习来学习搭载状态和保管状态之间的切换，作为搭载状态和保管状态的切换的结果，能够评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
在蓄电元件评价装置中，所述蓄电元件与多个负载中的一个负载连接，所述行动包括从与所述蓄电元件连接的负载向与该负载不同的其他负载的切换。
蓄电元件与多个负载中的一个负载连接。即，在发电设备或电力需求设备内的多个蓄电元件上分别连接有独立的负载。成为蓄电元件的负载的电气设备，所需的电力根据动作状态或环境状态而变动，蓄电元件所要求的电力也变动，因此，根据与蓄电元件连接的负载，蓄电元件的负载状态的轻重不同。当在多个蓄电元件的每一个上固定地连接负载时，相对于蓄电元件的负载的轻重根据负载而不同，特定蓄电元件的劣化有可能提早。
行动包括从与蓄电元件连接的负载向与该负载不同的其他负载的切换。通过利用强化学习来学习负载的切换，作为负载的切换结果，能够评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
蓄电元件评价装置包括计算基于所述切换的次数的报酬的第2报酬计算部，所述报酬获取部能够获取由所述第2报酬计算部计算出的报酬。
第2报酬计算部计算基于切换的次数的报酬。报酬获取部获取由第2报酬计算部计算出的报酬。例如，在作为包含多个蓄电元件的系统整体而优先进行将蓄电元件的平均SOH维持得较高的运用的情况下，以切换次数的增大引起的若干成本高为代价，能够以即使切换次数多然而报酬也不会变小的方式，或者以不会成为负(惩罚)的方式进行计算。另一方面，在作为包含多个蓄电元件的系统整体而优先进行降低切换成本的运用的情况下，以切换次数的减少引起的蓄电元件的平均SOH的若干降低为代价，能够以切换次数越少则越成为比较大的值的报酬的方式进行计算。由此，能够实现最佳的运用。
蓄电元件评价装置包括：计算基于所述蓄电元件的SOH的降低程度的报酬的第3报酬计算部，所述报酬获取部能够获取由所述第3报酬计算部计算出的报酬。
第3报酬计算部计算基于蓄电元件的SOH的降低程度的报酬。报酬获取部获取由第3报酬计算部计算出的报酬。SOH的降低程度例如能够设为相对于过去的SOH，当前的SOH减少了何种程度的减少率。例如，在SOH的降低程度大于阈值的情况下(减少率大的情况下)，能够将报酬设为负值(惩罚)。另外，在SOH的降低程度小于阈值的情况下(减少率小的情况下)，能够将报酬设为正值。由此，能够抑制蓄电元件的SOH的降低并实现蓄电元件的最佳运用。
蓄电元件评价装置包括：基于所述蓄电元件的状态是否达到了寿命来计算报酬的第4报酬计算部，所述报酬获取部能够获取由所述第4报酬计算部计算出的报酬。
第4报酬计算部基于蓄电元件的状态是否达到了寿命来计算报酬。报酬获取部获取由第4报酬计算部计算出的报酬。例如，在蓄电元件的SOH不低于EOL(寿命到期(End OfLife))时，可以将报酬设为正值，在SOH成为EOL以下时，可以将报酬设为负值(惩罚)。由此，能够实现达到蓄电元件的期待寿命(例如，10年、15年等)这样的最佳运用。
蓄电元件评价装置具有：电力信息获取部，获取所述蓄电元件的负载电力信息；SOC推移估计部，基于由所述电力信息获取部获取的负载电力信息以及由所述行动选择部选择的行动，估计所述蓄电元件的SOC的推移；以及SOH估计部，基于由所述SOC推移估计部估计出的SOC的推移来估计所述蓄电元件的SOH，所述评价部能够基于所述SOH估计部估计出的SOH来评价所述蓄电元件的包含SOH的状态。
电力信息获取部获取蓄电元件的负载电力信息。负载电力信息是表示遍及规定期间的负载电力的推移的信息，在蓄电元件被充电的情况下，包含充电电力，在蓄电元件放电时，包含放电电力。规定期间能够设为1天、1周、1个月、春夏秋冬、1年等期间。
SOC推移估计部，基于由电力信息获取部获取的负载电力信息以及由行动选择部选择的行动，估计蓄电元件的SOC的推移。在规定期间进行蓄电元件的充电时，SOC增加。另一方面，在进行蓄电元件的放电时，SOC减少。在规定期间，也有时不进行蓄电元件的充放电(例如夜间等)。由此，能够遍及规定期间而估计SOC的推移。
SOH估计部基于估计出的SOC的推移来估计蓄电元件的SOH。评价部基于SOH估计部估计出的SOH来评价蓄电元件的包含SOH的状态。蓄电元件的规定期间后的劣化值Qdeg能够由通电劣化值Qcur与非通电劣化值Qcnd之和表示。如果用t表示经过时间，则非通电劣化值Qcnd例如能够用
Figure BDA0003121346950000081
Figure BDA0003121346950000082
求出。这里，系数K1是SOC的函数。另外，通电劣化值Qcur能够例如用Qcur＝K2×(SOC的变动量)求出。这里，系数K2是SOC的函数。如果将在规定期间的起点的SOH设为SOH1，将在终点的SOH设为SOH2，则能够通过SOH2＝SOH1－Qdeg来估计SOH。
另外，上述SOC推移估计部以及SOH估计部能够在包含多个蓄电元件的系统的运用开始前预先准备。
由此，能够估计将来经过规定期间后的SOH。另外，如果基于估计出的SOH进一步计算经过规定期间后的劣化值，则能够进一步估计经过该规定期间后的SOH。通过每经过规定期间而反复进行SOH的估计，还能够估计在蓄电元件的期待寿命(例如，10年、15年等)时蓄电元件是否达到了寿命(SOH是否为EOL以下)。
蓄电元件评价装置包括：电力信息获取部，获取所述蓄电元件的负载电力信息；SOH获取部，获取所述蓄电元件的SOH；以及生成部，基于由所述电力信息获取部获取的负载电力信息以及由所述SOH获取部获取的SOH，生成估计所述蓄电元件的SOH的SOH估计部，所述评价部能够基于所述生成部生成的SOH估计部的SOH估计，评价所述蓄电元件的包含SOH的状态。
电力信息获取部获取蓄电元件的负载电力信息。负载电力信息是表示遍及规定期间的负载电力的推移的信息，在蓄电元件被充电的情况下，包含充电电力，在蓄电元件放电时，包含放电电力。规定期间能够设为1天、1周、1个月、春夏秋冬、1年等期间。SOH获取部获取蓄电元件的SOH。
生成部基于由电力信息获取部获取的负载电力信息以及由SOH获取部获取的SOH，生成估计蓄电元件的SOH的SOH估计部。评价部基于生成部生成的SOH估计部的SOH估计来评价蓄电元件的包含SOH的状态。例如，在包含多个蓄电元件的系统的运用开始后，收集所获取的负载电力信息以及蓄电元件的SOH，并生成针对所收集的负载电力信息而估计包含所收集的蓄电元件的SOH的状态这样的SOH估计部。具体而言，设定用于估计SOH的参数。例如，蓄电元件的规定期间后的劣化值Qdeg能够用通电劣化值Qcur与非通电劣化值Qcnd之和表示，如果用t表示经过时间，则非通电劣化值Qcnd例如能够用
Figure BDA0003121346950000091
求出。另外，通电劣化值Qcur例如能够用
Figure BDA0003121346950000092
来求出。这里，要设定的参数是系数K1、系数K2，用SOC的函数表示。
由此，能够省去在系统运用前开发对蓄电元件SOH进行估计的SOH估计部(例如SOH模拟器)的工夫。另外，由于收集系统的运用开始后的负载电力信息以及蓄电元件的包含SOH的状态而生成SOH估计部，所以能够期待与运用环境相符合的高精度的SOH估计部(例如SOH模拟器)的开发。
此外，在生成SOH估计部后，能够估计将来经过规定期间后的SOH。另外，如果基于估计出的SOH进一步计算出经过规定期间后的劣化值，则能够进一步估计经过该规定期间后的SOH。通过每经过规定期间而反复进行SOH的估计，还能够估计在蓄电元件的期待寿命(例如，10年、15年等)时蓄电元件是否达到了寿命(SOH是否为EOL以下)。
蓄电元件评价装置包括：获取所述蓄电元件的环境温度信息的温度信息获取部，所述SOH估计部能够基于所述环境温度信息估计所述蓄电元件的SOH。
温度信息获取部获取蓄电元件的环境温度信息。环境温度信息是表示遍及规定期间的环境温度的推移的信息。
SOH估计部基于环境温度信息估计蓄电元件的SOH。蓄电元件的规定期间后的劣化值Qdeg能够用通电劣化值Qcur与非通电劣化值Qcnd之和表示。如果用t表示经过时间，则非通电劣化值Qcnd例如能够用
Figure BDA0003121346950000101
求出。这里，系数K1是SOC以及温度T的函数。另外，通电劣化值Qcur例如能够用
Figure BDA0003121346950000102
来求出。这里，系数K2是SOC以及温度T的函数。如果将在规定期间的起点的SOH设为SOH1，将在终点的SOH设为SOH2，则能够通过SOH2＝SOH1－Qdeg来估计SOH。
由此，能够估计将来经过规定期间后的SOH。另外，如果基于估计出的SOH进一步计算出经过规定期间后的劣化值，则能够进一步估计经过该规定期间后的SOH。通过每经过规定期间而反复进行SOH的估计，还能够估计在蓄电元件的期待寿命(例如，10年、15年等)时蓄电元件是否达到了寿命(SOH是否为EOL以下)。
蓄电元件评价装置包括获取所述蓄电元件的设计参数的参数获取部，所述评价部能够根据由所述参数获取部获取的设计参数，来评价所述蓄电元件的状态。
参数获取部获取蓄电元件的设计参数。评价部根据由参数获取部获取的设计参数来评价蓄电元件的状态。蓄电元件的设计参数包括在系统的实际运用之前，蓄电元件的种类、数量、额定值等的系统设计所需的各种参数。通过根据设计参数评价蓄电元件的状态，例如，能够掌握如果采用怎样的设计参数，则能够得到考虑了蓄电元件的劣化的、系统整体的最佳运用方法。
蓄电元件评价装置能够包括输出部，该输出部基于所述评价部中的所述蓄电元件的状态的评价结果，输出包含所述蓄电元件的负载状态的变更的行动的指令。
输出部基于评价部中的蓄电元件的状态的评价结果，输出包含蓄电元件的负载状态的变更的行动的指令。由此，相对于蓄电元件的状态，通过强化学习得到包含负载状态的变更的行动，基于指令进行蓄电元件的负载状态的变更，由此，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
以下，基于附图说明本实施方式的蓄电元件评价装置、计算机程序、蓄电元件评价方法以及学习方法。图1是表示蓄电元件评价系统的结构的一例的示意图。蓄电元件评价系统包括作为蓄电元件评价装置的蓄电元件评价服务器50，评价蓄电元件的状态。蓄电元件也可以包括：搭载在作为被用于运输/物流/货运服务100的移动体的公共汽车110、卡车120、出租车130、飞行器140等上的蓄电元件、搭载在作为成为蓄电元件更换服务200的对象的移动体的摩托车210、租用车(rent car)220等上的蓄电元件、以及在成为固定蓄电元件运用监视服务300的对象的发电设备310、电力需求设备320内使用的蓄电元件。公共汽车110、卡车120、出租车130、飞行器140、摩托车210、租用车220、发电设备310、电力需求设备320、服务器101、201、301具备用于进行通信的通信功能。在本实施方式中，公共汽车110、卡车120、出租车130、飞行器140、摩托车210、租用车220是电动车辆(EV)或混合电动车辆(HEV)，搭载有驱动用的蓄电元件。搭载在被用于运输/物流/货运服务100的电动车辆上的蓄电元件的尺寸比较大。搭载在作为蓄电元件更换服务200的对象的电动车辆上的蓄电元件的尺寸比较小，能够设为更换的对象。在图1中，将公共汽车110、卡车120、出租车130、摩托车210、租用车220、发电设备310、电力需求设备320示出了一台，但这些也可以存在多台。蓄电元件优选为铅蓄电池及锂离子电池那样的二次电池、电容器那样的可再充电的元件。
蓄电元件评价服务器50与因特网等通信网络1连接。服务器101、201、301与通信网络1连接。服务器101被用于运输/物流/货运服务100，收集搭载在公共汽车110、卡车120、出租车130、飞行器140上的蓄电元件的状态(例如，电压、电流、电力、温度、充电状态(SOC：State Of Charge))，并将收集到的状态发送给蓄电元件评价服务器50。服务器201收集作为蓄电元件更换服务200的对象的摩托车210、租用车220上搭载的蓄电元件的状态(例如，电压、电流、电力、温度、充电状态(SOC)，将收集到的状态发送到蓄电元件评价服务器50。服务器301收集在作为固定蓄电元件运用监视服务300的对象的发电设备310、电力需求设备320内使用的蓄电元件的状态(例如，电压、电流、电力、温度、充电状态(SOC)，将收集到的状态发送到蓄电元件评价服务器50。在图1的例子中，将服务器101、201、301图示了一台，但它们也可以设置多台。蓄电元件的状态也可以不经由服务器101、201、301而直接发送到蓄电元件评价服务器50。
运输/物流/货运服务100、蓄电元件更换服务200以及固定蓄电元件运用监视服务300的详细情况在后面叙述。
图2是表示蓄电元件评价服务器50的结构的一例的框图。蓄电元件评价服务器50具备控制服务器整体的控制部51、通信部52、存储部53、记录介质读取部54以及处理部60。处理部60包括SOH估计部61、报酬计算部62、行动选择部63以及评价值表格64。作为SOH估计部61，也可以使用基于计算的寿命预测模拟器。
控制部51例如能够由CPU构成，使用内置的ROM以及RAM等存储器，控制服务器整体。控制部51执行基于存储在存储部53中的服务器程序的信息处理。
通信部52经由通信网络1，在与服务器101、201、301之间进行数据的发送接收。另外，通信部52经由通信网络1在与电动车辆之间进行数据的发送接收。
通信部52在控制部51的控制下，接收(获取)搭载在电动车辆上的蓄电元件的状态(例如，电压、电流、电力、温度、SOC等数据)，将接收到的数据存储在存储部53中。另外，通信部52经由服务器301接收(获取)在固定蓄电元件运用监视服务300的发电设备310、电力需求设备320内使用的蓄电元件的状态(例如，电压、电流、电力、温度、SOC)，将接收到的数据存储在存储部53中。
存储部53能够使用例如硬盘或闪存等非易失性存储器。存储部53能够存储由通信部52接收到的数据。
图3A以及图3B是表示蓄电元件的负载电力的例子的示意图。在图中，纵轴表示电力，以0为基准，正侧表示充电时的电力，负侧表示放电时的电力。横轴表示时间。虽然图示了从早晨8点到夜晚18点为止的时间，但横轴的时间幅度并不限定于图中的例子，例如也可以是0点到24点为止的1天，也可以是1周、1个月、春夏秋冬、1年等。
图3A表示负载是重负载的情况，图3B表示负载是轻负载的情况。可知在是重负载的情况下，与是轻负载的情况相比，电力的平均值、电力的变动幅度、峰值大。因此，认为重负载的情况与轻负载的情况相比，对蓄电元件的劣化带来的影响大。图3A及图3B所示的电力是一例，搭载于电动车辆的蓄电元件、在发电设备310或电力需求设备320内所使用的蓄电元件的负载电力根据使用状况而不同。
存储部53能够按每个蓄电元件进行划分来存储与搭载于电动车辆的蓄电元件、以及在发电设备310或电力需求设备320内使用的蓄电元件的负载电力相关的信息。
图4是表示蓄电元件的环境温度的一例的示意图。在图4中，纵轴表示温度，横轴表示时间。虽然图示了从早晨8点到夜晚18点为止的时间，但横轴的时间幅度并不限定于图中的例子，例如也可以是0点到24点为止的1天，也可以是1周、1个月、春夏秋冬、1年等。图4所示的环境温度是一例，搭载于电动车辆的蓄电元件、或在发电设备310或电力需求设备320内使用的蓄电元件的负载电力根据使用状况而不同。
存储部53能够按每个蓄电元件进行划分，来存储与搭载于电动车辆的蓄电元件、以及在发电设备310或电力需求设备320内使用的蓄电元件的环境温度相关的信息。
接着，对处理部60进行说明。
在处理部60中，报酬计算部62、行动选择部63以及评价值表格64构成进行强化学习的功能。处理部60通过使用SOH估计部61所输出的蓄电元件的劣化值(能够置换成蓄电元件的SOH(健康状况(State Of Health)))进行强化学习，能够求出达到蓄电元件的期待寿命(例如10年、15年等)那样的最佳运用条件。以下，对处理部60的详细情况进行说明。
图5是表示SOH估计部61的动作的示意图。SOH估计部61可以是根据传感器数据等履历基于计算来估计SOH的寿命预测模拟器，或者也可以使用短期的传感器数据基于实测来估计SOH。SOH估计部61获取多个蓄电元件各自的负载模式(例如，图3的负载电力信息)以及温度模式(例如，图4的环境温度信息)作为输入数据。SOH估计部61估计蓄电元件的SOC推移，并且估计(计算)蓄电元件的劣化值。另外，SOH估计部61获取行动选择部63所选择的行动，估计蓄电元件的SOC推移，并且估计蓄电元件的劣化值。SOC的推移例如能够通过对流过蓄电元件的充放电电流进行累计来算出。
若设在时间点t的SOH(也称为健康度)为SOHt，在时间点t+1的SOH为SOHt+1，则劣化值成为(SOHt－SOHt+1)。这里，时间点能够设为当前或将来的某个时间点，时间点t+1能够设为从时间点t向将来经过了所需要的时间的时间点。时间点t与时间点t+1之间的时间差是SOH估计部61的寿命预测对象期间，可以根据针对何种程度的将来而预测寿命，来适当设定。时间点t与时间点t+1之间的时间差例如能够设为1个月、半年、1年、2年等所需要的时间。
在从负载模式或温度模式的起点起直到终点为止的期间比SOH估计部61的寿命预测对象期间短的情况下，例如能够遍及寿命预测对象期间而反复使用负载模式或温度模式。
SOH估计部61具有作为SOC推移估计部的功能，根据负载模式以及行动选择部63所选择的行动来估计蓄电元件的SOC的推移。在寿命预测对象期间，在进行蓄电元件的充电时，SOC增加。另一方面，在进行蓄电元件的放电时，SOC减少。在寿命预测对象期间，也有时不进行蓄电元件的充放电(例如夜间等)。SOH估计部61遍及寿命预测对象期间而估计SOC的推移。通过电动车辆内、发电设备310内或电力需求设备320内的电池管理装置(未图示)，SOC的变动能够通过SOC的上限值和下限值来进行限制。
图6是表示蓄电元件的SOC的推移的一例的示意图。在图6中，纵轴表示SOC，横轴表示时间。虽然图示了从早晨8点到夜晚18点为止的时间，但横轴的时间幅度并不限定于图中的例子，例如也可以是从0点到24点为止的1天，也可以是1周、1个月、春夏秋冬、1年等。图6所示的SOC是一个例子，实际上按每个蓄电元件而不同。搭载于电动车辆的蓄电元件、在发电设备310或电力需求设备320内使用的蓄电元件的负载电力根据使用状况而不同。
SOH估计部61能够基于蓄电元件的环境温度来估计蓄电元件的温度。
SOH估计部61具有作为SOH估计部的功能，基于估计出的SOC的推移以及蓄电元件的温度来估计蓄电元件的SOH。蓄电元件的经过寿命预测对象期间(例如，从时间点t到时间点t+1为止)后的劣化值Qdeg能够通过Qdeg＝Qcnd+Qcur这一式子计算。
这里，Qcnd是非通电劣化值，Qcur是通电劣化值。非通电劣化值Qcnd例如能够通过
Figure BDA0003121346950000151
求出。这里，系数K1是SOC以及温度T的函数。t是经过时间，例如是从时间点t到时间点t+1为止的时间。通电劣化值Qcur例如能够通过Qcur＝K2×(SOC的变动量)来求出。这里，系数K2是SOC以及温度T的函数。若将在时间点t的SOH设为SOHt，将在时间点t+的SOH设为SOHt+1，则能够通过SOHt+1＝SOHt－Qdeg来估计SOH。
系数K1是劣化系数，可以通过运算求出SOC及温度T与系数K1之间的对应关系，或者能够以表格形式存储。对于数K2，也与系数K1相同。
如上所述，SOH估计部61能够估计将来的经过寿命预测对象期间后的SOH。如果基于估计出的SOH，进一步计算出经过寿命预测对象期间后的劣化值，则能够进一步估计经过该寿命预测对象期间后的SOH。通过在每经过寿命预测对象期间而反复进行SOH的估计，还能够估计在蓄电元件的期待寿命(例如，10年、15年等)时蓄电元件是否达到了寿命(SOH是否为EOL以下)。
本实施方式中的强化学习中，作为行动，学习：如何变更蓄电元件的负载状态(如何使多个蓄电元件的负载分散)，能够防止特定的蓄电元件的提早的劣化，抑制系统整体的蓄电元件的平均SOH的降低，或者能够降低运用成本的最佳运用方法。以下，对强化学习的详细情况进行说明。
图7是表示本实施方式的强化学习的一例的示意图。强化学习是一种机器学习算法，置于某个环境下的智能体(agent)对环境进行行动，求出使得到的报酬最大化的对策(成为智能体进行行动时的指标的规则)。在强化学习中，智能体是对环境采取行动的学习者那样的人，是学习对象。环境针对智能体的行动进行状态的更新和报酬的赋予。行动是智能体能够针对环境的某个状态采取的行动。状态是环境所保持的环境的情形。报酬在智能体使所希望的结果作用于环境时被赋予给智能体。报酬例如能够设为正、负、0的值，在正的情况下，是报酬本身，在负的情况下，为惩罚(penalty)，在0的情况下，无报酬。行动评价函数是确定某个状态下的行动的评价值的函数，也能够以表那样的表格形式表现，在Q学习中，称为Q函数、Q值、评价值等。Q学习是强化学习中经常使用的方法之一。以下，对Q学习进行说明，但代替地，强化学习也可以与Q学习不同。
在本实施方式的处理部60中，SOH估计部61以及报酬计算部62相当于环境，行动选择部63以及评价值表格64相当于智能体。评价值表格64相当于上述的Q函数，也称为行动评价信息。另外，智能体不限于一个，也能够使用多个智能体。由此，即使在大规模且复杂的环境(服务环境)下，也能够搜索最佳的系统运用方法。
行动选择部63基于评价值表格64，选择相对于蓄电元件的包含SOH(State OfHealth)的状态的、包含蓄电元件的负载状态的变更的行动。蓄电元件的负载状态包括蓄电元件充电时或放电时的电流、电压、电力等物理量。也能够在负载状态中包含蓄电元件的温度。负载状态的变更包括电流、电压、电力或温度等的变化模式(包括变动幅度、平均值、峰值等)、蓄电元件的使用场所的变更、使用状态的变更(例如，使用状态和保管状态之间的变更)等。考虑到多个蓄电元件分别存在个别的负载状态，蓄电元件的负载状态的变更相当于负载的分散。
在图7的例子中，行动选择部63从SOH估计部61获取在时间点t的状态st(例如SOHt)，选择行动at并输出。行动选择部63能够在评价值表格64中选择评价最高(例如Q值最大)的行动。行动的细节将后述。
行动选择部63具有作为状态获取部的功能，获取执行了所选择的行动时的蓄电元件的状态(SOH)。当基于由行动选择部63选择的行动而将蓄电元件的负载电力信息提供给SOH估计部61时，SOH估计部61输出在时间点t+1的状态st+1(例如SOHt+1)，状态从st而被更新为st+1。行动选择部63获取更新后的状态。行动选择部63具有作为报酬获取部的功能，并且获取由报酬计算部62计算出的报酬。
报酬计算部62计算执行了所选择的行动时的报酬。在行动选择部63使所希望的结果作用于SOH估计部61时，计算出较高的值(正值)。当报酬为0时，没有报酬，当报酬为负值时成为惩罚。在图7的例子中，报酬计算部62将报酬rt+1赋予给行动选择部63。报酬计算的详情将后述。
行动选择部63具有作为更新部的功能，根据获取的状态st+1以及报酬rt+1，更新评价值表格64。更具体而言，行动选择部63向使对于行动的报酬最大化的方向更新评价值表格64。由此，能够学习在环境的某个状态下期待最大的价值的行动。
通过反复进行上述处理来反复进行评价值表格64的更新，能够学习能够使报酬最大化的评价值表格64。
处理部60具有作为评价部的功能，能够基于更新后的评价值表格64(即学习完毕的评价值表格27)，执行包含蓄电元件的负载状态的变更的行动，评价蓄电元件的包含SOH的状态。由此，能够针对蓄电元件的包含SOH的状态，通过强化学习而得到包含负载状态的变更的行动，作为包含负载状态的变更的行动的结果，能够评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
在Q学习中的Q函数的更新能够通过式(1)来进行。
[数学式1]
Q(st，at)←Q(st，at)+α{rt+1+γ·maxQ(st+1，at+1)-Q(st，at)}…(1)
Q(st，at)←Q(st，at)+α{rt+1-Q(st，at)}…(2)
Q(st，at)←Q(st，at)+α{γ·maxQ(st+i，at+1)-Q(st，at)}…(3)
在此，Q是保存在状态s下的行动a的评价的函数或表格(例如评价值表格64)，例如，能够以将各状态s设为行、将各行动a设为列的矩阵形式来表示。
在式(1)中，st表示在时间点t的状态，at表示在状态st下能够取的行动，α表示学习率(其中，0＜α＜1)，γ表示折扣率(其中，0＜γ＜1)。学习率α也称为学习系数，是决定学习的速度(步骤尺寸)的参数。即，学习率α是调整评价值表格64的更新量的参数。折扣率γ是在更新评价值表格64时，决定对未来的状态的评价(报酬或惩罚)折扣多少来进行考虑的参数。即，是在某个状态下的评价与过去的状态下的评价有关系的情况下，确定以何种程度来折扣报酬或惩罚的参数。
在式(1)中，rt+1是作为行动的结果得到的报酬，在没有得到报酬的情况下，为0，在惩罚的情况下，为负值。在Q学习中，以式(1)的第2项、{rt+1+γ·maxQ(st+1，at+1)-Q(st，at)}成为0的方式，即评价值表格64的值Q(st，at)成为报酬(rt+1)与在下一状态st+1下可能的行动中最大的价值(γ·maxQ(st+1，at+1))之和的方式，更新评价值表格64。以使报酬的期待值与当前的行动评价的误差接近于0的方式更新评价值表格64。换言之，基于当前的Q(st，at)的值、和在执行了行动at后的状态st+1下可执行的行动中得到的最大评价值来修正(γ·maxQ(st+1,at+1))的值。
当在某个状态下执行了行动时，未必会得到报酬。例如，也有在反复几次行动后才得到报酬的情况。式(2)表示得到报酬时的Q函数的更新式，式(3)表示未得到报酬时的Q函数的更新式。
在Q学习的初始状态下，评价值表格64的Q值例如能够用随机数进行初始化。在Q学习的初始阶段，一旦报酬的期待值中产生差，就不能迁移到还没有经历过的状态，可能引起不能达到目标的事态。因此，在决定针对某个状态的行动的情况下，能够使用概率ε。具体而言，以某个概率ε从所有行动中随机地选择行动并执行，并能够以概率(1-ε)选择Q值最大的行动来执行。由此，不管Q值的初始状态如何，都能够适当地进行学习。
接着，分别对运输/物流/货运服务100、蓄电元件更换服务200以及固定蓄电元件运用监视服务300，说明强化学习以及蓄电元件的评价。首先，对运输/物流/货运服务100进行说明。
图8是表示运输/物流/货运服务100的服务区域的一例的示意图。服务区域是指使用电动车辆进行物流/货运服务的区域。在图8的例子中，将路网按10个地域(移动区域)C1、…、C10进行了划分，但也可以替代地，是n个地域C1、C2、…、Cn。
图9是表示每个地域的电动车辆的调配状态的一例的示意图。如图9所示，车辆ID为V0001～V0100的电动车辆被分配给地域C1。即，车辆ID为V0001～V0100的电动车辆在地域C1内用于物流/货运服务。同样地，车辆ID为V0101～V0200的电动车辆被分配给地域C2。即，车辆ID为V0101～V0200的电动车辆在地域C2内用于物流/货运服务。其他的地域也相同。即，使搭载了蓄电元件的电动车辆在将路网按多个地域划分后的一个地域内移动。
图10是表示电动车辆与搭载于电动车辆的蓄电元件之间的关系的示意图。如图10所示，车辆ID与识别蓄电元件的蓄电元件ID相对应。如图8所示，在将路网按多个地域划分了的情况下，被认为，考虑在某个特定的地域，坡道多、设置了红绿灯的交叉路口多、高速道路多、环境与其他地域不同，而搭载于电动车辆的蓄电元件的负载状态也不同。通过预先准备如图10所示的关系，能够掌握各蓄电元件在哪个地域中被使用。图9以及图10所示的信息可以存储在存储部53中。
图11是表示评价值表格64的结构的一例的示意图。评价值表格64以由蓄电元件的各状态和各行动构成的矩阵形式来表示，在矩阵形式的各要素中保存有在各状态下取其行动时的评价值。状态能够表示为SOHA{SOH1、SOH2、SOH3、…、SOHn}、SOHB{SOH1、SOH2、SOH3、…、SOHn}、…、SOHm{SOH1、SOH2、SOH3、…、SOHn}。这里，SOH1是在行动前配置在地域C1中的蓄电元件的SOH，SOH2是在行动前配置在地域C2中的蓄电元件的SOH，以下同样地，SOHn是在行动前配置在地域Cn中的蓄电元件的SOH。即，状态是处于各配置场所的全部蓄电元件的SOH。在SOHA和SOHB中，配置在各场所的蓄电元件的SOH不同。例如，SOHA{SOH1、SOH2、SOH3、…、SOHn}的SOH1与SOHB{SOH1、SOH2、SOH3、…、SOHn}的SOH1不同。另外，在SOHA和SOHB中，{SOH1、SOH2、SOH3、…、SOHn}的一部分也可以成为相同的SOH。
行动可以表示为配置a{C2、C1、C3、…、Cn}、配置b{C3、C2、C1、…、Cn}、…这样。由于将行动前的配置设为{C1、C2、C3、…、Cn}，所以配置a意味着将配置在地域C1中的蓄电元件配置在地域C2中，将配置在地域C2中的蓄电元件配置在地域C1中。另外，配置b意味着将配置在地域C1中的蓄电元件配置在地域C3中，将配置在地域C3中的蓄电元件配置在地域C1中。行动意味着改变(切换)负载(配置)与各SOH的蓄电元件的组合。行动在运输/物流/货运服务100中是地域的切换(配置模式的变更)。如后所述，行动在蓄电元件更换服务200中是保管状态的切换(配置模式的变更)，在固定蓄电元件运用监视服务300中是向不同的其他负载的切换(配置模式的变更)。
图12是表示评价值表格64的评价值的一例的示意图。在图12的例子中，将地域设为C1、C2、C3、C4、C5。行动前的状态SOHA设为SOHA{100、90、100、98、99}。即，在行动前分别配置在地域C1、C2、C3、C4、C5中的蓄电元件的SOH是100、90、100、98、99。在地域C1负载轻、地域C2负载重的情况下，如果没有地域的切换，则会像状态SOHA那样，地域C2的蓄电元件的SOH(90)成为比其他蓄电元件的SOH低的状态。
在状态SOHA中，如果选择了配置a的行动，则配置在了C1中的蓄电元件被配置在地域C2中，配置在了地域C2中的蓄电元件被配置在地域C1中，因此，行动后的蓄电元件的SOH的组合为{90、100、100、98、99}，SOH高的蓄电元件被配置给负载重的区域C2，所以，作为蓄电元件整体的SOH被维持得较高。
在状态SOHA中，如果选择了配置b的行动，则曾配置在了C1中的蓄电元件被配置在地域C3中，曾配置在了地域C3中的蓄电元件被配置在地域C1中，所以，行动后的蓄电元件的SOH的组合为{100、90、100、98、99}，SOH低的蓄电元件一直被配置给负载重的地域C2，所以不能较高地维持作为蓄电元件整体的SOH。因此，在仅考虑了对于该时间点的蓄电元件整体的SOH的报酬的情况下，评价值QAa成为比QAb高的值。
在Q学习中，能够更新(状态数s×行动数a)的尺寸的评价值表格64(也称为Q表格)，但能够替代地，采用以神经网络来表现Q函数的方法。
图13是表示本实施方式的神经网络模型的结构的一例的示意图。神经网络模型表示处理部60。图13所示的例子对应于图11所示的评价值表格64。神经网络模型包括输入层601、中间层602以及输出层603。输入层601的输入神经元的数量能够设为蓄电元件的状态的数量(例如，在SOHA、SOHB、…、SOHm的情况下，为m个)，向输入层601的输入神经元输入蓄电元件的状态(例如，SOHA、SOHB、…、SOHm)。
输出层603的输出神经元的数量可以设为行动的选项的数量。在图13中，输出神经元输出变更为配置模式a时的Q函数的值、变更为配置模式b时的Q函数的值、…、。
使用神经网络模型的机器学习(深层强化学习)可以如下进行。即，当将状态st输入到神经网络模型的输入神经元时，输出神经元输出Q(st，at)。这里，Q是保存在状态s下的行动a的评价的函数。Q函数的更新可以通过上述的式(1)来进行。
在式(1)中，rt+1是作为行动的结果得到的报酬，在没有得到报酬的情况下，为0，在惩罚的情况下，为负值。在Q学习中，以式(1)的第2项、{rt+1+γ·maxQ(st+1,at+1)－Q(st,at)}成为0的方式、即以Q函数的Q(st,at)成为报酬(rt+1)与在下一状态st+1下可能的行动中最大的价值(γ·maxQ(st+1,at+1))之和的方式，学习神经网络模型的参数。更新神经网络模型的参数，使得报酬的期待值与当前的行动评价的误差接近于0。换言之，基于当前的Q(st,at)的值、和在执行了行动at后的状态st+1下可执行的行动中得到的最大评价值，来修正(γ·maxQ(st+1,at+1))的值。
当在某个状态下执行了行动时，未必会得到报酬。例如，也有在反复几次行动后得到报酬的情况。式(2)表示在式(1)中避免发散的问题而得到报酬时的Q函数的更新式。式(3)表示在式(1)中未得到报酬时的Q函数的更新式。
能够适当地决定是使用图11所示的评价值表格64，还是使用图13所示的神经网络模型。
在运输/物流/货运服务100中的强化学习以及蓄电元件的评价中，行动包括从电动车辆进行移动的地域向与该地域不同的其他地域的切换。行动也包括不切换地域的情况。
控制部51具备作为输出部的功能，基于蓄电元件的包含SOH的状态的评价结果，输出包含蓄电元件的负载状态的变更的行动的指令。此时，指令可以向服务器101输出，或者也可以向各电动车辆输出。具体而言，指令包含将搭载了蓄电元件的电动车辆从当前的地域移动到哪个地域的切换指示。由此，针对蓄电元件的包含SOH的状态，通过强化学习得到包含负载状态的变更的行动，通过基于指令而进行蓄电元件的负载状态的变更，由此，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
图14是表示电动车辆被调配的地域的切换的一例的示意图。图14表示基于控制部51所输出的指令，某个电动车辆、即搭载在该电动车辆上的蓄电元件的负载状态的变更。如图14所示，切换信息按每个蓄电元件(电动车辆)，包含切换日、切换前配置模式、切换后配置模式、配置模式间距离、切换次数等信息。配置模式间距离是切换前配置模式与切换后配置模式之间的移动距离，距离计算的地域内的基准点能够考虑路网而适当确定。例如，也可以以交通量最多的交叉路口为基准。
在这种情况下，报酬计算部62具有作为第1报酬计算部的功能，能够计算基于伴随配置模式的切换的地域间的移动距离的报酬。例如，由于被认为存在移动距离越长则变更电动车辆的调配而伴随地域的切换的成本变得越高的倾向，所以能够以移动距离越长则使报酬越小，或者成为负的报酬(惩罚)的方式，进行计算。由此，能够抑制包含多个蓄电元件的系统整体的成本的增大。
另外，报酬计算部62具有作为第2报酬计算部的功能，能够计算基于切换的次数的报酬。例如，在作为包含多个蓄电元件的系统整体而优先进行将蓄电元件的平均SOH维持得较高的运用的情况下，能够以切换次数的增大引起的若干成本高为代价，以即使切换次数多然而报酬也不会变小的方式，或者以不会成为负(惩罚)的方式，进行计算。另一方面，在作为包含多个蓄电元件的系统整体而优先进行降低切换成本的运用的情况下，能够以切换次数的减少引起的蓄电元件的平均SOH的若干降低为代价，以切换次数越少则越成为比较大的值的报酬的方式进行计算。由此，能够实现最佳的运用。
行动选择部63基于所获取的状态st+1以及报酬rt+1来更新如图11所示的评价值表格64。更具体而言，行动选择部63向使对于行动的报酬最大化的方向来更新评价值表格64。由此，能够学习在环境的某个状态下期待最大的价值的行动。
通过反复进行上述处理来反复进行评价值表格64的更新，能够学习能够使报酬最大化的评价值表格64。
处理部60能够基于更新后的评价值表格64(即学习完毕的评价值表格27)，执行包含蓄电元件的负载状态的变更的行动，评价蓄电元件的包含SOH的状态。当使调配给某个地域的电动车辆在该区域内进行移动时，按每个地域，对于蓄电元件的负载的轻重不同，特定地域内的电动车辆的蓄电元件的劣化有可能提早。
通过利用强化学习来学习电动车辆进行移动的地域的切换，作为地域的切换(配置模式的变更)的结果，能够评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
接着，对蓄电元件更换服务200进行说明。
图15是表示蓄电元件更换服务200的服务内容的一例的示意图。在更换服务基地设有蓄电元件的充电设备，保管有成为充电完成(例如，SOC＝100％、95％等)的蓄电元件。用户例如将搭载了SOC降低了的蓄电元件(B0061)的电动车辆(V0030)带到更换服务基地时，能够接受将SOC降低了的蓄电元件(B0061)更换为充满电的蓄电元件(B0700)的服务的提供。从电动车辆(V0030)拆下的蓄电元件(B0061)通过充电设备被充电至成为充满电为止，并被保管。虽然未图示，但在蓄电元件更换服务200中也能够包括利用快递进行蓄电元件的更换的服务。
在蓄电元件更换服务200中，也能够使用图11所例示的评价值表格64。在蓄电元件更换服务200的情况下，通过替代地域{C1、C2、C3、…、Cn}而将{C1、C2、…、C(n-4)}设为搭载状态，将{C(n-3)、C(n-2)、C(n-1)、Cn}设为保管状态，从而通过配置a、配置b、…，能够表现搭载状态与保管状态之间的切换。其他与图11的例子相同，所以省略说明。
也可以替代评价值表格64，使用图13中例示的神经网络模型来更新Q函数。在这种情况下，输出神经元输出切换到了搭载状态时的Q函数的值、切换到了保管状态时的Q函数的值。
在蓄电元件更换服务200中的强化学习以及蓄电元件的评价中，行动包括蓄电元件被搭载于电动车辆的搭载状态和从电动车辆卸下后的保管状态之间的切换。
控制部51能够基于蓄电元件的包含SOH的状态的评价结果，输出包含蓄电元件的负载状态的变更的行动的指令。
图16是表示蓄电元件的更换的一例的示意图。图16表示基于控制部51所输出的指令，搭载在电动车辆上的蓄电元件的负载状态的变更。如图16所示，更换信息、即搭载状态和保管状态之间的切换信息，按每个蓄电元件(电动车辆)，包含切换日、状态、期间、切换次数等信息。关于期间，在状态为“搭载”的情况下，是在搭载状态下的期间；在状态为“保管”的情况下，是在保管状态下的期间。
报酬计算部62能够计算基于切换的次数的报酬。例如，在作为包含多个蓄电元件的系统整体而优先进行将蓄电元件的平均SOH维持得较高的运用的情况下，能够以切换次数的增大引起的若干成本高为代价，以即使切换次数多然而报酬也不会变小的方式，或者以不会成为负(惩罚)的方式进行计算。另一方面，在作为包含多个蓄电元件的系统整体而优先进行降低切换成本的运用的情况下，能够以切换次数的减少引起的蓄电元件的平均SOH的若干降低为代价，以切换次数越少则越成为比较大的值的报酬的方式进行计算。由此，能够实现最佳的运用。
行动选择部63基于所获取的状态st+1以及报酬rt+1来更新评估值表格64。更具体而言，行动选择部63向使对于行动的报酬最大化的方向而更新评价值表格64。由此，能够学习在环境的某个状态下期待最大价值的行动。
通过反复进行上述处理来反复进行评价值表格64的更新，能够学习能够使报酬最大化的评价值表格64。
处理部60能够基于更新后的评价值表格64(即学习完毕的评价值表格27)，执行包含蓄电元件的负载状态的变更的行动，来评价蓄电元件的包含SOH的状态。在搭载状态和保管状态下，蓄电元件的负载状态的轻重不同。
通过利用强化学习来学习搭载状态和保管状态之间的切换，作为搭载状态和保管状态的切换结果，能够评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
接着，对固定蓄电元件运用监视服务300进行说明。
图17是表示固定蓄电元件运用监视服务300中的蓄电元件的负载状态的变更的一例的示意图。如图17所示，多个蓄电元件(B040、…、B044)经由切换电路与多个负载(L1、…、L5)连接。例如，设为蓄电元件(B040)与负载(L1)连接，蓄电元件(B041)与负载(L2)连接，蓄电元件(B042)与负载(L3)连接，蓄电元件(B043)与负载(L4)连接，蓄电元件(B044)与负载(L5)连接。即，蓄电元件与多个负载中的一个负载连接。负载(L1、…、L5)例如是电气设备等。
电气设备(负载)根据动作状态或环境状态而需要的电力发生变动，对蓄电元件所要求的电力也变动，因此，根据与蓄电元件连接的各个负载，蓄电元件的负载状态的轻重不同。当多个蓄电元件的每一个上固定地连接负载时，负载对于蓄电元件的轻重根据负载而不同，特定的蓄电元件的劣化有可能提早。
在固定蓄电元件运用监视服务300中，也能够使用图11所例示的评价值表格64。在固定蓄电元件运用监视服务300的情况下，替代地域{C1、C2、C3、…、Cn}而将{C1、C2、C3、…、Cn}分别作为负载{L1、L2、L3、…、Ln}即可。通过配置a、配置b、…，能够表现负载的切换。在各状态SOHA、SOHB、…、中，SOH1是在行动前与负载L1连接了的蓄电元件的SOH，SOH2是在行动前与负载L2连接了的蓄电元件的SOH，以下同样地，SOHn是在行动前与负载Ln连接了的蓄电元件的SOH。其他与图11的例子相同，所以省略说明。
替代评价值表格64，也可以使用图13中例示的神经网络模型来更新Q函数。在这种情况下，输出神经元将连接到了负载L1时的Q函数的值、连接到了负载L2时的Q函数的值、…、连接到了负载Ln时的Q函数的值进行输出。
在固定蓄电元件运用监视服务300中的强化学习以及蓄电元件的评价中，行动包括从与蓄电元件连接的负载向与该负载不同的其他负载的切换。
图18是表示负载的切换的一例的示意图。图18表示基于控制部51所输出的指令的蓄电元件的负载状态的变更。如图18所示，切换信息按每个蓄电元件包含切换日、切换前负载、切换后负载、使用期间、切换次数等信息。使用期间是在将蓄电元件连接到了切换前的负载的状态下使用了的期间。
报酬计算部62能够计算基于切换的次数的报酬。例如，在作为包含多个蓄电元件的系统整体而优先进行将蓄电元件的平均SOH维持得较高的运用的情况下，能够以切换次数的增大引起的若干成本高为代价，以即使切换次数多然而报酬也不会变小的方式，或者以不会成为负(惩罚)的方式进行计算。另一方面，在作为包含多个蓄电元件的系统整体而优先进行降低切换成本的运用的情况下，能够以切换次数的减少引起的蓄电元件的平均SOH的若干降低为代价，能够以切换次数越少则越成为比较大的值的报酬的方式进行计算。由此，能够实现最佳的运用。
行动选择部63基于获取的状态st+1以及报酬rt+1，更新评价值表格64。更具体而言，行动选择部63向使对于行动的报酬最大化的方向而更新评价值表格64。由此，能够学习在环境的某个状态下期待最大的价值的行动。
通过反复进行上述处理而反复进行评价值表格64的更新，能够学习能够使报酬最大化的评价值表格64。
处理部60能够基于更新后的评价值表格64(即学习完毕的评价值表格27)，执行包含蓄电元件的负载状态的变更的行动，评价蓄电元件的包含SOH的状态。通过利用强化学习来学习负载的切换，作为负载的切换结果，能够评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为整体而降低成本。
对于运输/物流/货运服务100、蓄电元件更换服务200以及固定蓄电元件运用监视服务300中的任一个，报酬计算部62均具有作为第3报酬计算部的功能，能够基于蓄电元件的SOH的降低程度来计算报酬。
图19是表示强化学习的状态迁移的情形的第1例的示意图。在图19中，纵轴表示SOH，横轴表示时间。SOH表示全部蓄电元件的SOH。在图19中，为了方便，图示了时间点tn、t(n+1)这两个时间点。标号A、B表示学习过程的一例。SOH的降低程度例如能够设为相对于过去的SOH(在图19的例子中为时间点tn的SOH)，当前的SOH(在图19的例子中为时间点t(n+1)的SOH)以何种程度减少了的减少率。例如，如由标号B所示那样，在SOH的降低程度大于阈值Th(t)的情况下(减少率大的情况下)，能够将报酬设为负值(惩罚)。另外，如由标号A所示那样，在SOH的降低程度小于阈值Th(t)的情况下(减少率小的情况下)，能够将报酬设为正值。由此，能够抑制蓄电元件的SOH的降低、并且实现蓄电元件的最佳运用。
图20是表示强化学习的状态迁移的情形的第2例的示意图。在图20中，为了方便，图示了时间点t0、t1、t2…、t7这8个时间点。SOH表示全部蓄电元件的SOH。在实际的强化学习中，时间点的数量也替代地包括图20的例子以外的情况。标号S1、S2、S3表示学习过程的一例，标号S1的学习表示在时间点t7，SOH未达到EOL的情况(在每个时间点选择行动而执行的结果的状态)；标号S2的学习表示在时间点t6下SOH未达到EOL，但在时间点t7低于EOL的情况；标号S3的学习表示在时间点t5下SOH低于EOL，学习暂时结束的情况。通过强化学习，不采用在标号S2以及S3中学习到的行动，而采用在标号S1中学习到的行动作为运用方法的一例。
图21是表示从运用开始前起使用SOH估计部61的情况下的、基于通过强化学习得到的运用方法的SOH的推移的一例的示意图。图21表示从运用开始时起使用SOH估计部61的情况。SOH表示全部蓄电元件的SOH。在图21的例子中，期待寿命设为10年。在图中，由“切换数多(SOH优先)”所示的曲线图表示以作为包含多个蓄电元件的系统整体的蓄电元件的平均SOH能够较高地维持的方式进行运用的情况。另外，由“切换数少(成本优先)”表示的曲线图表示以能够减少多个蓄电元件各自的负载状态的切换(变更)来降低切换成本的方式进行运用的情况。由于从运用开始时起使用SOH估计部61，所以能够在运用前估计最佳的运用方法。另外，在负载或环境的切换中产生大的成本的情况下，通过将该成本作为报酬(惩罚)进行强化学习，能够求出包含切换所需要的成本的最佳运用方法。进而，通过比较最佳运用中的各系统的评价(例如，10年后的SOH等)，能够在运用当初选定最佳的系统设计。在此，系统设计例如包括在系统整体中使用的蓄电元件的种类、数量、额定值等设计，也包括各种参数等。
图22是表示使用运用初始阶段的数据生成寿命预测模拟器的情况下的、基于通过强化学习得到的运用方法的SOH的推移的一例的示意图。SOH表示全部蓄电元件的SOH。在图22所示的寿命预测模拟器生成期间，控制部51获取(收集)蓄电元件的负载电力信息以及SOH。
控制部51具有作为生成部的功能，基于获取到的负载电力信息以及SOH，生成寿命预测模拟器(也称为SOH模拟器)。例如，在包含多个蓄电元件的系统的运用开始后，收集获取到的负载电力信息以及蓄电元件的SOH，生成针对收集到的负载电力信息而估计包含收集到的蓄电元件的SOH的状态这样的SOH模拟器。具体而言，设定用于估计SOH的参数。例如，蓄电元件的规定期间后的劣化值Qdeg能够利用通电劣化值Qcur与非通电劣化值Qcnd之和表示，如果用t表示经过时间，则非通电劣化值Qcnd例如能够用
Figure BDA0003121346950000271
求出。通电劣化值Qcur例如能够通过Qcur＝K2×(SOC的变动量)来求出。这里，要设定的参数是系数K1、系数K2，用SOC的函数来表示。SOH模拟器的生成也可以在与蓄电元件评价服务器50不同的开发环境中生成。
由此，能够省去在系统运用前开发对蓄电元件的SOH进行估计的SOH模拟器的工夫。另外，由于收集系统的运用开始后的负载电力信息以及蓄电元件的包含SOH的状态而生成SOH模拟器，所以能够期待与运用环境相符合的高精度的SOH模拟器的开发。
另外，在生成SOH模拟器后，能够估计将来经过规定期间后的SOH。另外，如果基于估计出的SOH进一步计算出经过规定期间后的劣化值，则能够进一步估计经过该规定期间后的SOH。通过每经过规定期间而反复进行SOH的估计，还能够估计在蓄电元件的期待寿命(例如，10年、15年等)时蓄电元件是否达到寿命(SOH是否为EOL以下)。
图23是表示不使用寿命预测模拟器的情况下的、基于通过强化学习得到的运用方法的SOH的推移的一例的示意图。SOH表示全部蓄电元件的SOH。可以省去开发寿命预测模拟器(SOH模拟器)的工夫。由于不使用SOH模拟器，所以能够不依赖于SOH模拟器的精度地评价蓄电元件的SOH。另一方面，由于不能在运用开始前探索最佳的运用方法，所以不能在运用开始前进行最佳的系统设计。在运用初始阶段，由于成为仅基于强化学习的运用探索，所以根据情况，有可能选择蓄电元件的SOH的降低程度变大这样的不期望的运用方法。但是，能够扩大关于运用方法的用户的选项。
接着，对本实施方式的强化学习的处理进行说明。
图24是表示本实施方式的强化学习的处理过程的一例的流程图。处理部60将评价值表格64的评价值(Q值)设定为初始值(S11)。初始值的设定例如能够使用随机数。处理部60获取状态st(S12)，选择在状态st下可取的行动at并进行执行(S13)。处理部60获取作为行动at的结果而得到的状态st+1(S14)，并获取报酬rt+1(S15)。另外，也有报酬为0(无报酬)的情况。
处理部60使用上述式(2)或式(3)，更新评价值表格64的评价值(S16)，判定是否得到了蓄电元件的运用结果(S17)。在未得到蓄电元件的运用结果的情况下(S17中为“否”)，处理部60将状态st+1设为状态st(S18)，继续步骤S13以后的处理。在得到了蓄电元件的运用结果的情况下(S17中“是”)，处理部60输出蓄电元件的评价结果(S19)，结束处理。
关于图24所示的处理，在每次变更蓄电元件的系统设计参数时，能够使用变更后的系统设计参数来反复实施。即，处理部60能够获取蓄电元件的系统设计参数。蓄电元件的系统设计参数包括在系统整体中使用的蓄电元件的种类、数量、额定值等，例如包括蓄电模块的结构或数量、电池组(bank)的结构或数量等系统设计所需的各种参数。蓄电元件的设计参数在系统的实际运用之前被预先设定。通过根据设计参数来评价蓄电元件的包含SOH的状态，能够掌握例如如果采用怎样的设计参数，能够得到考虑了蓄电元件的劣化的、系统整体的最佳运用方法。
处理部60例如能够通过组合CPU(例如，安装了多个处理器内核的多处理器等)、GPU(图形处理单元(Graphics Processing Units))、DSP(数字信号处理器(DigitalSignal Processors))、FPGA(现场可编程门阵列(Field-Programmable Gate Arrays))等硬件来构成。处理部60也可以由虚拟机或量子计算机等构成。智能体是存在于计算机上的虚拟的机器，智能体的状态通过参数等而被变更。
本实施方式的控制部51以及处理部60也能够使用具备CPU(处理器)、GPU、RAM(存储器)等的通用计算机来实现。例如，能够通过记录介质读取部54(例如，光盘驱动器)读取记录在图2所示的记录介质MR(例如，CD-ROM等光学可读光盘存储介质)中的计算机程序或数据(例如，学习完毕的Q函数或Q值等)，并保存在RAM中。也可以保存在硬盘(未图示)中，并在执行计算机程序时保存在RAM中。通过将确定了如图24所示的各处理的过程的计算机程序加载到计算机所具备的RAM(存储器)中，由CPU(处理器)执行计算机程序，由此，能够在计算机上实现控制部51以及处理部60。确定了本实施方式的强化学习算法的计算机程序以及通过强化学习而得到的Q函数或Q值可以记录在记录介质中并流通，或者也可以通过通信网络1向所需的装置发布并安装。
在上述实施方式中，作为强化学习的一例，对Q学习进行了说明，但也可以替代地，使用其他的TD学习(时序差分学习(Temporal Difference Learning))等其他的强化学习算法。例如，可以使用如Q学习那样不更新行动的价值而进行状态的价值的更新的学习方法。在该方法中，利用V(st)<－V(st)+α·δt这样的式子来更新当前的状态St的价值V(st)。在此，δt＝rt+1+γ·V(st+1)－V(st)，α是学习率，δt是TD误差。
在上述的实施方式中，是探索包含在运输/物流/货运服务100、蓄电元件更换服务200以及固定蓄电元件运用监视服务300中使用的多个蓄电元件的系统的最佳运用方法的结构，但是本实施方式也能够提供给能量管理系统(EMS：Energy Management System)。在EMS中，为了实现电力控制的目标值，需要EMS内的多个蓄电元件的充放电算法。在EMS中，作为主要的范围，有管理街道或地域的CEMS(社区能源管理系统(Community EnergyManagement System))、大厦整体的BEMS(建筑能源管理系统(Building EnergyManagement System))、工厂的FEMS(工厂能源管理系统(Factory Energy ManagementSystem))、家庭的HEMS(家庭能源管理系统(Home Energy Management System))等。通过将本实施方式应用于这些各种EMS，能够针对在EMS中使用的蓄电元件的包含SOH的状态，通过强化学习得到包含负载状态的变更(例如充放电算法)的行动，作为包含负载状态的变更的行动的结果，评价蓄电元件的SOH。通过对多个蓄电元件分别进行评价，能够在考虑蓄电元件的劣化的基础上最佳地分散蓄电元件的负载，作为各EMS整体而降低成本。
实施方式在所有方面都是例示而不是限制。本发明的范围由权利要求书表示，包括与权利要求书等同的含义和范围内的所有变更。
标号说明
50 蓄电元件评价服务器
51 控制部
52 通信部
53 存储部
54 记录介质读取部
60 处理部
61 SOH估计部
62 报酬计算部
63 行动选择部
64 评价值表格。

Claims (17)

1.一种蓄电元件评价装置，包括：
行动选择部，基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动；
状态获取部，获取执行了由所述行动选择部选择的行动时的所述蓄电元件的状态；
报酬获取部，获取执行了由所述行动选择部选择的行动时的报酬；
更新部，基于由所述状态获取部获取的状态以及由所述报酬获取部获取的报酬，更新所述行动评价信息；以及
评价部，执行基于由所述更新部更新后的行动评价信息的行动，评价所述蓄电元件的状态。
2.根据权利要求1所述的蓄电元件评价装置，其中，
使搭载了所述蓄电元件的移动体在多个移动区域中的一个移动区域内移动，
所述行动包括从所述移动体进行移动的移动区域向与该移动区域不同的其他移动区域的切换。
3.根据权利要求2所述的蓄电元件评价装置，其中，
包含第1报酬计算部，该第1报酬计算部计算基于伴随所述移动区域的切换的移动体区域间的距离的报酬，
所述报酬获取部获取由所述第1报酬计算部计算出的报酬。
4.根据权利要求1所述的蓄电元件评价装置，其中，
所述行动包括所述蓄电元件被搭载于移动体的搭载状态和从移动体卸下后的保管状态的切换。
5.根据权利要求1所述的蓄电元件评价装置，其中，
所述蓄电元件与多个负载中的一个负载连接，
所述行动包括从与所述蓄电元件连接的负载向与该负载不同的其他负载的切换。
6.根据权利要求2至5中任一项所述的蓄电元件评价装置，其中，
包括第2报酬计算部，该第2报酬计算部计算基于所述切换的次数的报酬，
所述报酬获取部获取由所述第2报酬计算部计算出的报酬。
7.根据权利要求1至6中任一项所述的蓄电元件评价装置，其中，
包括第3报酬计算部，该第3报酬计算部计算基于所述蓄电元件的SOH的降低程度的报酬，
所述报酬获取部获取由所述第3报酬计算部计算出的报酬。
8.根据权利要求1至7中任一项所述的蓄电元件评价装置，其中，
包括第4报酬计算部，该第4报酬计算部基于所述蓄电元件的状态是否达到了寿命来计算报酬，
所述报酬获取部获取由所述第4报酬计算部计算出的报酬。
9.根据权利要求1至8中任一项所述的蓄电元件评价装置，其中，
包括：
电力信息获取部，获取所述蓄电元件的负载电力信息；
SOC推移估计部，基于由所述电力信息获取部获取的负载电力信息以及由所述行动选择部选择的行动，估计所述蓄电元件的SOC的推移；以及
SOH估计部，基于由所述SOC推移估计部估计出的SOC的推移，估计所述蓄电元件的SOH，
所述评价部基于所述SOH估计部估计出的SOH，来评价所述蓄电元件的包含SOH的状态。
10.根据权利要求1至8中任一项所述的蓄电元件评价装置，其中，
包括：
电力信息获取部，获取所述蓄电元件的负载电力信息；
SOH获取部，获取所述蓄电元件的SOH；以及
生成部，基于由所述电力信息获取部获取的负载电力信息以及由所述SOH获取部获取的SOH，生成估计所述蓄电元件的SOH的SOH估计部，
所述评价部基于所述生成部生成的SOH估计部的SOH估计，来评价所述蓄电元件的包含SOH的状态。
11.根据权利要求9或10所述的蓄电元件评价装置，其中，
包括温度信息获取部，该温度信息获取部获取所述蓄电元件的环境温度信息，
所述SOH估计部基于所述环境温度信息来估计所述蓄电元件的SOH。
12.根据权利要求1至11中任一项所述的蓄电元件评价装置，其中，
包括参数获取部，该参数获取部获取所述蓄电元件的设计参数，
所述评价部根据由所述参数获取部获取的设计参数，来评价所述蓄电元件的状态。
13.根据权利要求1至12中任一项所述的蓄电元件评价装置，其中，
包括输出部，该输出部基于所述评价部中的所述蓄电元件的状态的评价结果，输出包含所述蓄电元件的负载状态的变更的行动的指令。
14.一种计算机程序，使计算机执行如下处理：
基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动的处理；
获取执行了所选择的行动时的所述蓄电元件的状态的处理；
获取执行了所选择的行动时的报酬的处理；
基于获取的状态以及报酬，更新所述行动评价信息的处理；以及
执行基于更新后的行动评价信息的行动，评价所述蓄电元件的状态的处理。
15.一种蓄电元件评价方法，其中，
基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动；
获取执行了所选择的行动时的所述蓄电元件的状态；
获取执行了所选择的行动时的报酬；
基于所获取的状态以及报酬，更新所述行动评价信息；以及
执行基于更新后的行动评价信息的行动，评价所述蓄电元件的状态。
16.一种学习方法，其中，
基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动；
获取执行了所选择的行动时的所述蓄电元件的状态；
获取执行了所选择的行动时的报酬；以及
基于所获取的报酬，更新所述行动评价信息，学习与所述蓄电元件的状态对应的行动。
17.一种生成方法，其中，
基于行动评价信息，选择包含蓄电元件的负载状态的变更的行动；
获取执行了所选择的行动时的所述蓄电元件的状态；
获取执行了所选择的行动时的报酬；以及
基于所获取的报酬，更新所述行动评价信息来生成所述行动评价信息。
CN201980084253.2A 2018-10-31 2019-10-31 蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法及生成方法 Pending CN113227810A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-205734 2018-10-31
JP2018205734 2018-10-31
PCT/JP2019/042707 WO2020090949A1 (ja) 2018-10-31 2019-10-31 蓄電素子評価装置、コンピュータプログラム、蓄電素子評価方法、学習方法及び生成方法

Publications (1)

Publication Number Publication Date
CN113227810A true CN113227810A (zh) 2021-08-06

Family

ID=70464662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084253.2A Pending CN113227810A (zh) 2018-10-31 2019-10-31 蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法及生成方法

Country Status (5)

Country Link
US (1) US20220041078A1 (zh)
EP (1) EP3875976A4 (zh)
JP (1) JP7380585B2 (zh)
CN (1) CN113227810A (zh)
WO (1) WO2020090949A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7108579B2 (ja) * 2019-06-03 2022-07-28 本田技研工業株式会社 管理装置、管理方法、およびプログラム
JP7314822B2 (ja) * 2020-02-06 2023-07-26 トヨタ自動車株式会社 バッテリ劣化判定装置、バッテリ劣化判定方法、及びバッテリ劣化判定プログラム
DE102020214917A1 (de) * 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung des Gesundheitszustands eines elektrischen Energiespeichers, Computerprogrammprodukt und maschinenlesbares Speichermedium
SE2151358A1 (en) * 2021-11-05 2023-05-06 Centre Nat Rech Scient Joint optimization of routes and driving parameters for cycle degradation minimization in electric vehicles

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4178898B2 (ja) * 2002-10-10 2008-11-12 新神戸電機株式会社 電池状態検知システム
US8626565B2 (en) * 2008-06-30 2014-01-07 Autonomous Solutions, Inc. Vehicle dispatching method and system
EP2290387A3 (en) * 2009-08-31 2016-11-16 Kabushiki Kaisha Toshiba Apparatus and method for establishing battery value index
JP5467010B2 (ja) * 2010-07-22 2014-04-09 ニチコン株式会社 学習型蓄電池マネジメントシステム
EP2899837A4 (en) * 2012-09-20 2016-06-29 Sekisui Chemical Co Ltd OPERATING CONTROL DEVICE FOR ACCUMULATOR, OPERATING CONTROL PROCEDURE FOR ACCUMULATOR AND PROGRAM
WO2014083856A1 (ja) * 2012-11-30 2014-06-05 三洋電機株式会社 電池管理装置、電源装置およびｓｏｃ推定方法
JP6301730B2 (ja) * 2013-10-04 2018-03-28 株式会社東芝 電動車両の運行管理装置及び運行計画立案方法
JP6374747B2 (ja) * 2014-09-29 2018-08-15 積水化学工業株式会社 電力管理システム及び電力管理方法
US20160105044A1 (en) * 2014-10-08 2016-04-14 Panasonic Intellectual Property Management Co., Ltd. Power-storage-system control method and power-storage-system control apparatus
JP6134438B1 (ja) * 2015-07-31 2017-05-24 株式会社東芝 蓄電池評価装置、蓄電システムおよび蓄電池評価方法
JP6565490B2 (ja) 2015-08-27 2019-08-28 株式会社デンソー 車両の使用予測システム
US9948119B2 (en) * 2016-05-05 2018-04-17 Inventus Holdings, Llc Control of parallel battery utilization
JP7062307B2 (ja) * 2017-12-27 2022-05-06 Ｆｕｔｕｒｅ Ｓｃｉｅｎｃｅ Ｒｅｓｅａｒｃｈ株式会社 二次電池管理装置および二次電池管理プログラム
TWI704740B (zh) * 2017-12-29 2020-09-11 英屬開曼群島商睿能創意公司 提供置於裝置交換站的複數個能源儲存裝置的方法、裝置交換站及伺服器
MX2020013312A (es) * 2018-06-07 2021-06-08 Deka Products Lp Sistema y método para la ejecución de servicios públicos distribuidos.
GB201810755D0 (en) * 2018-06-29 2018-08-15 Univ Birmingham Vehicle power management system and method
US10804702B2 (en) * 2018-10-11 2020-10-13 Centrica Business Solutions Belgium Self-organizing demand-response system
AU2020368358A1 (en) * 2019-10-18 2022-04-21 Off-World, Inc. Systems and methods for industrial robotics

Also Published As

Publication number Publication date
US20220041078A1 (en) 2022-02-10
EP3875976A1 (en) 2021-09-08
JPWO2020090949A1 (ja) 2021-10-14
JP7380585B2 (ja) 2023-11-15
WO2020090949A1 (ja) 2020-05-07
EP3875976A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN113227810A (zh) 蓄电元件评价装置、计算机程序、蓄电元件评价方法、学习方法及生成方法
US11325494B2 (en) Systems, methods, and storage media for determining a target battery charging level for a drive route
JP6129701B2 (ja) 充電管理装置、充電管理システムおよび充電管理方法
CN102428379B (zh) 蓄电设备的状态检测方法及其装置
EP3850551A1 (en) Systems and methods for managing energy storage systems
CN112477635A (zh) 一种电池的电量补充方法、装置、设备及存储介质
US11010503B2 (en) Method and system providing temporal-spatial prediction of load demand
CN111587510A (zh) 二次电池管理装置、二次电池以及二次电池管理程序
CN113325316A (zh) 信息计算系统和信息计算方法
CN111542851A (zh) 二次电池管理装置及二次电池管理程序
US11835589B2 (en) Method and apparatus for machine-individual improvement of the lifetime of a battery in a battery-operated machine
CN109324294A (zh) 数据处理方法及其装置
US20230303091A1 (en) Simulation-based optimization framework for controlling electric vehicles
CN112529608A (zh) 信息处理系统以及程序
WO2016200319A1 (en) A method and a monitoring unit for monitoring a battery system
Azadeh et al. Electrification of a bus system with fast charging stations: Impact of battery degradation on design decisions
US20240059170A1 (en) Dynamic multiple bi-directional supply and demand matching for ev charging
CN115803987A (zh) 信息处理方法以及信息处理系统
EP4390793A1 (en) A method and system for electrical energy storage maintenance on fleet level
Chauhan et al. Scheduling of Electric Vehicle’s Power in V2G and G2V Modes Using an Improved Charge–Discharge Opportunity-Based Approach
US11544803B2 (en) Method and device for controlling portable energy storage system
CN113978303B (zh) 一种电动汽车的充电方法和系统
US20240001800A1 (en) Method and system for determining an electrical energy storage pack replacement configuration
CN116373680A (zh) 运行具有可替换的设备电池组的供电设备的方法和装置以及具有预测性分派的电池组更换站
CN117852787A (zh) 服务器、系统和管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination