CN115313447A - 一种混合储能系统充放电状态实时优化控制方法 - Google Patents

一种混合储能系统充放电状态实时优化控制方法 Download PDF

Info

Publication number
CN115313447A
CN115313447A CN202211231237.1A CN202211231237A CN115313447A CN 115313447 A CN115313447 A CN 115313447A CN 202211231237 A CN202211231237 A CN 202211231237A CN 115313447 A CN115313447 A CN 115313447A
Authority
CN
China
Prior art keywords
energy storage
power
target
sample
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211231237.1A
Other languages
English (en)
Other versions
CN115313447B (zh
Inventor
杨之乐
江俊杰
刘祥飞
郭媛君
吴承科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211231237.1A priority Critical patent/CN115313447B/zh
Publication of CN115313447A publication Critical patent/CN115313447A/zh
Priority to PCT/CN2022/137722 priority patent/WO2024077752A1/zh
Application granted granted Critical
Publication of CN115313447B publication Critical patent/CN115313447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/003—Load forecast, e.g. methods or systems for forecasting future load demand
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/004—Generation forecast, e.g. methods or systems for forecasting future energy generation
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/22—The renewable source being solar energy
    • H02J2300/24—The renewable source being solar energy of photovoltaic origin
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy
    • Y02E10/56—Power conversion systems, e.g. maximum power point trackers

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种混合储能系统充放电状态实时优化控制方法，方法包括：获取目标电网在目标时段的用电负荷预测功率以及目标时段的光伏发电预测功率；基于目标电网的储能系统的各个储能件的性能数据获取状态约束数据，状态约束数据包括储能系统的各个储能件可执行的充放电状态的约束条件；将状态约束数据、用电负荷预测功率和光伏发电预测功率输入至深度强化学习模型中，获取深度强化学习模型输出的目标控制方案，根据目标控制方案控制储能系统的各个储能件在目标时段内的充放电状态。本发明利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，可以降低火电的使用率，也可以避免光伏发电的浪费，更加环保。

Description

一种混合储能系统充放电状态实时优化控制方法
技术领域
本发明涉及新能源技术领域，特别涉及一种混合储能系统充放电状态实时优化控制方法。
背景技术
光伏发电已经有大面积应用，但是光伏发电受日照条件的影响大，在一天的不同时段内光伏发电功率会存在较大的波动，经常会产生光伏发电功率与用电负荷功率不匹配的问题，当光伏发电功率小于用电负荷功率时，需要火电作为补充，当光伏发电功率大于用电负荷功率时，弃电动作显然会造成能源的浪费，不利于环保。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种混合储能系统充放电状态实时优化控制方法，旨在解决现有技术中光伏发电功率与用电负荷功率不匹配时采用火电补充或者对光伏发电进行弃电不利于环保的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种混合储能系统充放电状态实时优化控制方法，所述方法包括：
获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：
根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；
获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：
将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；
其中，所述神经网络模型为CNN模型。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：
基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；
基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；
其中，所述状态约束数据包括第一约束条件和第二约束条件；
所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；
所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。
所述的混合储能系统充放电状态实时优化控制方法，其中，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同；
所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：
基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；
计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；
计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；
根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；
对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
所述的混合储能系统充放电状态实时优化控制方法，其中，所述样本电网中的储能件包括锂电池和储氢设备，所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：
获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；
将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；
对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；
对所述第一分值和所述第二分值求和，得到所述第三奖励值。
本发明的第二方面，提供一种混合储能系统充放电状态实时优化控制装置，包括：
预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
与现有技术相比，本发明提供了一种混合储能系统充放电状态实时优化控制方法，所述的混合储能系统充放电状态实时优化控制方法，首先对下一时段内的光伏发电功率以及用户负荷功率进行预测，再根据预测结果，采用强化学习模型选择储能系统中各个储能件的在下一时段内各个时刻的充放电状态的控制方案，这样利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，可以降低火电的使用率，也可以避免光伏发电的浪费，更加环保。
附图说明
图1为本发明提供的混合储能系统充放电状态实时优化控制方法的实施例的流程图；
图2为本发明提供的混合储能系统充放电状态实时优化控制装置的实施例的结构原理图；
图3为本发明提供的终端的实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的混合储能系统充放电状态实时优化控制方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的混合储能系统充放电状态实时优化控制方法对储能系统中的储能件进行控制，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
实施例一
如图1所示，所述混合储能系统充放电状态实时优化控制方法的一个实施例中，包括步骤：
S100、获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率。
在实际应用中，对所述目标电网采用时段控制，即在每个时段结束之前，根据该时段以及之前的时段中的用电数据确定下一时段内的储能系统控制策略。所述目标时段的时长可以根据所述目标电网的用电设备复杂度来确定，可以为1个小时、半个小时或者其他的时长。具体地，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：
根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；
获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
所述目标时段对应的历史时段为所述目标时段前的N天内与所述目标时段在一天内的时段位置相同的时段，例如所述目标时段为7点到8点，那么选取所述目标时段所在日期的前N个日期每天7点到8点的实际用电负荷功率来预测所述目标时段内的用电负荷功率，为了提升准确性，所述历史时段的工作日属性和所述目标时段的工作日属性相同，也就是说，当所述目标时段在工作日时，所述目标时段对应的历史时段也是在工作日内的时段，当所述目标时段在休息日时，所述目标时段对应的历史时段也是在休息日内的时段。
在一种可能的实现方式中，可以通过统计所述目标时段对应的历史时段内的实际用电负荷功率，取均值得到所述目标时段的所述用电负荷预测功率，但是这种方式的准确性不高，在本实施例中，预先训练一神经网络模型用于预测用电负荷。具体地，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：
将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；
其中，所述神经网络模型为CNN模型。
所述神经网络模型采用大量的训练数据训练得到，以学习到所述目标电网中的用户用电的变化规律。
而光伏发电的主要影响因素是日照条件，因此，在本实施例中，根据所述时段时段对应的天气预测数据来获取所述光伏发电预测规律。
请再次参阅图1，本实施例提供的方法，还包括步骤：
S200、基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件。
在得到所述用电负荷预测功率以及所述光伏发电预测功率后，虽然在理论上，可以直接根据储能件的充放电功率来获取到使得电网的供电功率与所述用电负荷预测功率相匹配的储能件充放电状态。然而，不同的储能件，例如电池和储氢设备，充放电动作以及不同的充放电时长带来的代价不同，并且，在实际应用中，并不是需要严格要求用电负荷功率和电网的供电功率完全一致，可以接受二者之间有一定的差异，也就是说，在得到所述用电负荷预测功率以及所述光伏发电预测功率之后，实际上有多种储能件的充放电状态的控制方案都是可行的，本申请中，为了寻找多种储能件的充放电状态的控制方案中较优的控制方案，采用深度强化学习模型来获取目标控制方案作为最终的控制方案。
深度强化学习模型会根据输入数据来输出一个动作（在本实施例中，动作为储能件的充放电状态控制方案），本实施例中，为了保证深度强化学习模型输出的动作的可实现性，首先基于所述目标电网的储能系统的各个储能件的性能数据设置约束条件以使得所述深度强化学习模型输出满足约束条件的动作。具体地，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：
基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；
基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；
其中，所述状态约束数据包括第一约束条件和第二约束条件；
所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；
所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
请再次参阅图1，本实施例提供的方法，还包括步骤：
S300、将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。具体地，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同。
前文已经说明，在实际应用中，并不是需要严格要求用电负荷功率和电网的供电功率完全一致，可以接受二者之间有一定的差异，因此不应当只采用用电负荷功率和电网的供电功率的一致性来判断所述深度强化学习模型输出的方案的优劣性。在本实施例中，融合考虑多方面因素来设计所述深度强化学习模型训练时的奖励值，以使得训练完成的所述深度强化学习模型能够输出更优的控制方案。
具体地，所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：
基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；
计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；
计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；
根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；
对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
首先，虽然储能件，例如电池等有设计的额定充放电功率，而在实际应用中，储能件的充放电过程中并产生变化，实际功率并不一定和理论上的充放电功率相同，会存在一定的波动，而电网的输入功率的波动越小，用户的用电体验会更好，对于用电设备的损耗也会更低，因此，在本实施例中，用于评价所述样本控制方案的奖励值的一部分是采用所述样本控制方案后所述样本电网在样本目标时段内的各个时刻的输入功率之间的方差，所述样本目标时段与所述目标时段的时长相等。方差越大，波动越大，因此，在进行加权求和时，所述第一奖励值的权重为负值。
其次，虽然并不是需要严格要求用电负荷功率和电网的供电功率完全一致，但是二者的一致性越高，显然更有利于用户的用电体验，因此，在本实施例中，用于评价所述样本控制方案的奖励值中还有一部分是基于采用了所述样本控制方案后所述样本电网的输入功率在所述样本目标时段内的平均值与所述样本用电负荷预测功率之间的差值，具体地，是采用该差值的绝对值作为所述第二奖励值。在进行加权求和时，所述第二奖励值的权重也为负值。
而出于环保考虑，在保证用电的前提下，储能件更多地进行充电动作是更优的，因此，在本实施例中，还基于所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到奖励值的一部分。
进一步地，根据储能系统中的储能件的不同，不同的充放电动作会带来不同的经济效益，目前常见的储能件有锂电池和储氢设备，储氢设备储存的氢，除了可以用于燃料电池再发电之外，还可以用于化工等其他产业，也可以进行长途运输，为了更高的经济效益，在本实施例中，优先地对储氢设备进行充电，值得说明的是，储氢设备是将电能转换为氢进行存储，这里为了方便表示，将储氢设备将电能转化为氢的过程也称为充电过程。所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：
获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；
将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；
对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；
对所述第一分值和所述第二分值求和，得到所述第三奖励值。
进一步地，所述深度学习模型中会进行多次的训练，每次所述深度学习模型会输出一个控制方案，根据该控制方案对应的奖励值，可以更新所述深度学习模型的参数，最后所述深度学习模型的参数会趋于收敛，训练完成，这时所述深度学习模型会基于输入的数据输出一个较优的控制方案。为了加快所述深度学习模型的训练进程，缩短训练时间，在本实施例中，在获取到所述奖励值后，在将所述奖励值反馈至所述深度学习模型之前，还根据所述奖励值与上一次训练得到的所述奖励值进行对比来更新所述奖励值。具体地，获取前M次训练中得到的所述奖励值，M为正整数，优选地，M大于等于20，当本次的所述奖励值与前M次训练中得到的所述奖励值的方差大于预设阈值时，说明所述深度学习模型还没有寻找到最优的优化方向，处于随机优化状态，此时可以对本次的所述奖励值进行缩小，以使得所述深度学习模型可以尝试更多的方向，而当本次的所述奖励值与前M次训练中得到的所述奖励值的方差小于预设阈值时，说明所述深度学习模型已经趋向于固定的方向，此时可以保持本次的所述奖励值不变或者进行放大，以提升所述深度学习模型的训练效率。
综上所述，本实施例提供一种混合储能系统充放电状态实时优化控制方法，首先对下一时段内的光伏发电功率以及用户负荷功率进行预测，再根据预测结果，采用强化学习模型选择储能系统中各个储能件的在下一时段内各个时刻的充放电状态的控制方案，这样利用储能件在光伏发电功率大的时候充电，在光伏发电功率不足的时候放电，降低火电的使用率，也可以避免光伏发电的浪费，更加环保。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
实施例二
基于上述实施例，本发明还相应提供了一种混合储能系统充放电状态实时优化控制装置，如图2所示，所述混合储能系统充放电状态实时优化控制装置包括：
预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，具体如实施例一中所述；
约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件，具体如实施例一中所述；
控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图3所示，所述终端包括处理器10以及存储器20。图3仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有混合储能系统充放电状态实时优化控制程序30，该混合储能系统充放电状态实时优化控制程序30可被处理器10所执行，从而实现本申请中混合储能系统充放电状态实时优化控制方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述混合储能系统充放电状态实时优化控制方法等。
在一实施例中，当处理器10执行所述存储器20中混合储能系统充放电状态实时优化控制程序30时实现以下步骤：
获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的混合储能系统充放电状态实时优化控制方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种混合储能系统充放电状态实时优化控制方法，其特征在于，所述方法包括：
获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内的充放电状态。
2.根据权利要求1所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率，包括：
根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率；
获取所述目标时段对应的天气预测数据，根据所述天气预测数据获取所述光伏发电预测功率。
3.根据权利要求2所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述根据所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率获取所述用电负荷预测功率，包括：
将所述目标电网在所述目标时段对应的历史时段的实际用电负荷功率输入至已训练的神经网络模型中，获取所述神经网络模型输出的所述用电负荷预测功率；
其中，所述神经网络模型为CNN模型。
4.根据权利要求1所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，包括：
基于所述储能系统在所述目标时段的上一时段的控制方案获取所述储能系统中的各个储能件在所述目标时段开始时的实时电量数据；
基于所述各个储能件在所述目标时段开始时的实时电量数据和所述储能系统的各个储能件的性能数据获取所述状态约束数据；
其中，所述状态约束数据包括第一约束条件和第二约束条件；
所述第一约束条件为所述储能系统中的每个储能件的充/放电功率不超出该储能件的充/放电最大功率；
所述第二约束条件为所述储能系统中的每个储能件的充/放电电量不超出该储能件在所述目标时段开始时的实时电量数据。
5.根据权利要求1所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述深度强化学习模型采用多组数据训练而成，每组训练数据包括样本输入状态数据、样本控制方案和所述样本控制方案对应的奖励值，所述样本输入状态数据包括样本状态约束数据、样本用电负荷预测功率和样本光伏发电预测功率，所述样本控制方案满足所述样本状态约束数据，所述样本控制方法对应的奖励值基于在所述样本输入状态数据条件下执行所述样本控制方案后的结果数据计算得到。
6.根据权利要求5所述的混合储能系统充放电状态实时优化控制方法，其特征在于，用于训练所述深度强化学习模型的训练数据是基于样本电网得到的，所述样本电网和所述目标电网的结构相同；
所述训练数据中所述样本控制方案对应的奖励值采用如下步骤计算：
基于所述样本控制方案控制所述样本电网中的各个储能件在样本目标时段内的充/放电状态，并获取在所述样本目标时段内的各个时刻所述样本电网的输入功率；
计算所述样本目标时段内各个时刻所述样本电网的输入功率之间的方差，得到第一奖励值；
计算所述样本目标时段内各个时刻所述样本电网的输入功率的平均值，获取与对应的所述样本用电负荷预测功率之间的差值，得到第二奖励值；
根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值；
对所述第一奖励值、所述第二奖励值和所述第三奖励值进行加权求和，得到所述样本控制方案对应的奖励值。
7.根据权利要求6所述的混合储能系统充放电状态实时优化控制方法，其特征在于，所述样本电网中的储能件包括锂电池和储氢设备，所述根据所述样本控制方案中各个储能件分别对应的总充电时长和总放电时长得到第三奖励值，包括：
获取所述样本控制方案中的锂电池的总充电时长和总放电时长分别作为第一总充电时长和第一总放电时长，获取所述样本控制方案中的储氢设备的总充电时长和总放电时长分别作为第二总充电时长和第二总放电时长；
将所述第二总充电时长减去所述第一总充电时长，获取第一差值，将所述第一总放电时长减去所述第二总放电时长，获取第二差值，对所述第一差值和所述第二差值进行加权求和，得到第一分值，其中，所述第一差值对应的权重为正值，所述第二差值对应的权重为负值；
对所述总充电时长和所述总放电时长进行加权求和，得到第二分值，其中，所述总充电时长对应的权重为正值，所述总放电时长对应的权重为负值；
对所述第一分值和所述第二分值求和，得到所述第三奖励值。
8.一种混合储能系统充放电状态实时优化控制装置，其特征在于，包括：
预测模块，用于获取目标电网在目标时段的用电负荷预测功率以及所述目标时段的光伏发电预测功率；
约束模块，用于基于所述目标电网的储能系统的各个储能件的性能数据获取状态约束数据，所述状态约束数据包括所述储能系统的各个储能件可执行的充放电状态的约束条件；
控制模块，用于将所述状态约束数据、所述用电负荷预测功率和所述光伏发电预测功率输入至深度强化学习模型中，获取所述深度强化学习模型输出的目标控制方案，根据所述目标控制方案控制所述储能系统的各个储能件在所述目标时段内各个预设时刻的充放电状态。
9.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的混合储能系统充放电状态实时优化控制方法的步骤。
CN202211231237.1A 2022-10-10 2022-10-10 一种混合储能系统充放电状态实时优化控制方法 Active CN115313447B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211231237.1A CN115313447B (zh) 2022-10-10 2022-10-10 一种混合储能系统充放电状态实时优化控制方法
PCT/CN2022/137722 WO2024077752A1 (zh) 2022-10-10 2022-12-08 一种混合储能系统充放电状态实时优化控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211231237.1A CN115313447B (zh) 2022-10-10 2022-10-10 一种混合储能系统充放电状态实时优化控制方法

Publications (2)

Publication Number Publication Date
CN115313447A true CN115313447A (zh) 2022-11-08
CN115313447B CN115313447B (zh) 2022-12-16

Family

ID=83867255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211231237.1A Active CN115313447B (zh) 2022-10-10 2022-10-10 一种混合储能系统充放电状态实时优化控制方法

Country Status (2)

Country Link
CN (1) CN115313447B (zh)
WO (1) WO2024077752A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077752A1 (zh) * 2022-10-10 2024-04-18 深圳先进技术研究院 一种混合储能系统充放电状态实时优化控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113085A (zh) * 2014-08-05 2014-10-22 华东理工大学 一种微电网能量优化管理方法
CN110198042A (zh) * 2019-06-27 2019-09-03 上海极熵数据科技有限公司 一种电网储能的动态优化方法及存储介质
CN111884213A (zh) * 2020-07-27 2020-11-03 国网北京市电力公司 一种基于深度强化学习算法的配电网电压调节方法
CN113131584A (zh) * 2021-04-26 2021-07-16 国家电网有限公司信息通信分公司 一种数据中心电池充放电优化控制方法及装置
WO2021146806A1 (en) * 2020-01-21 2021-07-29 Adaptr, Inc. Delivery of stored electrical energy from generation sources to nano-grid systems
CN114696351A (zh) * 2022-03-11 2022-07-01 国网安徽省电力有限公司电力科学研究院 一种电池储能系统动态优化方法、装置、电子设备和存储介质
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN114844058A (zh) * 2022-05-30 2022-08-02 深圳市爱识赑科技合伙企业(有限合伙) 一种海上风电储能参与调峰辅助服务的调度方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115313447B (zh) * 2022-10-10 2022-12-16 深圳先进技术研究院 一种混合储能系统充放电状态实时优化控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113085A (zh) * 2014-08-05 2014-10-22 华东理工大学 一种微电网能量优化管理方法
CN110198042A (zh) * 2019-06-27 2019-09-03 上海极熵数据科技有限公司 一种电网储能的动态优化方法及存储介质
WO2021146806A1 (en) * 2020-01-21 2021-07-29 Adaptr, Inc. Delivery of stored electrical energy from generation sources to nano-grid systems
CN111884213A (zh) * 2020-07-27 2020-11-03 国网北京市电力公司 一种基于深度强化学习算法的配电网电压调节方法
CN113131584A (zh) * 2021-04-26 2021-07-16 国家电网有限公司信息通信分公司 一种数据中心电池充放电优化控制方法及装置
CN114696351A (zh) * 2022-03-11 2022-07-01 国网安徽省电力有限公司电力科学研究院 一种电池储能系统动态优化方法、装置、电子设备和存储介质
CN114844083A (zh) * 2022-05-27 2022-08-02 深圳先进技术研究院 一种提高储能系统稳定性的电动汽车集群充放电管理方法
CN114844058A (zh) * 2022-05-30 2022-08-02 深圳市爱识赑科技合伙企业(有限合伙) 一种海上风电储能参与调峰辅助服务的调度方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024077752A1 (zh) * 2022-10-10 2024-04-18 深圳先进技术研究院 一种混合储能系统充放电状态实时优化控制方法

Also Published As

Publication number Publication date
WO2024077752A1 (zh) 2024-04-18
CN115313447B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN111612363B (zh) 基于区块链的电量调度方法、装置、计算机设备和存储介质
CN111697625A (zh) 基于分布鲁棒优化的孤岛微电网机会约束能量调度方法
CN112290598B (zh) 基于电力现货环境的分布式光伏发电管理及结算方法
CN115313447B (zh) 一种混合储能系统充放电状态实时优化控制方法
CN115733168A (zh) 储能充放电管理方法、系统、控制终端及存储介质
CN116581805B (zh) 一种电力储能的管控优化方法和电池网络
CN116470543A (zh) 一种虚拟电厂的运行控制方法、装置、设备及介质
CN114362218B (zh) 基于深度q学习的微电网内多类型储能的调度方法及装置
CN116111656A (zh) 微电网调度的方法和装置
CN113344732B (zh) 电化学储能的运营评估方法、装置、终端设备及存储介质
Chang et al. Model predictive control based energy collaborative optimization management for energy storage system of virtual power plant
CN110866647A (zh) 用户侧储能控制方法、装置、设备及存储介质
CN114792994A (zh) 一种新能源与外送联络线时序生产模拟优化方法和系统
CN110929947B (zh) 储能配置方法、装置、计算机设备和存储介质
CN115764936A (zh) 电网储能配置的优化方法、装置、设备及存储介质
CN115907393A (zh) 一种含长时储能虚拟电厂的多时间尺度调度方法
CN114844059A (zh) 一种电动汽车集群参与调峰的双层优化控制方法
CN112510679B (zh) 分布式储能优化调度方法、装置、计算机设备和存储介质
Guo et al. A dynamic rolling dispatch for integrated energy system with a hybrid time scale framework
CN111344724A (zh) 微电网的控制
CN110690719B (zh) 一种微电网电池储能配置方法及可读存储介质
CN117578617A (zh) 一种新能源场站电量的控制方法、装置、设备及介质
CN114884093A (zh) 一种海上风电储能系统的多时间尺度智能调度方法
Liu et al. New-Type Power System Risk Assisted Decision Considering New Energy Uncertainty and Demand Response
CN114725997A (zh) 多时间尺度的配电网调度方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant