CN115579910A - 一种微电网频率和电压的控制方法及终端 - Google Patents

一种微电网频率和电压的控制方法及终端 Download PDF

Info

Publication number
CN115579910A
CN115579910A CN202211191288.6A CN202211191288A CN115579910A CN 115579910 A CN115579910 A CN 115579910A CN 202211191288 A CN202211191288 A CN 202211191288A CN 115579910 A CN115579910 A CN 115579910A
Authority
CN
China
Prior art keywords
frequency
voltage
limit constraint
microgrid
energy storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211191288.6A
Other languages
English (en)
Inventor
林日晖
臧志斌
赵光
唐锦强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY CO LTD
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Original Assignee
XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY CO LTD
State Grid Information and Telecommunication Co Ltd
State Grid Fujian Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY CO LTD, State Grid Information and Telecommunication Co Ltd, State Grid Fujian Electric Power Co Ltd filed Critical XIAMEN GREAT POWER GEO INFORMATION TECHNOLOGY CO LTD
Priority to CN202211191288.6A priority Critical patent/CN115579910A/zh
Publication of CN115579910A publication Critical patent/CN115579910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/12—Circuit arrangements for ac mains or ac distribution networks for adjusting voltage in ac networks by changing a characteristic of the network load
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/48—Controlling the sharing of the in-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/50—Controlling the sharing of the out-of-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/40—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation wherein a plurality of decentralised, dispersed or local energy generation technologies are operated simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开一种微电网频率和电压的控制方法及终端，根据获取的微电网以及用户侧储能的运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。

Description

一种微电网频率和电压的控制方法及终端
技术领域
本发明涉及电网控制技术领域，尤其涉及一种微电网频率和电压的控制方法及终端。
背景技术
现有的对于微电网的控制方法中，通常只能对微电网中的频率进行控制，无法在保证频率质量的前提下对电压水平进行协调控制；同时，现有的微电网控制方法的应用场景不包含用户侧储能，对于用户行为随机性的适应力较弱；进而，所控制算法均为离散算法，其智能体输出动作为离散动作，在面对到用户侧储能与分布式电源等强随机性因素时，可能会出现动作量过大而失去控制能力。
发明内容
本发明所要解决的技术问题是：提供一种微电网频率和电压的控制方法及终端，能够有效地实现频率和电压的协调控制。
为了解决上述技术问题，本发明采用的一种技术方案为：
一种微电网频率和电压的控制方法，包括步骤：
获取微电网以及用户侧储能的运行信息；
根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
为了解决上述技术问题，本发明采用的另一种技术方案为：
一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取微电网以及用户侧储能的运行信息；
根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
本发明的有益效果在于：根据运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，该微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
附图说明
图1为本发明实施例的一种微电网频率和电压的控制方法的步骤流程图；
图2为本发明实施例的一种微电网频率和电压的控制终端的结构示意图；
图3为本发明实施例的微电网频率和电压的控制方法中的系统架构图；
图4为本发明实施例的微电网频率和电压的控制方法中的网络结构图；
图5为本发明实施例的微电网频率和电压的控制方法中的用户侧储能功率输出调控示意图；
图6为本发明实施例的微电网频率和电压的控制方法中的用户侧储能参与微电网的负荷分配优化调度的一种过程示意图；
图7为本发明实施例的微电网频率和电压的控制方法中的用户侧储能参与微电网的负荷分配优化调度的另一种过程示意图；
图8为本发明实施例的微电网频率和电压的控制方法中的四象限双向充放电示意曲线；
图9为本发明实施例的微电网频率和电压的控制方法中的神经网络结构图；
图10为本发明实施例的微电网频率和电压的控制方法中的多智能体DDPG算法结构示意图；
图11为本发明实施例的微电网频率和电压的控制方法中的平均奖励值和实时奖励值的示意图；
图12为本发明实施例的微电网频率和电压的控制方法中的频率和电压控制示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，本发明实施例提供了一种微电网频率和电压的控制方法，包括步骤：
获取微电网以及用户侧储能的运行信息；
根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
从上述描述可知，本发明的有益效果在于：根据运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，该微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
进一步地，所述获取微电网以及用户侧储能的运行信息包括：
获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：
构建全局奖励函数、频率奖励函数以及电压奖励函数；
将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。
由上述描述可知，多智能体DDPG(深度确定性策略梯度算法)结合了深度神经网络和强化学习，因此具有有效处理大规模数据的能力，可以通过大量数据完成agent(智能体)训练，从而根据输入的数据输出实时决策状态变量，得到最优的控制方案，且DDPG算法是Actor-Critic(演员评论家)框架与DQN算法(基于深度学习的Q-learning算法)的融合，其继承了DQN算法中的独立目标网络，具有经验回放能力，能够打破数据之间的关联性，降低模型的训练难度。
进一步地，所述全局奖励函数R为：
R＝rf+ru；
Figure BDA0003869260940000041
Figure BDA0003869260940000051
式中，rf表示所述频率奖励函数，rn表示所述电压奖励函数，Δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，ΔU表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
所述状态空间为：
Figure BDA0003869260940000052
式中，ΔF(t)表示所述频率偏差，ΔU(t)表示所述电压偏差，
Figure BDA0003869260940000053
表示所述有功功率上限约束，
Figure BDA0003869260940000054
表示所述有功功率下限约束，
Figure BDA0003869260940000055
表示所述无功功率上限约束，
Figure BDA0003869260940000056
表示所述无功功率下限约束；
所述动作空间为：
A＝[ΔAMT，P(t)，ΔAES，P(t)，ΔAMT，Q(t)，ΔAES，Q(t)]；
式中，ΔAMT，P(t)表示t时刻对微型燃气轮机组发出的有功调节信号，ΔAES，P(t)表示t时刻对用户侧储能机组发出的有功调节信号，ΔAMT，Q(t)表示t时刻对微型燃气轮机组发出的无功调节信号，ΔAES，Q(t)表示t时刻对用户侧储能机组发出的无功调节信号。
由上述描述可知，全局奖励函数包含2个本地奖励函数(即频率奖励函数和电压奖励函数)，且2个奖励函数之间相互影响，智能体以全局奖励最高为最优目标，并且保证频率奖励与电压奖励不低于基本阈值，以此在调节调控机组的有功出力完成频率控制的过程中，保证无功出力的稳定，使得电压波动在控制范围内，同样地，在调节调控机组的无功出力完成电压控制的过程中，保证有功出力的稳定，使得频率偏差在合理范围内，而在对两者进行同时控制时，多智能体之间也能协调配合，在频率与电压同时满足控制要求的情况下，保证微电网的系统整体稳定。
进一步地，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：
将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：
根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。
由上述描述可知，对数据集进行离散值划分会影响智能体的收敛，以此来提高模型收敛速度。
进一步地，所述获取微电网以及用户侧储能的运行信息之前包括：
构建用户侧储能的充放电模型；
根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。
由上述描述可知，构建用户侧储能的充放电模型，根据用户侧储能的充放电模型构建微电网频率与电压控制模型，以实现将用户侧储能应用到微电网频率与电压的调控中，便于后续模型输出的控制方案能够适应用户侧储能的用户行为随机性。
请参照图2，一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取微电网以及用户侧储能的运行信息；
根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
从上述描述可知，本发明的有益效果在于：根据运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，该微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法，多智能体深度确定性策略梯度算法混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
进一步地，所述获取微电网以及用户侧储能的运行信息包括：
获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：
构建全局奖励函数、频率奖励函数以及电压奖励函数；
将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。
由上述描述可知，多智能体DDPG(深度确定性策略梯度算法)结合了深度神经网络和强化学习，因此具有有效处理大规模数据的能力，可以通过大量数据完成agent(智能体)训练，从而根据输入的数据输出实时决策状态变量，得到最优的控制方案，且DDPG算法是Actor-Critic(演员评论家)框架与DQN算法(基于深度学习的Q-learning算法)的融合，其继承了DQN算法中的独立目标网络，具有经验回放能力，能够打破数据之间的关联性，降低模型的训练难度。
进一步地，所述全局奖励函数R为：
R＝rf+ru；
Figure BDA0003869260940000081
Figure BDA0003869260940000082
式中，rf表示所述频率奖励函数，ru表示所述电压奖励函数，Δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，ΔU表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
所述状态空间为：
Figure BDA0003869260940000083
式中，ΔF(t)表示所述频率偏差，ΔU(t)表示所述电压偏差，
Figure BDA0003869260940000084
表示所述有功功率上限约束，
Figure BDA0003869260940000085
表示所述有功功率下限约束，
Figure BDA0003869260940000086
表示所述无功功率上限约束，
Figure BDA0003869260940000087
表示所述无功功率下限约束；
所述动作空间为：
A＝[ΔAMT，P(t)，ΔAES，P(t)，ΔAMT，Q(t)，ΔAES，Q(t)]；
式中，ΔAMT，P(t)表示t时刻对微型燃气轮机组发出的有功调节信号，ΔAES，P(t)表示t时刻对用户侧储能机组发出的有功调节信号，ΔAMT，Q(t)表示t时刻对微型燃气轮机组发出的无功调节信号，ΔAES，Q(t)表示t时刻对用户侧储能机组发出的无功调节信号。
由上述描述可知，全局奖励函数包含2个本地奖励函数(即频率奖励函数和电压奖励函数)，且2个奖励函数之间相互影响，智能体以全局奖励最高为最优目标，并且保证频率奖励与电压奖励不低于基本阈值，以此在调节调控机组的有功出力完成频率控制的过程中，保证无功出力的稳定，使得电压波动在控制范围内，同样地，在调节调控机组的无功出力完成电压控制的过程中，保证有功出力的稳定，使得频率偏差在合理范围内，而在对两者进行同时控制时，多智能体之间也能协调配合，在频率与电压同时满足控制要求的情况下，保证微电网的系统整体稳定。
进一步地，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：
将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：
根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。
由上述描述可知，对数据集进行离散值划分会影响智能体的收敛，以此来提高模型收敛速度。
进一步地，所述获取微电网以及用户侧储能的运行信息之前包括：
构建用户侧储能的充放电模型；
根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。
由上述描述可知，构建用户侧储能的充放电模型，根据用户侧储能的充放电模型构建微电网频率与电压控制模型，以实现将用户侧储能应用到微电网频率与电压的调控中，便于后续模型输出的控制方案能够适应用户侧储能的用户行为随机性。
本发明上述的一种微电网频率和电压的控制方法及终端能够适用于含用户侧储能的微电网中，以下通过具体实施方式进行说明：
实施例一
请参照图1和图3～图11，图3展示了本发明微电网频率和电压的控制方法的系统架构图，各微电网(微网)所处的城市控制中心能够和系统完成连接，系统的基础采集模块可集群分布于各微电网侧，而城市控制中心工作人员能够登录控制主站完成各类功能需求的设置，从而实现控制的安全可靠性；图4展示了该系统架构图的网络结构，包括微网层、数据层和决策层，各层之间包括功率传输、状态信息与动作指令，由此确定出系统数据和模型的存储方法，确定各微网的统一训练标准，实现对于用户侧储能参与微电网调控的支撑，并通过数字化平台实现在线管控；
本实施例的一种微电网频率和电压的控制方法，包括步骤：
S1、构建用户侧储能的充放电模型；
如图5所示，以实现将用户侧储能应用到微电网频率与电压的调控中，图中，Δues表示控制终端对用户侧储能发出的控制信号，Tes表示可控负荷的时间常数，从而构成传递函数
Figure BDA0003869260940000101
ΔPES表示用户侧储能集群的输出功率，
Figure BDA0003869260940000102
与
Figure BDA0003869260940000103
分别表示用户侧储能集群的输出功率ΔPES的实时上、下限约束，用户侧储能群由不同个体用户储能单位组成，用户侧计算中心将会根据收到的控制指令，依据当前时刻各用户行为心理统计结果，计算需要且能够使用的储能单元数量，进而得到最终输出的功率增量。如图6和图7所示，图6和图7展示了用户侧储能参与微电网的负荷分配优化调度的过程，当充电状态达到SOCm，或充电状态大于SOCm时，用户侧储能将能够参与微电网的负荷分配优化调度过程，即微电网遇到用电高峰时可以放电，这个放电过程不会使用户侧储能功率低于SOCm；当用户侧储能的充电状态达到SOCmax时，将不再为用户侧储能充电，以确保电池寿命，此时，用户侧储能会自动停止充电(即保持SOCmax)或放电。进而，在得到用户侧储能有功放电功率PES的边界后，通过用户侧储能电站的功率因数角可以得到无功功率边界，四象限双向充放电示意曲线如图8所示，图8中，
Figure BDA0003869260940000111
表示视在额定功率为ΔS时的功率因数角，
Figure BDA0003869260940000112
表示最小功率因数角度，
Figure BDA0003869260940000113
表示最大功率因数角度，P轴和Q轴的正轴表示从电网传输到用户侧储能电站的能量，当有功功率为OA时，无功功率的可调范围为CC′，OB的长度为视在额定功率ΔSES。
有功功率ΔPES和无功功率ΔQES的关系为：
Figure BDA0003869260940000114
功率因数角
Figure BDA0003869260940000115
满足储能电站的运行特性为：
Figure BDA0003869260940000116
当ΔPES>0时，电网向用户侧储能提供有功功率，当ΔQES>0时，电网向用户侧储能提供无功功率。
S2、根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型；
具体的，根据所述用户侧储能的充放电模型和系统架构构建微电网频率与电压控制模型；
S3、获取微电网以及用户侧储能的运行信息；
具体的，获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
S4、根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度(DDPG)算法，使用多智能体DDPG算法以适应用户侧储能的随机约束和新能源输出的强非线性数据，以达成微电网频率与电压的协同控制，且多智能体DDPG结合了深度神经网络和强化学习，因此具有有效处理大规模数据的能力，可以通过大量数据完成agent训练，从而输出实时决策状态变量，得到最优控制方案，本发明通过神经网络将状态向量S作为输入序列，最终在输出层得到近似的Q值，对应的网络结构如图9所示，有h层隐藏层，每个隐藏层由u个神经元组成，(h，u)参数的具体取值受实际算例的影响，本实施例中，h＝5，u＝50，同时完成DDPG算法的设计，DDPG算法是Actor-Critic框架与DQN算法的融合，其继承了DQN算法中的独立目标网络，具有经验回放能力，能够打破数据之间的关联性，降低模型的训练难度，而多智能体DDPG算法具备“集中训练、分散执行”的协调配合模式，如图10所示，能够很好地适应多目标控制问题，具体包括：
S41、构建全局奖励函数、频率奖励函数以及电压奖励函数；
其中，所述全局奖励函数R为：
R＝rf+ru；
Figure BDA0003869260940000121
Figure BDA0003869260940000122
式中，rf表示所述频率奖励函数，ru表示所述电压奖励函数，△f表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，△U表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
以此在调节调控机组的有功出力完成频率控制的过程中，保证无功出力的稳定，使得电压波动在控制范围内；同样地，在调节调控机组的无功出力完成电压控制的过程中，保证有功出力的稳定，使得频率偏差在合理范围内，而在对两者进行同时控制时，多智能体之间也能协调配合，在频率与电压同时满足控制要求的情况下，保证微电网的系统整体稳定；
在一种可选的实施方式中，还包括设置超参数，所述超参数包括折扣因子、学习率，所述折扣因子γ＝0.9，所述学习率α＝0.001，h＝5，u＝50，通过设置超参数可进一步提高收敛速度与收敛效果；
S42、将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
S43、将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
由于数据集的离散值的划分会影响智能体的收敛，在一种可选的实施方式中，设置所述频率偏差的离散集为(-∞,-0.2)，[-0.2,-0.15)，[-0.15,-0.10)，[-0.10,-0.03)，[-0.03,0.03]，(0.03,0.10]，(0.10,0.15]，(0.15,0.2]，(0.2,+∞)，单位Hz；
根据我国电力安全工作规程：电力系统正常运行的频率应当在50±0.2Hz的范围之内，电压偏差应当在5％的范围之内，设置所述电压偏差的离散集为(-1,-0.05)，[-0.05,-0.03)，[-0.03,-0.02)，[-0.02,-0.01)，[-0.01,0.01]，(0.01,0.02]，(0.02,0.03]，(0.03,0.05]，(0.05,1)，单位p.u(标幺值)；
根据系统参数设置所述无功功率上限约束和无功功率下限约束的离散集分别为：[0,0.02)，[0.02,0.04)，[0.04,0.06)，[0.06,0.08]，以及[-0.08,-0.06]，(-0.06,-0.04]，(-0.04,-0.02]，(-0.02,0]，单位p.u；设置所述有功功率上限约束和有功功率下限约束的离散集分别为：[0,0.04)，[0.04,0.08)，[0.08,0.12)，[0.12,0.16]，以及[-0.16,-0.12]，(-0.12,-0.08]，(-0.08,-0.04]，(-0.04,0]；
在另一种可选的实施方式中，设置微电网的主调控机组燃气轮机与用户侧储能的无功指令的离散值为：AMT＝AES＝(-0.005，-0.004，-0.003，-0.002，-0.001，0，0.001，0.002，0.003，0.004，0.005)，单位p.u；
S44、根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
具体的，根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
其中，所述状态空间为：
Figure BDA0003869260940000141
式中，ΔF(t)表示所述频率偏差，ΔU(t)表示所述电压偏差，
Figure BDA0003869260940000142
表示所述有功功率上限约束，
Figure BDA0003869260940000143
表示所述有功功率下限约束，
Figure BDA0003869260940000144
表示所述无功功率上限约束，
Figure BDA0003869260940000145
表示所述无功功率下限约束；
S45、根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
其中，所述动作空间为：
A＝[ΔAMT，P(t)，ΔAES，P(t)，ΔAMT，Q(t)，ΔAES，Q(t)]；
式中，ΔAMT，P(t)表示t时刻对微型燃气轮机组发出的有功调节信号，ΔAES，P(t)表示t时刻对用户侧储能机组发出的有功调节信号，ΔAMT，P(t)表示t时刻对微型燃气轮机组发出的无功调节信号，ΔAES，Q(t)表示t时刻对用户侧储能机组发出的无功调节信号；
S46、获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型；
在一种可选的实施方式中，所述预设训练次数为500次，每次训练为100步，步长为0.1秒，即一次训练是10s，10s内控制过程的累加视为一次训练；
训练后的微电网频率与电压控制模型即可获得最优值函数Q网络
Figure BDA0003869260940000146
并投入使用，在预学习的初期阶段，模型尚未积累任何经验，不具备智能控制能力，只有在接受各种状态动作后，才能得到最优值函数Q网络
Figure BDA0003869260940000147
因此，在训练时，需要设置由不同幅值、不同类型函数叠加而成的负荷扰动来对控制器进行训练；同时，根据用户侧储能的输出容量变化数据设置一组随时间发生概率随机变化的输出功率增量约束函数，并将上述随机函数作为训练数据集输入到智能体中，在经过大量试错训练后，智能控制器达到收敛，即可投入使用，相比于传统控制手段，使用随机生成的数据集进行训练，降低了获取数据训练集的难度，而本发明微电网频率与电压控制模型在完成372回合次训练时结束了训练，平均奖励值为-9.98831，实时奖励值为-0.64348，能应对电网负荷功率的随机扰动，如图11所示；
S5、使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制；
具体的，从微电网中获取实时的频率偏差、电压偏差与用户侧储能电站的实时有功功率上、下限约束和无功功率上、下限约束作为状态信息，并基于所述状态信息输入所述训练后的微电网频率与电压控制模型，输出最佳的动作集，即控制动作指令，根据所述控制动作指令对微型燃气轮机和用户侧储能电站(即调频机组)的输出功率进行控制，以保持微电网频率与电压稳定，如图12所示。
实施例二
请参照图2，本实施例的一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一中的微电网频率和电压的控制方法中的各个步骤。
综上所述，本发明提供的一种微电网频率和电压的控制方法及终端，获取微电网以及用户侧储能的运行信息；根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制；具体的，构建全局奖励函数、频率奖励函数以及电压奖励函数；将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型，多智能体DDPG能够打破数据之间的关联性，降低模型的训练难度，混合了深度学习与强化学习，具备在线学习与经验回放能力，能够基于数据进行预测，随着有效数据的积累，其预测能力可以持续地进化，能够适用于含用户侧储能的微电网频率和电压控制场景，可适应用户侧储能的用户行为随机性，在频率质量的前提下对电压水平进行协调控制，从而有效地实现频率和电压的协调控制。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种微电网频率和电压的控制方法，其特征在于，包括步骤：
获取微电网以及用户侧储能的运行信息；
根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
2.根据权利要求1所述的一种微电网频率和电压的控制方法，其特征在于，所述获取微电网以及用户侧储能的运行信息包括：
获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：
构建全局奖励函数、频率奖励函数以及电压奖励函数；
将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。
3.根据权利要求2所述的一种微电网频率和电压的控制方法，其特征在于，所述全局奖励函数R为：
R＝rf+ru；
Figure FDA0003869260930000021
Figure FDA0003869260930000022
式中，rf表示所述频率奖励函数，ru表示所述电压奖励函数，Δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，ΔU表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
所述状态空间为：
Figure FDA0003869260930000023
式中，ΔF(t)表示所述频率偏差，ΔU(t)表示所述电压偏差，
Figure FDA0003869260930000024
表示所述有功功率上限约束，
Figure FDA0003869260930000025
表示所述有功功率下限约束，
Figure FDA0003869260930000026
表示所述无功功率上限约束，
Figure FDA0003869260930000027
表示所述无功功率下限约束；
所述动作空间为：
A＝[ΔAMT，P(t)，ΔAES，P(t)，ΔAMT，Q(t)，ΔAES，Q(t)]；
式中，ΔAMT，P(t)表示t时刻对微型燃气轮机组发出的有功调节信号，ΔAES，P(t)表示t时刻对用户侧储能机组发出的有功调节信号，ΔAMT，Q(t)表示t时刻对微型燃气轮机组发出的无功调节信号，ΔAES，Q(t)表示t时刻对用户侧储能机组发出的无功调节信号。
4.根据权利要求2所述的一种微电网频率和电压的控制方法，其特征在于，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：
将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：
根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。
5.根据权利要求1所述的一种微电网频率和电压的控制方法，其特征在于，所述获取微电网以及用户侧储能的运行信息之前包括：
构建用户侧储能的充放电模型；
根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。
6.一种微电网频率和电压的控制终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取微电网以及用户侧储能的运行信息；
根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型，所述微电网频率与电压控制模型使用多智能体深度确定性策略梯度算法；
使用所述训练后的微电网频率与电压控制模型对所述微电网的频率和电压进行控制。
7.根据权利要求6所述的一种微电网频率和电压的控制终端，其特征在于，所述获取微电网以及用户侧储能的运行信息包括：
获取微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述运行信息对微电网频率与电压控制模型进行训练，得到训练后的微电网频率与电压控制模型包括：
构建全局奖励函数、频率奖励函数以及电压奖励函数；
将所述全局奖励函数最高、频率奖励函数达到第一预设值以及电压奖励函数达到第二预设值作为训练目标；
根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间；
根据所述训练目标将所述状态空间输入至所述微电网频率与电压控制模型中进行训练，输出动作空间；
获取当前训练次数，并判断所述当前训练次数是否达到预设次数，若是，则将符合所述训练目标的微电网频率与电压控制模型确定为训练后的微电网频率与电压控制模型。
8.根据权利要求7所述的一种微电网频率和电压的控制终端，其特征在于，所述全局奖励函数R为：
R＝rf+ru；
Figure FDA0003869260930000041
Figure FDA0003869260930000042
式中，rf表示所述频率奖励函数，ru表示所述电压奖励函数，Δf表示频率偏差，μ1表示第一权值，μ2表示第二权值，μ3表示第三权值，μ4表示第四权值，ΔU表示电压偏差，δ1表示第五权值，δ2表示第六权值，δ3表示第七权值，δ4表示第八权值；
所述状态空间为：
Figure FDA0003869260930000051
式中，ΔF(t)表示所述频率偏差，ΔU(t)表示所述电压偏差，
Figure FDA0003869260930000052
表示所述有功功率上限约束，
Figure FDA0003869260930000053
表示所述有功功率下限约束，
Figure FDA0003869260930000054
表示所述无功功率上限约束，
Figure FDA0003869260930000055
表示所述无功功率下限约束；
所述动作空间为：
A＝[ΔAMT，P(t)，ΔAES，P(t)，ΔAMT，Q(t)，ΔAES，Q(t)]；
式中，ΔAMT，P(t)表示t时刻对微型燃气轮机组发出的有功调节信号，ΔAES，P(t)表示t时刻对用户侧储能机组发出的有功调节信号，ΔAMT，Q(t)表示t时刻对微型燃气轮机组发出的无功调节信号，ΔAES，Q(t)表示t时刻对用户侧储能机组发出的无功调节信号。
9.根据权利要求7所述的一种微电网频率和电压的控制终端，其特征在于，所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间之前包括：
将所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束分别进行离散值划分，得到离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束；
所述根据所述微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间包括：
根据所述离散化后的微电网的频率偏差、电压偏差、用户侧储能的有功功率上限约束、有功功率下限约束、无功功率上限约束和无功功率下限约束确定状态空间。
10.根据权利要求6所述的一种微电网频率和电压的控制终端，其特征在于，所述获取微电网以及用户侧储能的运行信息之前包括：
构建用户侧储能的充放电模型；
根据所述用户侧储能的充放电模型构建微电网频率与电压控制模型。
CN202211191288.6A 2022-09-28 2022-09-28 一种微电网频率和电压的控制方法及终端 Pending CN115579910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211191288.6A CN115579910A (zh) 2022-09-28 2022-09-28 一种微电网频率和电压的控制方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211191288.6A CN115579910A (zh) 2022-09-28 2022-09-28 一种微电网频率和电压的控制方法及终端

Publications (1)

Publication Number Publication Date
CN115579910A true CN115579910A (zh) 2023-01-06

Family

ID=84584009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211191288.6A Pending CN115579910A (zh) 2022-09-28 2022-09-28 一种微电网频率和电压的控制方法及终端

Country Status (1)

Country Link
CN (1) CN115579910A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116436029A (zh) * 2023-03-13 2023-07-14 华北电力大学 一种基于深度强化学习的新能源场站频率控制方法
CN117130769A (zh) * 2023-02-25 2023-11-28 荣耀终端有限公司 一种调频方法、频率调节神经网络的训练方法及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130769A (zh) * 2023-02-25 2023-11-28 荣耀终端有限公司 一种调频方法、频率调节神经网络的训练方法及电子设备
CN116436029A (zh) * 2023-03-13 2023-07-14 华北电力大学 一种基于深度强化学习的新能源场站频率控制方法
CN116436029B (zh) * 2023-03-13 2023-12-01 华北电力大学 一种基于深度强化学习的新能源场站频率控制方法

Similar Documents

Publication Publication Date Title
WO2024022194A1 (zh) 电网实时调度优化方法、系统、计算机设备及存储介质
Raoofat et al. Wind power smoothing using demand response of electric vehicles
CN115579910A (zh) 一种微电网频率和电压的控制方法及终端
CN112117760A (zh) 基于双q值网络深度强化学习的微电网能量调度方法
CN113515884A (zh) 分散式电动汽车实时优化调度方法、系统、终端及介质
CN107274085A (zh) 一种双电型船舶的储能设备的优化管理方法
CN113162055B (zh) 一种储能与新能源电站无功电压的协调控制方法及系统
CN113437754A (zh) 一种基于台区智能融合终端的电动汽车有序充电方法及系统
CN115102239A (zh) 一种考虑soc均衡的储能电站一次调频控制方法及系统
CN118174355A (zh) 一种微电网能量优化调度方法
Al Zishan et al. Adaptive control of plug-in electric vehicle charging with reinforcement learning
CN105896575A (zh) 基于自适应动态规划的百兆瓦储能功率控制方法及系统
CN114285075A (zh) 一种基于分布式深度强化学习的微电网能量在线优化方法
CN109327031A (zh) 基于电池储能的直驱风电多机系统功率协控方法及系统
CN116454920A (zh) 一种配电网调频方法、装置、设备和存储介质
CN115345380A (zh) 一种基于人工智能的新能源消纳电力调度方法
CN116247742A (zh) 基于深度强化学习的电力系统源网荷储联合调控方法及装置
CN117200225B (zh) 考虑涵盖电动汽车集群的配电网优化调度方法及相关装置
CN114421479A (zh) 交直流微电网群协同互供的电压控制方法
CN117154788A (zh) 一种用于充电站参与电网调频的虚拟同步控制方法、设备及介质
CN110086186B (zh) 一种计及路灯充电桩的城市配电网电压控制方法
CN115333111A (zh) 多区域电网协同优化方法、系统、设备及可读存储介质
CN115051403A (zh) 基于深度q学习的孤岛微电网负荷频率控制方法及系统
Fan et al. A frequency cooperative control strategy for multimicrogrids with EVs based on improved evolutionary-deep reinforcement learning
CN115102228A (zh) 一种含飞轮储能的风电场多目标协调频率优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination