CN114188955A - 基于自适应学习的互联微电网复合频率控制方法及装置 - Google Patents

基于自适应学习的互联微电网复合频率控制方法及装置 Download PDF

Info

Publication number
CN114188955A
CN114188955A CN202111457372.3A CN202111457372A CN114188955A CN 114188955 A CN114188955 A CN 114188955A CN 202111457372 A CN202111457372 A CN 202111457372A CN 114188955 A CN114188955 A CN 114188955A
Authority
CN
China
Prior art keywords
frequency
control
network
controller
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111457372.3A
Other languages
English (en)
Other versions
CN114188955B (zh
Inventor
穆朝絮
王珂
刘朝阳
孙长银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111457372.3A priority Critical patent/CN114188955B/zh
Publication of CN114188955A publication Critical patent/CN114188955A/zh
Application granted granted Critical
Publication of CN114188955B publication Critical patent/CN114188955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • H02J3/241—The oscillation concerning frequency
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H02J3/322—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means the battery being on-board an electric or hybrid vehicle, e.g. vehicle to grid arrangements [V2G], power aggregation, use of the battery for network load balancing, coordinated or cooperative battery charging
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/48—Controlling the sharing of the in-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/76—Power conversion electric or electronic aspects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E70/00—Other energy conversion or management systems reducing GHG emissions
    • Y02E70/30—Systems combining energy storage with energy generation of non-fossil origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Wind Motors (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于自适应学习的复合频率控制方法及装置，方法包括：建立包含电动汽车和风电的互联微电网频率控制模型；依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。装置包括：处理器和存储器。本发明提高了互联微电网系统的动态频率响应能力。

Description

基于自适应学习的互联微电网复合频率控制方法及装置
技术领域
本发明涉及互联微电网领域，尤其涉及一种基于自适应学习的互联微电网复合频率控制方法及装置。
背景技术
微电网是指由分布式电源、储能装置和电力负载等组成的小型系统，是现代电力系统的一种典型代表。在电力系统中，通常存在着不同的发电单元和电力负载，频率偏差是电力负载与发电机提供的机械功率之间功率不匹配的直接后果。因此，频率偏差已成为评价电力系统稳定性和电能质量的有用指标，有功功率和频率控制称为负载频率控制(LFC,load frequency control)。
随着可再生能源的加入，由于不确定的发电量和多变的负载需求，微电网的频率控制变得更具挑战性。微型涡轮机被认为是补偿功率失配的主要受控设备；但是，对于具有可再生能源的微电网，还需要一些额外的储能设备来参与调频。电动汽车并网后可被视为分布式储能装置，它除了满足出行需求外，还可以对调频产生一些积极的影响。
比例积分微分(PID,proportion-integration-differentiation)控制是LFC设计的经典调频策略，但难以处理复杂非线性且无法应对新能源设备并网带来的挑战。近年来，基于机器学习的一些智能控制方法已经被应用到微电网系统的调频问题中。但是对于互联微电网系统，动态频率响应能力仍然有待提高、新能源设备的高效集成亟待解决。
发明内容
本发明提供了一种基于自适应学习的互联微电网复合频率控制方法及装置，本发明提高了互联微电网系统的动态频率响应能力，实现了新能源设备的高效集成，且本方法设计简单、易于实现，提高了频率稳定性，详见下文描述：
第一方面，一种基于自适应学习的复合频率控制方法，所述方法包括以下步骤：
建立包含电动汽车和风电的互联微电网频率控制模型；
依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。
其中，所述互联微电网频率控制模型为：
电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；每个微网通过区域控制误差进行调频控制，风机系统的功率稳定通过桨距角控制实现。
基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
其中，状态采集中的状态为：频率偏差及其在不同时间步的时延；
所述奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
所述方法还包括，所述辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与PID主控制器的控制信号相加，便可得到复合频率控制信号。
第二方面，一种基于自适应学习的复合频率控制装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、本发明考虑了风能和电动汽车并入互联微电网系统的工作场景，构建了一种新颖的风能混合的频率控制模型，电动汽车作为储能装置参与调频；
2、本发明提出了一种具有自适应学习能力的新型复合频率控制器，由PID主控制信号和基于强化学习的辅助控制信号组成复合控制策略，从而实现了新能源波动和负荷干扰时微电网频率的有效调节、有效消除频率偏差的同时改善了频率响应的动态性能。
附图说明
图1为一种基于自适应学习的互联微电网复合频率控制方法的流程图；
图2为频率控制模型的结构示意图；
图3为基于自适应学习的复合控制结构示意图；
其中，实线表示控制信号，虚线表示状态采集信号。
图4为扰动信号的示意图；
图5为评价神经网络的学习调整过程的示意图；
图6为频率响应结果的对比图；
图7为一种基于自适应学习的互联微电网复合频率控制装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例公开了一种考虑包含常规发电机(微型涡轮机)、电动汽车、风力发电和智能负荷的互联微电网系统，基于PID控制方法和强化学习技术提出了一种基于自适应学习的复合频率控制方法，参见图1，该方法包括以下步骤：
101：建立包含电动汽车和风电的互联微电网频率控制模型；
其中，本发明实施例公开考虑的微电网主要包括：微型涡轮机、风力涡轮机、调速器、电动汽车等设备。对于每个区域微网，测量获得涡轮机时间常数Tit，调速器时间常数Tig，电力系统时间常数Tip，电动汽车聚合器时间常数Tie，电力系统增益Kip和调速系数Kif；测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差Δfi(t)，联络线功率偏差ΔPtie,i(t)，涡轮机功率偏差ΔPit(t)，调速器位置偏差ΔXig(t)和电动汽车聚合器功率偏差ΔPie(t)；测量获得风机功率偏差ΔPiwg(t)和负荷扰动信号ΔPid(t)。
电力系统通过自动发电控制实现负载波动下的频率稳定性，当微电网供需功率不平衡时，运行频率偏移期望，可以通过区域控制误差ACEi＝ΔPtie,i+KifΔfi进行调频控制。风机系统的功率稳定通过桨距角控制实现。
102：依据控制模型完成状态采集、计算奖励信号并设计网络更新规则，得到基于自适应强化学习的智能控制策略；
其中，本发明实施例公开涉及的主要状态xia(t)是频率偏差Δfi(t)及其在不同时间步的时延，例如Δfi(t-1),Δfi(t-2),Δfi(t-3),…；奖励信号主要由当前辅助控制uia(t)的能量成本和状态奖励ri(t)组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数Ui(xia,uia)和代价函数Ji(t)。
103：基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值
Figure RE-GDA0003492019270000041
行为网络依据近似值和当前状态给出新的辅助控制策略；
其中，上述控制决策是通过评价网络和行为网络权值的交互迭代实现的，并且自适应于微电网的频率偏差变化。
104：将新的辅助控制策略与PID控制器的主控制策略结合，得到一种复合频率控制方案。
在这个复合设计中，PID控制器起稳定频率和消除稳态误差的基础作用，而辅助控制器则通过改善动态响应加快频率调节过程。为了保证PID控制调节的基础作用同时也是避免强化学习的异常变动，将获得的辅助控制信号进行限幅操作并与主控制信号相加得到最终的复合控制策略。
综上所述，本发明实施例针对互联微电网系统频率控制问题，利用强化学习技术，研究在风力发电和新型储能设备存在下频率能否稳定在标幺值附近允许的范围内，以实现快速、准确、有效的频率调节，是符合微电网技术的应用需求和发展趋势的。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：建立包含电动汽车和风电的互联微电网频率控制模型；
其中，本发明实施例公开的复合频率控制方法的一个示例性实施场景，如图2所示，每个区域微电网主要由：频率控制器21、调速器22、微型涡轮机23、电动汽车24、风力涡轮机25等设备组成。
在一种可实现方式中，可以利用线性化模型来分析各个设备偏离额定工作点的动态特性，因此本发明实施例使用传递函数来描述每个设备，进而得到互联微电网频率控制模型。如图2的结构框图所示，核心元件的数学模型均用传递函数表示，主要包括：电力系统，可再生能源，电动汽车聚合器和调速器等。电力系统引入不确定的负载需求干扰信号ΔPid(t)和随机风力发电干扰信号ΔPiwg(t)，其中风电机组提供角速度信号Δω和风速信号Δv 给桨距角控制器，Δβ则是桨距角控制器反馈的桨距角信号。电力系统产生频率偏差信号Δfi(t)，经调速系数Ri反馈至调速器，调速器给出位置偏差信号ΔXig(t)至微型涡轮机，微型涡轮机进一步产生功率偏差ΔPit(t)。此外，本发明实施例考虑大量的电动汽车通过集群的形式接入微电网系统，方便实现集群控制；电动汽车聚合器产生功率偏差信号ΔPie(t)并作用至电力系统。在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；另外，各区域利用联络线进行互联互通，1/2πTil是区域互联增益，基于其他区域的频率偏差，每个区域微网产生联络线功率偏差ΔPtie,i(t)并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
其中，步骤201涉及微电网系统参数测量。对于每个区域微网，测量获得涡轮机时间常数Tit，调速器时间常数Tig，电力系统时间常数Tip，电动汽车聚合器时间常数Tie，电力系统增益Kip和调速系数Kif；测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差Δfi(t)，联络线功率偏差ΔPtie,i(t)，涡轮机功率偏差ΔPit(t)，调速器位置偏差ΔXig(t) 和电动汽车聚合器功率偏差ΔPie(t)；测量获得风机功率偏差ΔPiwg(t)和负荷扰动信号ΔPid(t)。
在一种可实现方式中，电力系统通过自动发电控制实现负载波动下的频率稳定性，当微电网供需功率不平衡时，运行频率偏移期望，可以通过区域控制误差ACEi＝ΔPtie,i+KifΔfi进行调频控制，该指标同时考虑了频率偏差和联络线功率偏差。
在一些实施例中，电动汽车集成到微电网系统中，可以看作是储能设备，由电动汽车聚合器进行调节。聚合器是电动汽车集群的概念，虽然单辆电动汽车的行驶位置是不确定的，但由多辆电动汽车组成的电动汽车集群会表现出一定的统计规律，其不确定性将大大降低。因而可以使用一阶惯性环节来反映电动汽车聚合器的响应特性。
对于风电机组，由于风能的随机性，其输出功率通常是波动的甚至是不稳定的。在上述实施例中，可以通过桨距角控制器26来应对风电波动，进而稳定风力发电机组的功率输出。
202：实现基于自适应学习的辅助控制；
在步骤202中，首先完成状态采集，如图3中标记31所示。
在一种实施例中，辅助控制器中利用行为网络和评价网络来生成辅助自适应控制信号uia(t)。图3示出了辅助控制器结构示意图，其中评价网络321和行为网络322通过强化学习的交互迭代实现控制决策。
举例说明，辅助控制器的输入状态向量为：
xia(t)＝[Δfi(t),Δfi(t-1)]T, (1)
其中，xia为辅助控制器的输入状态向量，Δfi(t)和Δfi(t-1)分别是时刻t的频率偏差及其一步时延，T为数学上的转置操作。
在步骤202，要完成奖励信号设计。对于每个区域，效用函数首先可以定义为：
Figure RE-GDA0003492019270000061
其中，ri(t)是奖励信号并可以计算为
Figure RE-GDA0003492019270000062
Q为权值矩阵，用以调整系统状态在效用函数中的比重。显然不难发现该奖励由不同的频率偏差组成，用来评估辅助控制信号uia(t)的性能。这种设计考虑了系统稳定性和动态响应的需求，使得辅助控制具备了较强的自适应能力。
在步骤202，继续完成网络规则设计，通过上述两个网络的交互学习获得辅助控制策略。在效用函数基础之上，定义代价函数如下：
Ji(t)＝Ui(xia,uia)+γJi(t+1), (3)
其中，γ是折扣因子，Ui为效用函数，Ji为代价函数。
建立微电网系统频率调节的效用函数Ui(xia,uia)和代价函数Ji(t)。
在一种实施例中，评价网络用来近似代价函数，获得如下的近似值：
Figure RE-GDA0003492019270000063
其中，
Figure RE-GDA0003492019270000064
是代价函数的近似值，
Figure RE-GDA0003492019270000065
是隐层到输出层的权值，
Figure RE-GDA0003492019270000066
是中间变量， mc为评价网络中隐层的神经元个数。
在此基础上，可以获得评价网络的学习误差如下：
Figure RE-GDA0003492019270000067
行为网络用来近似辅助控制策略，获得如下的近似值：
Figure RE-GDA0003492019270000068
其中，
Figure RE-GDA0003492019270000069
是隐层到输出层的权值，
Figure RE-GDA00034920192700000610
是中间变量，ma为行为网络中隐层的神经元个数。
在此基础上，可以获得行为网络的学习误差如下：
Figure RE-GDA00034920192700000611
其中，Ud(t)是理想的代价，一般情况下，可以将其选择为0。
接下来，根据评价网络和行为网络的学习误差，确定评价网络的平方误差
Figure RE-GDA0003492019270000071
确定行为网络的平方误差
Figure RE-GDA0003492019270000072
然后，采用基于反向传播的梯度下降方法，确定评价网络和行为网络的更新规则如下：
Figure RE-GDA0003492019270000073
其中，
Figure RE-GDA0003492019270000074
和
Figure RE-GDA0003492019270000075
分别表示评价网络和行为网络的更新量；αc＞0和αa＞0分别代表评价网络和行为网络的学习率。
203：互联微电网的复合频率控制。
在步骤203中，完成复合频率控制器的构建。图3示出本发明实施例的复合频率控制器的实施思路，辅助控制器32和PID控制器33共同构成复合频率控制器，其体现在图2 中的标记21。在这种情况下，复合控制信号ui(t)是通过将主控制信号uio(t)和辅助控制信号uia(t)相加而获得的，在获得复合控制信号之前，需要对辅助控制信号进行限幅，此设计可以保证PID控制调节的基础作用的同时避免强化学习的异常变动。在这个复合设计中， PID控制器起稳定频率和消除稳态误差的基础作用，而辅助控制器则通过改善动态响应加快频率调节过程。
进一步地，复合控制信号将会被用于电力系统34中。不难看出，步骤203是对步骤201中频率控制模型中频率控制器的细化描述和具体描述。
实施例3
下面结合具体的实验数据、实例对实施例1和2中的方案进行可行性验证，详见下文描述：
基于图2中所示的频率控制模型进行验证仿真，以一个双区域的微电网系统说明如何实施提出的复合频率控制方法。值得强调的是，电动汽车和风机都提供有功功率来补偿发电量，因此在实施例中，风能和电动汽车的影响被视为正功率扰动而负荷需求则被认为是负功率扰动。
根据步骤201，对两个区域微电网，获得微型涡轮机时间常数T1t＝0.3,T1t＝0.4，调速器时间常数T1g＝0.1,T2g＝0.15，电力系统时间常数T1p＝10,T2p＝8，电动汽车聚合器时间常数T1e＝1,T2e＝1,，电力系统增益K1p＝1,K2p＝2和调速系数K1f＝0.4,K2f＝0.4。
调频过程中，实施者应该测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差Δfi(t)，联络线功率偏差ΔPtie,i(t)，涡轮机功率偏差ΔPit(t)，调速器位置偏差ΔXig(t) 和电动汽车聚合器功率偏差ΔPie(t)。
根据图2中示出的桨距角控制器，测量获得风机功率偏差ΔPiwg(t)；在此基础上，考虑负载需求变化引起的负荷干扰，施加了两个由负荷变化引起的有功功率扰动ΔPid(t)，分别为10秒处的-0.12p.u干扰和40秒处的+0.16p.u干扰。将这两种扰动合并就可以得到图4 所示的扰动信号。
根据步骤202，对两个区域微电网按照公式(1)和(2)所示计算输入状态向量xia(t)和奖励信号
Figure RE-GDA0003492019270000081
其中Q＝[1,0；0,0.5]。按照公式(4)和(6)所示配置神经网络，其中折扣因子γ＝0.95，神经元数目mc＝ma＝6。
根据步骤203，按照图3所示进行复合频率控制器设计。首先，配置PID控制器，对于区域1，比例增益、积分增益和微分增益分别为KP1＝15,KI1＝26,KD1＝1；对于区域2，比例增益、积分增益和微分增益分别为KP2＝5,KI2＝20,KD2＝4。其次，配置辅助控制器，辅助控制策略根据步骤202中构建的网络结构执行即可，需要对两个区域的辅助控制信号进行限幅，约束在区间[-0.01,0.01]p.u.之内。
代表性地，评价网络调整过程如图5所示，可以发现评价权值随着扰动波次变化进行自适应调节；行为网络的调整过程与评价网络类似，此处便不再赘述。一旦获得收敛的权值，辅助控制便会给出新的控制信号，经限幅与PID控制信号相加，便可用于电力系统进行频率控制。图6示出了本公开的复合频率控制方法与纯PID控制方法的调频过程对比，可以发现，复合频率控制方法在维持较好稳态效果的同时还能较快地减少频率波动。为了更加形象地展示两种方法的对比结果，定义频偏积分绝对误差(IAE)：
Figure RE-GDA0003492019270000082
在实施例中，按照上述公式计算调频阶段的IAE。对于区域1，复合频率控制方法和纯PID控制方法的IAE分别为F1ae＝0.6256和F1ae＝0.7810；对于区域2，两种方法的IAE 分别为F2ae＝0.8158和F2ae＝0.9539。
总的来说，本发明实施例公开的一种基于自适应学习的互联微电网复合频率控制方法的有益效果是属实的。
实施例4
一种基于自适应学习的复合频率控制装置，参见图7，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的以下方法步骤：
电动汽车和风电的互联微电网频率控制模型；
依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。
其中，上述的互联微电网频率控制模型为：
电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；
基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
其中，状态采集中的状态为：频率偏差及其在不同时间步的时延；
奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
该处理器还包括，辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与PID主控制器的控制信号相加，便可得到复合频率控制信号。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于自适应学习的复合频率控制方法，其特征在于，所述方法包括以下步骤：
建立包含电动汽车和风电的互联微电网频率控制模型；
依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。
2.根据权利要求1所述的一种基于自适应学习的复合频率控制方法，其特征在于，所述互联微电网频率控制模型为：
电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；每个微网通过区域控制误差进行调频控制，风机系统的功率稳定通过桨距角控制实现；
基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
3.根据权利要求1所述的一种基于自适应学习的复合频率控制方法，其特征在于，
所述状态为：频率偏差及其在不同时间步的时延；
所述奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
4.根据权利要求1所述的一种基于自适应学习的复合频率控制方法，其特征在于，
所述辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与PID主控制器的控制信号相加，便可得到复合频率控制信号。
5.一种基于自适应学习的复合频率控制装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-4中的任一项所述的方法步骤。
CN202111457372.3A 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置 Active CN114188955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111457372.3A CN114188955B (zh) 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111457372.3A CN114188955B (zh) 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置

Publications (2)

Publication Number Publication Date
CN114188955A true CN114188955A (zh) 2022-03-15
CN114188955B CN114188955B (zh) 2023-08-01

Family

ID=80603213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111457372.3A Active CN114188955B (zh) 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置

Country Status (1)

Country Link
CN (1) CN114188955B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108448594A (zh) * 2018-03-05 2018-08-24 中国科学院自动化研究所 微电网频率自适应学习控制方法
CN109274106A (zh) * 2018-09-16 2019-01-25 天津大学 一种基于电动汽车集群的智能电网频率控制方法
CN111355234A (zh) * 2020-03-18 2020-06-30 国网浙江嘉善县供电有限公司 一种基于强化学习的微电网频率控制方法
CN111446724A (zh) * 2020-03-17 2020-07-24 天津大学 一种基于滑模算法的多源互联微电网频率协调控制方法
CN111682563A (zh) * 2020-05-12 2020-09-18 天津大学 一种基于电储能系统的微电网智能频率控制方法
CN112213945A (zh) * 2020-10-10 2021-01-12 国网河南省电力公司电力科学研究院 电动汽车参与微网群调频的改进鲁棒预测控制方法和系统
CN113093526A (zh) * 2021-04-02 2021-07-09 浙江工业大学 一种基于强化学习的无超调pid控制器参数整定方法
CN113346552A (zh) * 2021-04-19 2021-09-03 国网重庆市电力公司 基于积分式强化学习的自适应最优agc控制方法
CN113394770A (zh) * 2021-05-31 2021-09-14 南方电网海上风电联合开发有限公司 互联微网群频率完全分布式优化控制方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108448594A (zh) * 2018-03-05 2018-08-24 中国科学院自动化研究所 微电网频率自适应学习控制方法
CN109274106A (zh) * 2018-09-16 2019-01-25 天津大学 一种基于电动汽车集群的智能电网频率控制方法
CN111446724A (zh) * 2020-03-17 2020-07-24 天津大学 一种基于滑模算法的多源互联微电网频率协调控制方法
CN111355234A (zh) * 2020-03-18 2020-06-30 国网浙江嘉善县供电有限公司 一种基于强化学习的微电网频率控制方法
CN111682563A (zh) * 2020-05-12 2020-09-18 天津大学 一种基于电储能系统的微电网智能频率控制方法
CN112213945A (zh) * 2020-10-10 2021-01-12 国网河南省电力公司电力科学研究院 电动汽车参与微网群调频的改进鲁棒预测控制方法和系统
CN113093526A (zh) * 2021-04-02 2021-07-09 浙江工业大学 一种基于强化学习的无超调pid控制器参数整定方法
CN113346552A (zh) * 2021-04-19 2021-09-03 国网重庆市电力公司 基于积分式强化学习的自适应最优agc控制方法
CN113394770A (zh) * 2021-05-31 2021-09-14 南方电网海上风电联合开发有限公司 互联微网群频率完全分布式优化控制方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAOXU MU等: "Hierarchically Adaptive Frequency Control for an EV-Integrated Smart Grid With Renewable Energy", 《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》, vol. 14, no. 9, pages 4254 - 4263, XP011689741, DOI: 10.1109/TII.2018.2846545 *
刘伟强: "基于优化的微网系统控制问题研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, pages 042 - 833 *

Also Published As

Publication number Publication date
CN114188955B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Farsangi et al. Choice of FACTS device control inputs for damping interarea oscillations
CN110829487B (zh) 一种电力系统的频率动态预测方法
Mohagheghi et al. Optimal wide area controller and state predictor for a power system
EP2703914A1 (en) Hybrid control system and method for automatic voltage regulator
CN103324828B (zh) 基于运行方式灵敏度的电力系统低频振荡辅助决策方法
Salgotra et al. A frequency domain model‐based design of PSS and TCSC controller for damping the small signal oscillations in the power system
Mu et al. Adaptive composite frequency control of power systems using reinforcement learning
US20240296261A1 (en) Power system model calibration using measurement data
CN107346889A (zh) 考虑一二次调频及最小频率偏差的负荷削减优化模型构建方法
Bououden et al. Fuzzy predictive control of a variable speed wind turbine
Zhang et al. Virtual inertia control parameter regulator of doubly fed induction generator based on direct heuristic dynamic programming
Morovati et al. Control coordination between DFIG-based wind turbines and synchronous generators for optimal primary frequency response
Chauhan et al. Impact of distributed generation in single area load frequency control on system frequency
CN114188955A (zh) 基于自适应学习的互联微电网复合频率控制方法及装置
CN113162063B (zh) 一种抑制超低频振荡的多直流协调控制器设计方法
JPH1063307A (ja) 火力プラント主制御系におけるフィードフォワード制御装置
Fank et al. Enhancement of inter‐area oscillation damping by wide‐area controlled hydropower plants
CN108471147B (zh) 含双馈风机的动态安全域优化算法
CN113241793A (zh) 一种计及风电场景的含ipfc电力系统预防控制方法
Suh et al. Imbalance‐based primary frequency control for converter‐fed microgrid
Joseph et al. Small signal stability analysis and optimal control of multi-area power system
Abdelsalam et al. A TSA-based consideration to design LQR auxiliary voltage control of DFIG
JP7486798B2 (ja) 負荷周波数制御信号を推定する方法、プロセッサ、及びプログラム
Sönmez et al. Impact of Virtual Synchronous Generator on Stability Delay Margins of a Micro-Grid with Communication Time Delay
Sabo et al. Artificial Eco-System-Based Optimization Algorithm for Optimal Design of Single-Machine Infinite Bus and Multi-Machine Power System Stabilizers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant