CN114188955B - 基于自适应学习的互联微电网复合频率控制方法及装置 - Google Patents

基于自适应学习的互联微电网复合频率控制方法及装置 Download PDF

Info

Publication number
CN114188955B
CN114188955B CN202111457372.3A CN202111457372A CN114188955B CN 114188955 B CN114188955 B CN 114188955B CN 202111457372 A CN202111457372 A CN 202111457372A CN 114188955 B CN114188955 B CN 114188955B
Authority
CN
China
Prior art keywords
frequency
micro
control
controller
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111457372.3A
Other languages
English (en)
Other versions
CN114188955A (zh
Inventor
穆朝絮
王珂
刘朝阳
孙长银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111457372.3A priority Critical patent/CN114188955B/zh
Publication of CN114188955A publication Critical patent/CN114188955A/zh
Application granted granted Critical
Publication of CN114188955B publication Critical patent/CN114188955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
    • H02J3/241—The oscillation concerning frequency
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/28—Arrangements for balancing of the load in a network by storage of energy
    • H02J3/32—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means
    • H02J3/322—Arrangements for balancing of the load in a network by storage of energy using batteries with converting means the battery being on-board an electric or hybrid vehicle, e.g. vehicle to grid arrangements [V2G], power aggregation, use of the battery for network load balancing, coordinated or cooperative battery charging
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/46—Controlling of the sharing of output between the generators, converters, or transformers
    • H02J3/48—Controlling the sharing of the in-phase component
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/76—Power conversion electric or electronic aspects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E70/00—Other energy conversion or management systems reducing GHG emissions
    • Y02E70/30—Systems combining energy storage with energy generation of non-fossil origin

Landscapes

  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Wind Motors (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于自适应学习的复合频率控制方法及装置，方法包括：建立包含电动汽车和风电的互联微电网频率控制模型；依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。装置包括：处理器和存储器。本发明提高了互联微电网系统的动态频率响应能力。

Description

基于自适应学习的互联微电网复合频率控制方法及装置
技术领域
本发明涉及互联微电网领域，尤其涉及一种基于自适应学习的互联微电网复合频率控制方法及装置。
背景技术
微电网是指由分布式电源、储能装置和电力负载等组成的小型系统，是现代电力系统的一种典型代表。在电力系统中，通常存在着不同的发电单元和电力负载，频率偏差是电力负载与发电机提供的机械功率之间功率不匹配的直接后果。因此，频率偏差已成为评价电力系统稳定性和电能质量的有用指标，有功功率和频率控制称为负载频率控制(LFC,load frequency control)。
随着可再生能源的加入，由于不确定的发电量和多变的负载需求，微电网的频率控制变得更具挑战性。微型涡轮机被认为是补偿功率失配的主要受控设备；但是，对于具有可再生能源的微电网，还需要一些额外的储能设备来参与调频。电动汽车并网后可被视为分布式储能装置，它除了满足出行需求外，还可以对调频产生一些积极的影响。
比例积分微分(PID,proportion-integration-differentiation)控制是LFC设计的经典调频策略，但难以处理复杂非线性且无法应对新能源设备并网带来的挑战。近年来，基于机器学习的一些智能控制方法已经被应用到微电网系统的调频问题中。但是对于互联微电网系统，动态频率响应能力仍然有待提高、新能源设备的高效集成亟待解决。
发明内容
本发明提供了一种基于自适应学习的互联微电网复合频率控制方法及装置，本发明提高了互联微电网系统的动态频率响应能力，实现了新能源设备的高效集成，且本方法设计简单、易于实现，提高了频率稳定性，详见下文描述：
第一方面，一种基于自适应学习的复合频率控制方法，所述方法包括以下步骤：
建立包含电动汽车和风电的互联微电网频率控制模型；
依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。
其中，所述互联微电网频率控制模型为：
电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；每个微网通过区域控制误差进行调频控制，风机系统的功率稳定通过桨距角控制实现。
基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
其中，状态采集中的状态为：频率偏差及其在不同时间步的时延；
所述奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
所述方法还包括，所述辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与PID主控制器的控制信号相加，便可得到复合频率控制信号。
第二方面，一种基于自适应学习的复合频率控制装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、本发明考虑了风能和电动汽车并入互联微电网系统的工作场景，构建了一种新颖的风能混合的频率控制模型，电动汽车作为储能装置参与调频；
2、本发明提出了一种具有自适应学习能力的新型复合频率控制器，由PID主控制信号和基于强化学习的辅助控制信号组成复合控制策略，从而实现了新能源波动和负荷干扰时微电网频率的有效调节、有效消除频率偏差的同时改善了频率响应的动态性能。
附图说明
图1为一种基于自适应学习的互联微电网复合频率控制方法的流程图；
图2为频率控制模型的结构示意图；
图3为基于自适应学习的复合控制结构示意图；
其中，实线表示控制信号，虚线表示状态采集信号。
图4为扰动信号的示意图；
图5为评价神经网络的学习调整过程的示意图；
图6为频率响应结果的对比图；
图7为一种基于自适应学习的互联微电网复合频率控制装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例公开了一种考虑包含常规发电机(微型涡轮机)、电动汽车、风力发电和智能负荷的互联微电网系统，基于PID控制方法和强化学习技术提出了一种基于自适应学习的复合频率控制方法，参见图1，该方法包括以下步骤：
101：建立包含电动汽车和风电的互联微电网频率控制模型；
其中，本发明实施例公开考虑的微电网主要包括：微型涡轮机、风力涡轮机、调速器、电动汽车等设备。对于每个区域微网，测量获得涡轮机时间常数Tit，调速器时间常数Tig，电力系统时间常数Tip，电动汽车聚合器时间常数Tie，电力系统增益Kip和调速系数Kif；测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差Δfi(t)，联络线功率偏差ΔPtie,i(t)，涡轮机功率偏差ΔPit(t)，调速器位置偏差ΔXig(t)和电动汽车聚合器功率偏差ΔPie(t)；测量获得风机功率偏差ΔPiwg(t)和负荷扰动信号ΔPid(t)。
电力系统通过自动发电控制实现负载波动下的频率稳定性，当微电网供需功率不平衡时，运行频率偏移期望，可以通过区域控制误差ACEi＝ΔPtie,i+KifΔfi进行调频控制。风机系统的功率稳定通过桨距角控制实现。
102：依据控制模型完成状态采集、计算奖励信号并设计网络更新规则，得到基于自适应强化学习的智能控制策略；
其中，本发明实施例公开涉及的主要状态xia(t)是频率偏差Δfi(t)及其在不同时间步的时延，例如Δfi(t-1),Δfi(t-2),Δfi(t-3),…；奖励信号主要由当前辅助控制uia(t)的能量成本和状态奖励ri(t)组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数Ui(xia,uia)和代价函数Ji(t)。
103：基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值行为网络依据近似值和当前状态给出新的辅助控制策略；
其中，上述控制决策是通过评价网络和行为网络权值的交互迭代实现的，并且自适应于微电网的频率偏差变化。
104：将新的辅助控制策略与PID控制器的主控制策略结合，得到一种复合频率控制方案。
在这个复合设计中，PID控制器起稳定频率和消除稳态误差的基础作用，而辅助控制器则通过改善动态响应加快频率调节过程。为了保证PID控制调节的基础作用同时也是避免强化学习的异常变动，将获得的辅助控制信号进行限幅操作并与主控制信号相加得到最终的复合控制策略。
综上所述，本发明实施例针对互联微电网系统频率控制问题，利用强化学习技术，研究在风力发电和新型储能设备存在下频率能否稳定在标幺值附近允许的范围内，以实现快速、准确、有效的频率调节，是符合微电网技术的应用需求和发展趋势的。
实施例2
下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：建立包含电动汽车和风电的互联微电网频率控制模型；
其中，本发明实施例公开的复合频率控制方法的一个示例性实施场景，如图2所示，每个区域微电网主要由：频率控制器21、调速器22、微型涡轮机23、电动汽车24、风力涡轮机25等设备组成。
在一种可实现方式中，可以利用线性化模型来分析各个设备偏离额定工作点的动态特性，因此本发明实施例使用传递函数来描述每个设备，进而得到互联微电网频率控制模型。如图2的结构框图所示，核心元件的数学模型均用传递函数表示，主要包括：电力系统，可再生能源，电动汽车聚合器和调速器等。电力系统引入不确定的负载需求干扰信号ΔPid(t)和随机风力发电干扰信号ΔPiwg(t)，其中风电机组提供角速度信号Δω和风速信号Δv 给桨距角控制器，Δβ则是桨距角控制器反馈的桨距角信号。电力系统产生频率偏差信号Δfi(t)，经调速系数Ri反馈至调速器，调速器给出位置偏差信号ΔXig(t)至微型涡轮机，微型涡轮机进一步产生功率偏差ΔPit(t)。此外，本发明实施例考虑大量的电动汽车通过集群的形式接入微电网系统，方便实现集群控制；电动汽车聚合器产生功率偏差信号ΔPie(t)并作用至电力系统。在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；另外，各区域利用联络线进行互联互通，1/2πTil是区域互联增益，基于其他区域的频率偏差，每个区域微网产生联络线功率偏差ΔPtie,i(t)并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
其中，步骤201涉及微电网系统参数测量。对于每个区域微网，测量获得涡轮机时间常数Tit，调速器时间常数Tig，电力系统时间常数Tip，电动汽车聚合器时间常数Tie，电力系统增益Kip和调速系数Kif；测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差Δfi(t)，联络线功率偏差ΔPtie,i(t)，涡轮机功率偏差ΔPit(t)，调速器位置偏差ΔXig(t) 和电动汽车聚合器功率偏差ΔPie(t)；测量获得风机功率偏差ΔPiwg(t)和负荷扰动信号ΔPid(t)。
在一种可实现方式中，电力系统通过自动发电控制实现负载波动下的频率稳定性，当微电网供需功率不平衡时，运行频率偏移期望，可以通过区域控制误差ACEi＝ΔPtie,i+KifΔfi进行调频控制，该指标同时考虑了频率偏差和联络线功率偏差。
在一些实施例中，电动汽车集成到微电网系统中，可以看作是储能设备，由电动汽车聚合器进行调节。聚合器是电动汽车集群的概念，虽然单辆电动汽车的行驶位置是不确定的，但由多辆电动汽车组成的电动汽车集群会表现出一定的统计规律，其不确定性将大大降低。因而可以使用一阶惯性环节来反映电动汽车聚合器的响应特性。
对于风电机组，由于风能的随机性，其输出功率通常是波动的甚至是不稳定的。在上述实施例中，可以通过桨距角控制器26来应对风电波动，进而稳定风力发电机组的功率输出。
202：实现基于自适应学习的辅助控制；
在步骤202中，首先完成状态采集，如图3中标记31所示。
在一种实施例中，辅助控制器中利用行为网络和评价网络来生成辅助自适应控制信号uia(t)。图3示出了辅助控制器结构示意图，其中评价网络321和行为网络322通过强化学习的交互迭代实现控制决策。
举例说明，辅助控制器的输入状态向量为：
xia(t)＝[Δfi(t),Δfi(t-1)]T, (1)
其中，xia为辅助控制器的输入状态向量，Δfi(t)和Δfi(t-1)分别是时刻t的频率偏差及其一步时延，T为数学上的转置操作。
在步骤202，要完成奖励信号设计。对于每个区域，效用函数首先可以定义为：
其中，ri(t)是奖励信号并可以计算为Q为权值矩阵，用以调整系统状态在效用函数中的比重。显然不难发现该奖励由不同的频率偏差组成，用来评估辅助控制信号uia(t)的性能。这种设计考虑了系统稳定性和动态响应的需求，使得辅助控制具备了较强的自适应能力。
在步骤202，继续完成网络规则设计，通过上述两个网络的交互学习获得辅助控制策略。在效用函数基础之上，定义代价函数如下：
Ji(t)＝Ui(xia,uia)+γJi(t+1), (3)
其中，γ是折扣因子，Ui为效用函数，Ji为代价函数。
建立微电网系统频率调节的效用函数Ui(xia,uia)和代价函数Ji(t)。
在一种实施例中，评价网络用来近似代价函数，获得如下的近似值：
其中，是代价函数的近似值，/>是隐层到输出层的权值，/>是中间变量， mc为评价网络中隐层的神经元个数。
在此基础上，可以获得评价网络的学习误差如下：
行为网络用来近似辅助控制策略，获得如下的近似值：
其中，是隐层到输出层的权值，/>是中间变量，ma为行为网络中隐层的神经元个数。
在此基础上，可以获得行为网络的学习误差如下：
其中，Ud(t)是理想的代价，一般情况下，可以将其选择为0。
接下来，根据评价网络和行为网络的学习误差，确定评价网络的平方误差
确定行为网络的平方误差/>然后，采用基于反向传播的梯度下降方法，确定评价网络和行为网络的更新规则如下：
其中，和/>分别表示评价网络和行为网络的更新量；αc＞0和αa＞0分别代表评价网络和行为网络的学习率。
203：互联微电网的复合频率控制。
在步骤203中，完成复合频率控制器的构建。图3示出本发明实施例的复合频率控制器的实施思路，辅助控制器32和PID控制器33共同构成复合频率控制器，其体现在图2 中的标记21。在这种情况下，复合控制信号ui(t)是通过将主控制信号uio(t)和辅助控制信号uia(t)相加而获得的，在获得复合控制信号之前，需要对辅助控制信号进行限幅，此设计可以保证PID控制调节的基础作用的同时避免强化学习的异常变动。在这个复合设计中， PID控制器起稳定频率和消除稳态误差的基础作用，而辅助控制器则通过改善动态响应加快频率调节过程。
进一步地，复合控制信号将会被用于电力系统34中。不难看出，步骤203是对步骤201中频率控制模型中频率控制器的细化描述和具体描述。
实施例3
下面结合具体的实验数据、实例对实施例1和2中的方案进行可行性验证，详见下文描述：
基于图2中所示的频率控制模型进行验证仿真，以一个双区域的微电网系统说明如何实施提出的复合频率控制方法。值得强调的是，电动汽车和风机都提供有功功率来补偿发电量，因此在实施例中，风能和电动汽车的影响被视为正功率扰动而负荷需求则被认为是负功率扰动。
根据步骤201，对两个区域微电网，获得微型涡轮机时间常数T1t＝0.3,T1t＝0.4，调速器时间常数T1g＝0.1,T2g＝0.15，电力系统时间常数T1p＝10,T2p＝8，电动汽车聚合器时间常数T1e＝1,T2e＝1,，电力系统增益K1p＝1,K2p＝2和调速系数K1f＝0.4,K2f＝0.4。
调频过程中，实施者应该测量获得微电网运行的各类数据信息，包括：区域电网的频率偏差Δfi(t)，联络线功率偏差ΔPtie,i(t)，涡轮机功率偏差ΔPit(t)，调速器位置偏差ΔXig(t) 和电动汽车聚合器功率偏差ΔPie(t)。
根据图2中示出的桨距角控制器，测量获得风机功率偏差ΔPiwg(t)；在此基础上，考虑负载需求变化引起的负荷干扰，施加了两个由负荷变化引起的有功功率扰动ΔPid(t)，分别为10秒处的-0.12p.u干扰和40秒处的+0.16p.u干扰。将这两种扰动合并就可以得到图4 所示的扰动信号。
根据步骤202，对两个区域微电网按照公式(1)和(2)所示计算输入状态向量xia(t)和奖励信号其中Q＝[1,0；0,0.5]。按照公式(4)和(6)所示配置神经网络，其中折扣因子γ＝0.95，神经元数目mc＝ma＝6。
根据步骤203，按照图3所示进行复合频率控制器设计。首先，配置PID控制器，对于区域1，比例增益、积分增益和微分增益分别为KP1＝15,KI1＝26,KD1＝1；对于区域2，比例增益、积分增益和微分增益分别为KP2＝5,KI2＝20,KD2＝4。其次，配置辅助控制器，辅助控制策略根据步骤202中构建的网络结构执行即可，需要对两个区域的辅助控制信号进行限幅，约束在区间[-0.01,0.01]p.u.之内。
代表性地，评价网络调整过程如图5所示，可以发现评价权值随着扰动波次变化进行自适应调节；行为网络的调整过程与评价网络类似，此处便不再赘述。一旦获得收敛的权值，辅助控制便会给出新的控制信号，经限幅与PID控制信号相加，便可用于电力系统进行频率控制。图6示出了本公开的复合频率控制方法与纯PID控制方法的调频过程对比，可以发现，复合频率控制方法在维持较好稳态效果的同时还能较快地减少频率波动。为了更加形象地展示两种方法的对比结果，定义频偏积分绝对误差(IAE)：
在实施例中，按照上述公式计算调频阶段的IAE。对于区域1，复合频率控制方法和纯PID控制方法的IAE分别为F1ae＝0.6256和F1ae＝0.7810；对于区域2，两种方法的IAE 分别为F2ae＝0.8158和F2ae＝0.9539。
总的来说，本发明实施例公开的一种基于自适应学习的互联微电网复合频率控制方法的有益效果是属实的。
实施例4
一种基于自适应学习的复合频率控制装置，参见图7，该装置包括：处理器1和存储器2，存储器2中存储有程序指令，处理器1调用存储器2中存储的程序指令以使装置执行实施例1中的以下方法步骤：
电动汽车和风电的互联微电网频率控制模型；
依据所述互联微电网频率控制模型完成状态采集、计算奖励信号并设计网络更新规则，获取基于自适应强化学习的智能控制策略；
基于强化学习过程和梯度下降法得到网络更新规则，通过评价网络评估当前策略并给出代价函数的近似值，行为网络依据近似值和当前状态给出新的辅助控制策略；
频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制。
其中，上述的互联微电网频率控制模型为：
电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；
基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器。
其中，状态采集中的状态为：频率偏差及其在不同时间步的时延；
奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数。
该处理器还包括，辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与PID主控制器的控制信号相加，便可得到复合频率控制信号。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于自适应学习的复合频率控制方法，其特征在于，所述方法包括以下步骤：
建立包含电动汽车和风电的互联微电网频率控制模型；
依据所述互联微电网频率控制模型获得频率偏差信号，考虑偏差信号及其一步时延完成状态采集，进而得到奖励信号和效用函数，在效用函数基础之上建立代价函数；
构建评价网络近似代价函数并构建行为网络近似辅助控制策略，利用网络学习误差和梯度下降法得到网络更新规则，通过两个网络的交互迭代更新实现基于自适应学习的辅助控制；
频率控制器由PID主控制器和辅助控制器组成，辅助控制器由评价网络和行为网络组成并执行强化学习过程；将新的辅助控制策略进行限幅操作并与PID控制器的主控制策略相加，实现对微电网频率的复合控制；
所述互联微电网频率控制模型为：核心元件的数学模型均用传递函数表示，包括：电力系统，频率控制器，调速器，微型涡轮机，电动汽车聚合器，风电机组，桨距角控制器，区域互连增益，电力系统引入不确定的负载需求干扰信号ΔPid(t)和随机风力发电干扰信号ΔPiwg(t)，其中风电机组提供角速度信号Δω和风速信号Δv给桨距角控制器，Δβ则是桨距角控制器反馈的桨距角信号，电力系统产生频率偏差信号Δfi(t)，经调速系数Ri反馈至调速器，调速器给出位置偏差信号ΔXig(t)至微型涡轮机，微型涡轮机进一步产生功率偏差ΔPit(t)；
电动汽车通过集群的形式接入微电网系统；电动汽车聚合器产生功率偏差信号并作用至电力系统；
在每个区域中，微型涡轮机和风力涡轮机为电力负载提供有功功率；各区域利用联络线进行互联互通；每个微网通过区域控制误差进行调频控制，风机系统的功率稳定通过桨距角控制实现；
基于其他区域的频率偏差，每个区域微网产生联络线功率偏差并反馈至频率控制器，频率控制器输出控制信号至调速器和电动汽车聚合器；
所述状态为：频率偏差及其在不同时间步的时延；
所述奖励信号由当前辅助控制的能量成本和状态奖励组成，采用典型的二次型函数表征，建立微电网系统频率调节的效用函数和代价函数；
所述辅助控制器利用行为网络和评价网络来生成辅助自适应控制信号，评价网络和行为网络通过强化学习的交互迭代实现控制决策；通过对辅助控制信号进行限幅并与PID主控制器的控制信号相加，便可得到复合频率控制信号。
2.一种基于自适应学习的复合频率控制装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1所述的方法步骤。
CN202111457372.3A 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置 Active CN114188955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111457372.3A CN114188955B (zh) 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111457372.3A CN114188955B (zh) 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置

Publications (2)

Publication Number Publication Date
CN114188955A CN114188955A (zh) 2022-03-15
CN114188955B true CN114188955B (zh) 2023-08-01

Family

ID=80603213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111457372.3A Active CN114188955B (zh) 2021-12-01 2021-12-01 基于自适应学习的互联微电网复合频率控制方法及装置

Country Status (1)

Country Link
CN (1) CN114188955B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108448594A (zh) * 2018-03-05 2018-08-24 中国科学院自动化研究所 微电网频率自适应学习控制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274106A (zh) * 2018-09-16 2019-01-25 天津大学 一种基于电动汽车集群的智能电网频率控制方法
CN111446724B (zh) * 2020-03-17 2023-03-07 天津大学 一种基于滑模算法的多源互联微电网频率协调控制方法
CN111355234A (zh) * 2020-03-18 2020-06-30 国网浙江嘉善县供电有限公司 一种基于强化学习的微电网频率控制方法
CN111682563A (zh) * 2020-05-12 2020-09-18 天津大学 一种基于电储能系统的微电网智能频率控制方法
CN112213945B (zh) * 2020-10-10 2023-01-20 国网河南省电力公司电力科学研究院 电动汽车参与微网群调频的改进鲁棒预测控制方法和系统
CN113093526B (zh) * 2021-04-02 2022-05-24 浙江工业大学 一种基于强化学习的无超调pid控制器参数整定方法
CN113346552A (zh) * 2021-04-19 2021-09-03 国网重庆市电力公司 基于积分式强化学习的自适应最优agc控制方法
CN113394770A (zh) * 2021-05-31 2021-09-14 南方电网海上风电联合开发有限公司 互联微网群频率完全分布式优化控制方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108448594A (zh) * 2018-03-05 2018-08-24 中国科学院自动化研究所 微电网频率自适应学习控制方法

Also Published As

Publication number Publication date
CN114188955A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
EP2703914A1 (en) Hybrid control system and method for automatic voltage regulator
Aravindh et al. Design of observer-based non-fragile load frequency control for power systems with electric vehicles
CN106295001B (zh) 适用于电力系统中长时间尺度的准稳态变步长仿真方法
CN108427288B (zh) 一类具有时变时延的网络化线性参数变化系统的h∞容错控制方法
Picallo et al. Adaptive real-time grid operation via online feedback optimization with sensitivity estimation
Sabo et al. Farmland fertility optimization for designing of interconnected multi-machine power system stabilizer
WO2022121446A1 (zh) 控制系统、无功电压控制方法和装置、介质以及计算装置
Zenk et al. Two different power control system load-frequency analysis using fuzzy logic controller
Kairuz et al. Robust observer design with prescribed settling-time bound and finite varying gains
Mu et al. Adaptive composite frequency control of power systems using reinforcement learning
Do et al. Wind turbine robust disturbance accommodating control using non‐smooth H∞ optimization
CN114188955B (zh) 基于自适应学习的互联微电网复合频率控制方法及装置
Zhang et al. Virtual inertia control parameter regulator of doubly fed induction generator based on direct heuristic dynamic programming
CN111064228B (zh) 考虑风速和负荷变化场景的风电机组下垂控制方法、系统及计算机设备
Björk et al. Influence of sensor feedback limitations on power oscillation damping and transient stability
JP6067289B2 (ja) 電力系統の縮約モデル作成装置、作成方法及び作成プログラム
Karthikeyan et al. Load frequency control for three area system with time delays using fuzzy logic controller
CN114400675B (zh) 基于权重均值深度双q网络的主动配电网电压控制方法
Shajiee et al. Design of a robust H∞ dynamic sliding mode torque observer for the 100 KW wind turbine
Roy et al. A nonlinear adaptive excitation controller design for two‐axis models of synchronous generators in multimachine power systems to augment the transient stability during severe faults
CN115589004A (zh) 一种考虑延时特性的风电机组调频方法及系统
JPH1063307A (ja) 火力プラント主制御系におけるフィードフォワード制御装置
CN114294158A (zh) 基于鲁棒控制的风电机组气动不平衡载荷控制方法
Tacke et al. Advanced frequency-domain compensator design for subsystems within a nuclear generating station
CN113406888A (zh) 基于ladrc的汽轮发电机控制系统及其静态补偿系数确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant