CN115051403A - 基于深度q学习的孤岛微电网负荷频率控制方法及系统 - Google Patents
基于深度q学习的孤岛微电网负荷频率控制方法及系统 Download PDFInfo
- Publication number
- CN115051403A CN115051403A CN202210259716.8A CN202210259716A CN115051403A CN 115051403 A CN115051403 A CN 115051403A CN 202210259716 A CN202210259716 A CN 202210259716A CN 115051403 A CN115051403 A CN 115051403A
- Authority
- CN
- China
- Prior art keywords
- frequency control
- power
- microgrid
- learning
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000010248 power generation Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 6
- 238000007599 discharging Methods 0.000 claims description 5
- 230000010355 oscillation Effects 0.000 claims description 4
- 239000000178 monomer Substances 0.000 claims description 3
- 238000004088 simulation Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004146 energy storage Methods 0.000 description 4
- OIGNJSKKLXVSLS-VWUMJDOOSA-N prednisolone Chemical compound O=C1C=C[C@]2(C)[C@H]3[C@@H](O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 OIGNJSKKLXVSLS-VWUMJDOOSA-N 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06315—Needs-based resource requirements planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/24—Arrangements for preventing or reducing oscillations of power in networks
- H02J3/241—The oscillation concerning frequency
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Power Engineering (AREA)
- Tourism & Hospitality (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Operations Research (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Educational Administration (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于深度Q学习的孤岛微电网负荷频率控制方法及系统，针对电动汽车充电站所具有的用户充电行为随机性，建立考虑SOC约束的电动汽车频率控制模型，从而搭建出包含光伏、风电、微型燃气轮机、电动汽车及其随机功率增量约束的微电网负荷频率控制模型，设计基于DQN的频率控制器结构，依次完成状态空间、动作空间以及奖励函数的定义，并通过调节得到最优超参数，在DQN控制器应用前接受一段随机试错的学习过程，得到最优值函数Q网络，由此保证足够好的收敛特性，能够完成实际情况下的频率控制。本发明具备在线学习和经验回放能力，能更有效地应对强随机性的微网LFC问题，同时也能更好地适应系统网络拓扑参数改变的复杂运行工况。
Description
技术领域
本发明属于电力行业电能存储系统技术领域，更具体地，涉及一种孤岛微电网负荷频率控制终端及方法。
背景技术
微电网能够解决形式多样的分布式电源灵活、高效并网的问题，实现对负荷多种能源形式的高可靠供给，是实现主动式配电网的有效途径。
微电网既可以运行在并网模式，也可以运行在孤岛模式；在孤岛模式下，其频率稳定是保障微电网安全运行的关键。而储能模块是微网负荷频率控制模型中的重要组成部分，而电动汽车凭借其节能环保与灵活性，成为了一种新式的分布式储能单元。通过车辆到电网技术，即V2G系统(Vehicle-to-grid)，当电动汽车不使用时，车载电池的电能销售给电网的系统。电动汽车能够为孤岛微网的频率提供功率支撑，并改善其运行灵活性。而现有的研究鲜有考虑用户出行需求的随机性，也没有从电动汽车单体与集群的角度对随机输出功率增量进行细化建模。而实际情况中，充电站的功率增量约束受到用户充电行为随机性以及电动汽车集群特性的影响。
此外，随着具有高比例分布式新能源的接入，传统控制器在面对孤岛微电网中的大量随机性扰动、系统参数和结构变化等复杂工况时，其控制性能有待进一步提升。
还在于，目前已存在的微电网频率智能控制方法忽略了电动汽车的接入，且没有将电动汽车输出功率增量作为状态空间，即控制方法的设计思路、收敛特性与动态性能也存在着进一步改进空间。
经查中国专利文献库未找到解决含有电动车的孤岛微电网频率控制问题的相关专利，也未找到相关解决方案。
现有技术中存在的问题是，针对含电动车的孤岛微电网的频率控制中未考量随机性影响，未考量电动汽车输出功率量等的影响，从而影响到了微电网的品质。
发明内容
针对现有技术不足，本发明目的是减少孤岛微电网因电动汽车随机性接入产生的影响，解决微电网负荷控制质量的问题。
为了实现上述目的，本发明提供以下技术方案：
一种基于深度Q学习的孤岛微电网负荷频率控制方法，包括以下步骤：
S1：基于电动汽车充电站中用户随机性充电行为，建立电动汽车频率控制模型，所述电动汽车频率控制模型包括SOC约束。
Q学习是计算机科学技术术语，指一种与模型无关的强化学习算法，直接优化一个可迭代计算的Q函数。SOC是State of Charge，电池荷电状态，指电池使用一段时间或长期搁置不用后的剩余可放电电量与其完全充电状态的电量的比值。
S2：建立微电网负荷频率控制模型，所述微电网负荷频率控制模型包括光伏发电扰动功率参数约束、风力发电扰动功率参数约束、负荷随机功率增量参数约束、燃气轮机输出功率增量限幅约束和电动汽车输出功率增量限幅约束。
负荷频率控制，也称LFC，全称是Load Frequency Control，指调整系统的频率达到额定值或/和维持区域联络线交换功率为计划值。为保证电能质量，该负荷频率控制系统将系统频率维持在标称值并且尽可能使控制区域之间的未计划的联络线交换功率最小。风力发电与光伏发电共同作为不可控随机电源，与负载一同向系统输入扰动功率，而微型燃气轮机与电动汽车充电站(放电站)一起作为微电网的调频机组。
将风力发电与光伏发电共同作为不可控(随机)电源，与负载一同向系统输入扰动功率，而微型燃气轮机与电动汽车充放电站一起作为微网的调频机组，并定义ΔPL是负荷扰动功率，ΔPw是风电扰动功率，ΔPpv是光伏扰动功率，ΔPw与ΔPpv组成了随机电源扰动功率ΔPS。而ΔPS与ΔPL共同组成了总扰动功率ΔPD，ΔPMT是微型燃气轮机的输出功率增量，ΔPE是EV充电站的输出功率增量，2Ht是微网的惯性常量。
S3：基于DQN频率控制器，定义状态集为微电网实时的频率偏差与充电功率的上下限约束，定义动作集为所述控制器的输出指令集，考虑调节死区，设计奖励函数，进行随机试错学习训练，得到超参数取值。
DQN，指神经网络强化学习。所述动作集用于控制各调频机组的出力变化。根据微电网频率的考核标准并考虑调节死区，设计出奖励函数。
S4：根据电动汽车充电站输出功率变化数据，确定随时间发生概率随机变化的约束函数，得到最优值函数Q网络，将所述最优值函数Q网络导入所述DQN频率控制器中。
通过随机试错学习训练，并设置约束函数，得出最优值函数Q，以保证足够好的收敛特性，从而能够完成实际情况下的频率控制。
S5：所述DQN频率控制器联络微电网的信息采集终端，获取微电网状态信息，找出微电网利益最大化的动作，通过能源管理系统，进行传输功率，实现微电网频率控制。
所述DQN频率控制器与微电网中的信息采集终端通信连接，从而使DQN频率控制器从微电网中获取状态信息，并寻找出系统利益最大化的动作，进而通过功率传输实现微电网频率控制。
进一步地，S1步骤中的所述SOC约束包括EV单体充放电功率约束和EV集群充放电功率约束。EV，指电动汽车充电状态。
对充电站的等效储能容量造成影响的三种因素：电动汽车充电行为的随机性、车辆电池所处的充电状态以及充电站的车辆数量。而车辆的电池性能将影响到充电时长，进而影响到系统的可控功率，但是考虑到固定地理位置充电站内的车辆品牌以及数量在一定时间内相对固定，可以利用平均值来简化计算过程的复杂度，因此，可先得到电池平均容量C以及平均初始充电状态SOCi，再通过充电站的平均额定充电功率，从而得到充电站内的单体EV平均充电时长Tav。
对于车辆电池所处的充电状态，建立出EV充放电约束模型，车站里的电动汽车SOC的范围为[SOCmin,SOCmax]，并且有足够的SOCm来确保未来电动汽车离开充电站后的行驶里程，并由此得到EV充放电约束边界。
充电边界代表电动汽车处于正常的充电状态，放电边界代表电动汽车正在向微电网输送电量，强制充电边界则代表电动汽车在离进行强制充电，以确保其有足够的SOCm来完成拔掉电源后的行驶里程。
进而，可设置单体EV在接入充电站时段
内，额定充电功率为
额定放电功率为
由此，可得到单体EV充电功率与充放电状态关系如下：当SOCi>SOCmax时，单体EV能够放电，即可输出正功率增量
当SOCi<SOCmin时，单体EV仅能充电，即仅输出负功率增量
当SOCmin≤SOCi≤SOCmax时，单体EV既能充电，也能进行放电，此时功率增量满足
综上所述，能够得到单体EV充电功率的上、下限约束如下所示：
最后，对于充电站内的车辆数量，本发明设置充电站最大容量为nEV，当单个EV满足
时位于充电站内，不满足
时则不在充电站内。
因此，可由单个EV的充电功率约束得到：集群EV的充电功率PEV及其上、下限约束如下：
进一步地，考虑MT与EV输出功率增量限幅约束的情况下，MT为燃气轮机，DQN频率控制器首先根据频率偏差Δf与充电功率的实时上、下限约束
与
向频率控制层提供实时LFC信号Δu，进而对MT和EV的输出功率进行控制，以快速抑制系统频率振荡。
微电网负荷频率控制系统的状态集为系统实时的频率偏差ΔF(t)与充电功率的上、下限约束
与
故可定义状态空间为：
而DQN频率控制器的联合动作集A，即控制器的输出，应为联合调度指令(ΔuMT,ΔuEV)的实时集合，故可定义动作空间为：A＝[ΔUMT(t),ΔUEV(t)]
进一步地，由于Q学习算法无法对连续信号处理，因此需要对动作空间离散化处理，且为防止离散化程度过高引起的“维数灾”问题以及离散化程度不足导致频率品质降低，应合理地安排状态空间离散集S与控制动作集A的离散化程度。
本发明选取较为保守的电力安全工作规程原则，即电力系统在正常运行状态下的频率应当在50±0.2Hz的范围之内[18]，并在此基础上考虑一定的调节死区，即可设置实时的频率偏差ΔF(t)的离散集为(-∞,-0.2)，[-0.2,-0.15)，[-0.15,-0.10)，[-0.10,-0.05)，[-0.05,0.05]，(0.05,0.10]，(0.10,0.15]，(0.15,0.2]，(0.2,+∞)，单位Hz。
此外，根据电动车最大功率增量限制±0.16pu，并根据实际情况可设置实时的充电功率的上、下限约束
与
的离散集分为：[0,0.4)，[0.4,0.8)，[0.8,0.12)，[0.12,0.16]，以及[-0.16,-0.12]，(-0.12,-0.08]，(-0.08,-0.04]，(-0.04,0]，单位pu。
进而，可同理设置AMT和AEV分别为微型燃气轮机与电动汽车充电站的离散输出动作集，并且令AMT＝AEV＝(-0.01，-0.005，-0.003，-0.001，0，0.001，0.003，0.005，0.01)，单位pu。
根据上述微网频率的考核标准，能够设计出奖励函数ri(k)为：
其中，当|Δf|处于调节死区[-0.05,0.05]Hz时，频率满足正常运行的最小误差要求，故此时赋予DQN控制器最大奖励值为0；当|Δf|分别处于正常控制区(0.05,0.10]与(0.10,0.15]Hz、辅助控制区(0.15,0.2]Hz、紧急控制区(0.2,+∞)Hz时，控制器将会获得相应的负奖励，即惩罚值；μ1、μ2、μ3为与μ4各控制区域奖励函数对应的权值，确定奖励函数时应该注意，过大的奖励值会影响学习的收敛速度，因此，本文通过大量的仿真研究，分别取μ1、μ2、μ3与μ4为1、5、10与20。进而，在保证智能体训练能够收敛的前提下，通过测算与验证，选取折扣因子γ为0.9，学习率α为0.001，并设置迭代次数为500次，且每次500步，以及h＝5,u＝50的全连接层网络结构。
进一步地，所述S3中的所述随机试错学习过程，设置由不同幅值、不同类型函数叠加而成的负荷扰动来对所述DQN频率控制器进行训练。
所述随机试错学习过程，称为预学习阶段，在预学习的初期阶段，所述DQN频率控制器不具备智能控制能力，只有在接受各种状态动作后，才能得到最优值函数Q网络。所述DQN频率控制器能适应孤岛微电网中强随机性干扰和网络拓扑参数改变等复杂工况。
本发明还提供一种基于深度Q学习的孤岛微电网负荷频率控制系统，所述负荷频率控制系统包括微网层、数据层和决策层，各层之间进行数据传输通信，所述微网层包括光伏发电、风力发电、燃气轮机、发电机组和电动汽车，所述数据层包括能源管理系统和数据采集装置，所述决策层设有人工智能(AI)计算管理平台，所述人工智能(AI)计算管理平台运行包括所述DQN频率控制器，基于所述DQN频率控制器对所述电动汽车频率控制模型深度Q学习动作。
在DQN频率控制器应用前，设置一段随机试错的学习过程，称为预学习阶段。在预学习的初期阶段，控制器尚未积累任何经验，不具备智能控制能力，只有在接受各种状态动作后，才能得到最优值函数Q网络。因此，可设置由不同幅值、不同类型函数叠加而成的负荷扰动来对控制器进行训练；同时，根据某电动汽车充电站输出功率增量变化数据设置了一组随时间发生概率随机变化的约束函数。在预学习阶段结束后，控制器具有较高的在线学习能力，有足够好的收敛特性以完成在系统受到强随机扰动与系统参数结构变化两个场景下的频率控制。
进一步地，所述数据采集装置与所述微网层以无线通讯5G进行联络，进行功率传输、采集状态信息和指令动作。
考虑微电网系统数据库中储存信息与传输通讯的情况，并基于AI计算管理平台，设计基于DQN的电动汽车用户随机性预测的模型，由此得到基于DQN的含电动汽车孤岛微电网负荷频率控制的网络结构。进而，确定系统数据和模型的存储方法，确定微电网的统一训练标准，将基于DQN的含电动汽车微电网负荷频率控制的仿真应用于终端中，实现对于电动汽车参与电网调控的支撑。在调控过程中，控制器与微电网中的信息采集终端之间能够以有线传输或无线通讯5G的方式进行联络，从而实现DQN频率控制器从微电网中获取状态信息，并寻找出系统利益最大化的动作，进而通过功率传输实现微电网频率控制。
进一步地，所述DQN频率控制器包括协调控制层和频率控制层，所述协调控制层包括状态空间、动作空间、奖励函数空间、超参数空间和深度Q网络空间，分别存储所述状态集、动作集、奖励函数、超参数和试错学习数据，所述协调控制层根据频率偏差与充电功率的实时上限约束与下限约束，向所述频率控制层的电动汽车和燃气轮机的输出功率进行控制，抑制微电网频率振荡。
本发明与现有技术相比，具有的有益效果：本发明提供的一种基于深度Q学习的孤岛微电网负荷频率控制方法，通过深度Q学习步骤能有效提高含电动汽车孤岛微电网应对强随机性扰动与系统网络拓扑参数改变的能力，从而解决了孤岛微电网因电动汽车随机性接入产生的因素考量问题，有效解决了影响微电网负荷控制质量的问题，从而提高了微电网的品质。
本发明还提出的一种基于深度Q学习的孤岛微电网负荷频率控制系统，通过深度Q学习动作，寻找出微电网系统利益最大化，进而通过功率传输实现微电网频率控制，从而解决因电动汽车随机性接入产生的影响。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，不应构成对本发明的不当限定。附图标号中的术语，仅仅是为了更方便地描述和解释本发明，不应理解为任何附加限制。
图1为本发明的负荷频率控制方法的流程图。
图2为本发明的负荷频率控制系统的关系图。
图3为本发明的SOC模型示意图。
图4为本发明的单体EV充电功率的上、下限约束的示意图。
图5为本发明的基于深度Q学习的LFC控制器结构。
图6为本发明的控制器预学习示意图。
附图标记：W1-微网层，W2-数据层，W3-决策层，D1-协调控制层，D2-频率控制层。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明，以便更清楚、直观地理解该发明。
本发明通过深度Q学习将卷积神经网络和Q学习算法相结合，采用了经验回放机制，固定了目标Q值网络，并缩小奖赏值范围，能够很好的应对含有电动汽车的孤岛微电网负荷频率控制问题。
实施例1：
本实施例提供一种基于深度Q学习的孤岛微电网负荷频率控制方法，如图1所示，包括以下步骤：
步骤1，通过制定车站里的电动汽车SOC的范围[SOCmin,SOCmax]，其中，SOCmin是推荐的电动汽车最小荷电状态，SOCmax是推荐的电动汽车的最大荷电状态，SOC的范围能够提高电动汽车的使用寿命。并选择合适的SOCm值来确保电动汽车离开充电站后的行驶里程，如图3所示，SOC0是电动汽车进入充电站时的初始荷电状态，左侧实线代表充电边界；外侧虚线代表放电边界；右侧实线代表强制充电边界，即电动汽车在离开充电站前将进行强制充电，以确保其有足够的SOCm来完成拔掉电源后的行驶里程。由此，能够得到控制器指令在充电站内的分布，并进而通过上述分类方式得到单体EV充电功率的上、下限约束如图4所示。
步骤2，在考虑微型燃气轮机与电动汽车输出功率增量限幅约束的情况下，提出基于深度Q学习的LFC控制器结构，如图5所示。该控制器由协调控制层D1和频率控制层D2两层组成。协调控制层D1包含状态空间、动作空间、奖励函数空间以及超参数空间。首先，系统根据频率偏差Δf与电动汽车充电功率的实时上、下限约束
与
向频率控制层提供实时LFC信号Δu(即动作空间信号)，进而对MT和EV的输出功率进行控制，以快速抑制系统频率振荡。
步骤3，根据实际情况选取电力安全工作规程原则，即电力系统在正常运行状态下的频率应当在50±0.2Hz的范围之内，并在此基础上考虑一定的调节死区，根据多微网系统设置出实时的频率偏差ΔF(t)的集合区间为(-∞,-0.2)，[-0.2,-0.16)，[-0.16,-0.12)，[-0.12,-0.08)，[-0.08,-0.03)，[-0.03,0.03]，(0.03,0.08]，(0.08,0.12]，(0.12,0.16]，(0.16,0.2]，(0.2,+∞)，单位Hz。由此可设计出控制器的奖励函数空间。而超参数空间是在训练之前就需要完成设置的参数，因此需要在通过大量的实验测试后，给智能体提供一组最优超参数，以提高学习的性能和效果。
步骤4，在步骤2、3中的控制器投入使用前，需要接受一段随机试错的学习过程，称为预学习阶段。在预学习初期阶段，控制器尚未积累任何经验，不具备智能控制能力，只有在接受各种状态动作后，才能得到最优值函数Q网络。因此，本文设置了由不同幅值、不同类型函数叠加而成的负荷扰动来对控制器进行训练；同时，根据某电动汽车充电站输出功率增量变化数据设置了一组随时间发生概率随机变化的约束函数。预学习过程如图6所示，纵向为奖励值，横向为训练回合数，圆圈的为实时奖励值，星号为平均奖励值。
步骤5，最后，控制终端在微电网频率控制的运行测试方案如下：
首先，含电动汽车微电网频率控制模拟测试。根据实际微电网的模型组成，基于Simulink，将微型燃气轮机、电动汽车充电站以及分布式电源的频率控制模型搭建仿真模型，并进行仿真验证，验证控制合理性。
其次，仿真模型嵌入虚拟机运行测试。通过仿真验证，确定控制逻辑后，将上述所构建的仿真模型转换成代码，并载入虚拟机运行，通过编程以及Modbus通讯，进行微电网模型与控制器的信号互通以及频率控制测试。
最后，通过能源管理系统，进行传输功率，实现微电网频率控制。
实施例2：
本实施例提供一种基于深度Q学习的孤岛微电网负荷频率控制系统，如图2所示，包括微网层W1、数据层W2和决策层W3，考虑微电网系统数据库中储存信息与传输通讯的情况，并基于AI计算管理平台，设计基于DQN的电动汽车用户随机性预测的模型，由此得到基于DQN的含电动汽车孤岛微电网负荷频率控制的网络结构。进而，确定系统数据和模型的存储方法，确定微电网的统一训练标准，将基于DQN的含电动汽车微电网负荷频率控制的仿真应用于终端中，实现对于电动汽车参与电网调控的支撑。在调控过程中，控制器与微电网中的信息采集终端之间能够以有线传输或无线通讯5G的方式进行联络，从而实现DQN频率控制器从微电网中获取状态信息，并寻找出系统利益最大化的动作，进而通过功率传输实现微电网频率控制。
本实施例首先在微电网的建模过程中考虑了用户充电行为的随机性，即车辆电池的性能参数、车辆电池所处的充电状态以及充电站的车辆数量，通过分析电动汽车的充放电约束边界构建出电动汽车的SOC模型，以此划分出单体EV的各类充电状态，并考虑单体EV的电池性能以及充电站内的EV数量等参数，设计出随机输出功率增量约束下的电动汽车频率控制模型，从而建立了一个包含各类分布式电源、电动汽车及其随机输出功率增量约束条件的孤岛微电网LFC模型。同时，本发明利用Q学习与深度学习结合形成的深度Q学习算法，设计了基于DQN的频率控制器，并依次完成了状态空间、动作空间以及奖励函数的定义，并通过调节得到了最优超参数。该控制器具备在线学习和经验回放能力，收敛特性和模型适应性好，能适应孤岛微电网中强随机性干扰和网络拓扑参数改变等复杂工况。
Claims (8)
1.一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于，所述方法包括：
S1：基于电动汽车充电站中用户随机性充电行为，建立电动汽车频率控制模型，所述电动汽车频率控制模型包括SOC约束；
S2：建立微电网负荷频率控制模型，所述微电网负荷频率控制模型包括光伏发电扰动功率参数约束、风力发电扰动功率参数约束、负荷随机功率增量参数约束、燃气轮机输出功率增量限幅约束和电动汽车输出功率增量限幅约束；
S3：基于DQN频率控制器，定义状态集为微电网实时的频率偏差与充电功率的上下限约束，定义动作集为所述控制器的输出指令集，考虑调节死区，设计奖励函数，进行随机试错学习过程，得到超参数取值；
S4：根据电动汽车充电站输出功率变化数据，确定随时间发生概率随机变化的约束函数，得到最优值函数Q网络，将所述最优值函数Q网络导入所述DQN频率控制器中；
S5：所述DQN频率控制器联络微电网的信息采集终端，获取微电网状态信息，找出微电网利益最大化的动作，通过能源管理系统，进行传输功率，实现微电网频率控制。
2.根据权利要求1所述的一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于：
S1步骤中的所述SOC约束包括EV单体充放电功率约束和EV集群充放电功率约束，充电站里的电动汽车SOC的范围为[SOCmin,SOCmax]，所述EV单体充放电功率约束的上限约束和下限约束分别为：
其中，
为单体EV接入充电站时段，
为额定充电功率，
为额定放电功率；
所述EV集群充放电功率约束的充电功率、上限约束和下限约束分别为：
其中，nEV为充电站最大车辆容量。
3.根据权利要求1所述的一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于：
S3步骤中的所述状态集为微电网实时的频率偏差ΔF(t)与充电功率的上限约束
与下限约束
状态集定义状态空间为：
所述动作集为DQN频率控制器的的输出，为联合调度指令(ΔuMT,ΔuEV)的实时集合，动作集定义动作空间为：
A＝[ΔUMT(t),ΔUEV(t)]。
4.根据权利要求1所述的一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于：
S3步骤中的所述调节死区为实时频率偏差ΔF(t)的离散集；所述奖励函数为：
5.根据权利要求1所述的一种基于深度Q学习的孤岛微电网负荷频率控制方法，其特征在于：
S3步骤中的所述随机试错学习过程，设置由不同幅值、不同类型函数叠加而成的负荷扰动来对所述DQN频率控制器进行训练。
6.一种基于深度Q学习的孤岛微电网负荷频率控制系统，其特征在于：用于权利要求1至权利要求5任一项所述的深度Q学习孤岛微电网负荷频率控制方法，所述负荷频率控制系统包括微网层、数据层和决策层，各层之间进行数据传输通信，所述微网层包括光伏发电、风力发电、燃气轮机、发电机组和电动汽车，所述数据层包括能源管理系统和数据采集装置，所述决策层设有人工智能计算管理平台，所述人工智能计算管理平台运行包括所述DQN频率控制器，基于所述DQN频率控制器对所述电动汽车频率控制模型深度Q学习动作。
7.根据权利要求6所述的一种基于深度Q学习的孤岛微电网负荷频率控制系统，其特征在于：所述数据采集装置与所述微网层以无线通讯5G进行联络，进行功率传输、采集状态信息和指令动作。
8.根据权利要求6所述的一种基于深度Q学习的孤岛微电网负荷频率控制系统，其特征在于：所述DQN频率控制器包括协调控制层和频率控制层，所述协调控制层包括状态空间、动作空间、奖励函数空间、超参数空间和深度Q网络空间，分别存储所述状态集、动作集、奖励函数、超参数和试错学习数据，所述协调控制层根据频率偏差与充电功率的实时上限约束与下限约束，向所述频率控制层的电动汽车和燃气轮机的输出功率进行控制，抑制微电网频率振荡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210259716.8A CN115051403A (zh) | 2022-03-16 | 2022-03-16 | 基于深度q学习的孤岛微电网负荷频率控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210259716.8A CN115051403A (zh) | 2022-03-16 | 2022-03-16 | 基于深度q学习的孤岛微电网负荷频率控制方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115051403A true CN115051403A (zh) | 2022-09-13 |
Family
ID=83158510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210259716.8A Pending CN115051403A (zh) | 2022-03-16 | 2022-03-16 | 基于深度q学习的孤岛微电网负荷频率控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115051403A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117863948A (zh) * | 2024-01-17 | 2024-04-12 | 广东工业大学 | 一种辅助调频的分散电动汽车充电控制方法及装置 |
-
2022
- 2022-03-16 CN CN202210259716.8A patent/CN115051403A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117863948A (zh) * | 2024-01-17 | 2024-04-12 | 广东工业大学 | 一种辅助调频的分散电动汽车充电控制方法及装置 |
| CN117863948B (zh) * | 2024-01-17 | 2024-06-11 | 广东工业大学 | 一种辅助调频的分散电动汽车充电控制方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111934335B (zh) | 一种基于深度强化学习的集群电动汽车充电行为优化方法 | |
| Zand et al. | Using adaptive fuzzy logic for intelligent energy management in hybrid vehicles | |
| Li et al. | Battery optimal sizing under a synergistic framework with DQN-based power managements for the fuel cell hybrid powertrain | |
| Wang et al. | Distributed control for large-scale plug-in electric vehicle charging with a consensus algorithm | |
| CN116001624A (zh) | 基于深度强化学习的一桩多联电动汽车有序充电方法 | |
| CN113515884A (zh) | 分散式电动汽车实时优化调度方法、系统、终端及介质 | |
| Huangfu et al. | An Improved Energy Management Strategy for Fuel Cell Hybrid Vehicles Based on Pontryagin's Minimum Principle | |
| CN107453381B (zh) | 基于两阶段交叉控制的电动汽车集群功率调节方法及系统 | |
| CN104253470A (zh) | 电动汽车与电网互动协调的有序充电控制方法 | |
| Lü et al. | Energy management and optimization of PEMFC/battery mobile robot based on hybrid rule strategy and AMPSO | |
| Gao et al. | Economic dispatch containing wind power and electric vehicle battery swap station | |
| CN110826880A (zh) | 一种大规模电动汽车接入的主动配电网优化调度方法 | |
| CN111064214A (zh) | 基于电动汽车两阶段滚动式策略的配电网优化调度方法 | |
| Wang et al. | Power allocation strategy for urban rail HESS based on deep reinforcement learning sequential decision optimization | |
| CN115579910A (zh) | 一种微电网频率和电压的控制方法及终端 | |
| CN115051403A (zh) | 基于深度q学习的孤岛微电网负荷频率控制方法及系统 | |
| Sahwal et al. | Advanced Equivalent Consumption Minimization Strategy for Fuel Cell Hybrid Electric Vehicles | |
| CN114285093A (zh) | 一种源网荷储互动调度方法及系统 | |
| Wang et al. | Integration of plug-in hybrid electric vehicles into building energy management system | |
| Azim Mohseni et al. | Energy management strategies of hybrid electric vehicles: A comparative review | |
| Jiang et al. | Advanced power management and control for hybrid electric vehicles: a survey | |
| CN117374975A (zh) | 一种基于近似动态规划的配电网实时协同调压方法 | |
| CN115360738B (zh) | 一种考虑可控域约束的电动汽车一次调频控制方法 | |
| Zhou et al. | Genetic algorithm-based parameter optimization of energy management strategy and its analysis for fuel cell hybrid electric vehicles | |
| Guo et al. | An economic driving energy management strategy for the fuel cell bus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |