CN115632394A - 基于ppo算法的光伏电站暂态模型构建与参数辨识方法 - Google Patents
基于ppo算法的光伏电站暂态模型构建与参数辨识方法 Download PDFInfo
- Publication number
- CN115632394A CN115632394A CN202211205874.1A CN202211205874A CN115632394A CN 115632394 A CN115632394 A CN 115632394A CN 202211205874 A CN202211205874 A CN 202211205874A CN 115632394 A CN115632394 A CN 115632394A
- Authority
- CN
- China
- Prior art keywords
- photovoltaic
- parameters
- model
- parameter
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001052 transient effect Effects 0.000 title claims abstract description 28
- 238000010276 construction Methods 0.000 title claims abstract description 19
- 230000002787 reinforcement Effects 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 21
- 238000010206 sensitivity analysis Methods 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000035945 sensitivity Effects 0.000 claims description 22
- 238000012937 correction Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 12
- 239000003795 chemical substances by application Substances 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000003990 capacitor Substances 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 238000010248 power generation Methods 0.000 abstract description 13
- 239000002245 particle Substances 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
- H02J3/381—Dispersed generators
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
- H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
- H02J2300/20—The dispersed energy generation being of renewable origin
- H02J2300/22—The renewable source being solar energy
- H02J2300/24—The renewable source being solar energy of photovoltaic origin
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
- Y02E10/56—Power conversion systems, e.g. maximum power point trackers
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Control Of Electrical Variables (AREA)
Abstract
本发明涉及光伏发电技术领域，为基于PPO算法的光伏电站暂态模型构建与参数辨识方法。该方法包括：采集光伏电站在其经受扰动时相关的电压和功率数据；建立等值光伏逆变器模型，对等值光伏逆变器模型的参数进行灵敏度分析，筛选出对功率曲线拟合影响较显著的关键参数；采用PPO深度强化学习算法进行参数辨识，当等值光伏逆变器模型的功率曲线与原始光伏电站的功率曲线的误差小于设定的范围时，将强化学习的状态向量作为参数辨识的结果。本发明融合了机理模型建模和参数辨识的方法，降低了数据获取的难度，运用深度强化学习算法代替原有的粒子群算法，提高了模型参数辨识的效率，有助于分析光伏电站系统的动态特性，进而保障电网的安全稳定运行。
Description
技术领域
本发明涉及光伏发电技术领域，具体涉及基于PPO算法的光伏电站暂态模型构建与参数辨识方法。
背景技术
当前我国光伏发电的并网容量和发电量不断扩大，2021年，我国新增光伏发电并网装机容量约5300万千瓦，连续9年稳居世界首位，截至2021年底，光伏发电并网装机容量达到3.06亿千瓦，突破3亿千瓦大关。光伏发电在电力系统发电总量的比重逐渐增大，但其通过逆变器并网，具有强波动性和弱惯性，暂态特性与同步发电机组有较大的差距，光伏电站的大规模并网会显著改变电力系统的稳定性和电能质量，因此建立光伏电站的有效等值模型，并对其关键参数进行辨识，有助于分析电力系统的动态特性，进而保障电网的安全稳定运行。
运用一台或少数几台的等值光伏逆变器，来等效原有的光伏电站，可以在保证它们具有相近暂态特性的前提下，显著降低新型电力系统暂态模型的维数，提升分析效率。该过程主要需要完成两个任务：(1)确定等效逆变器的模型结构。(2)辨识等效模型的关键参数。现有的光伏电站建模方法主要分为机理建模或参数辨识两种，物理机理建模的方法需要在已知各个光伏发电单元精确参数的前提下，对其参数取平均值，从而获得等值光伏逆变器模型的参数。然而实际上电力电子器件的部分参数可能是难以准确获取的，另外线路电阻、电感等参数可能会随着运行工况、温度变化的影响而实时改变，这种参数的不确定性和动态变化特性会降低物理机理模型的准确性和鲁棒性。参数辨识的方法需要根据光伏电站在受扰后的动态量测数据，现有的研究主要运用粒子群算法来试凑等值光伏逆变器模型的参数，通过拟合受扰曲线进行参数辨识，这种辨识方法在获取等值光伏逆变器模型参数时，存在粒子群算法耗时太长、收敛速度较慢等问题，若需对光伏电站模型的在线参数辨识与修正，则这种方法的效率较低，实时性略差。
发明内容
为解决现有技术所存在的技术问题，本发明提供基于PPO算法的光伏电站暂态模型构建与参数辨识方法，融合了机理模型建模和参数辨识的方法，无需预先知道光伏逆变器的准确参数，显著降低了数据获取的难度，运用深度强化学习算法代替原有的粒子群算法，提高了参数辨识的效率，有助于分析光伏电站系统的动态特性，进而保障电网的安全稳定运行。
本发明提出了基于PPO算法的光伏电站暂态模型构建与参数辨识方法，包括以下步骤：
1、采集光伏电站在其经受扰动时相关的电压和功率数据；
S2、建立等值光伏逆变器模型，分别建立光伏阵列模型、Boost电路模型和并网逆变器模型；
S3、对等值光伏逆变器模型的参数进行灵敏度分析，筛选出对功率曲线拟合影响较显著的关键参数，将关键参数作为待辨识参数；等值光伏逆变器模型的参数包括电路参数和控制参数；
S4、采用PPO深度强化学习算法进行参数辨识，当等值光伏逆变器模型的功率曲线与原始光伏电站的功率曲线的误差小于设定的范围时，将强化学习的状态向量作为参数辨识的结果。
优选的技术方案中，所述步骤S2包括：
建立光伏阵列模型，确定光伏电池的输出电流与光照强度、温度和端电压的关系；
建立Boost电路模型，确定Boost电路在逆变器侧输出电流与光伏电池输出电流、占空比、直流侧电容和电感的关系；
建立并网逆变器模型，确定逆变器的输出电流与逆变器控制参数和Boost电路输出电流的关系。
进一步地，所述步骤S3包括：
根据光伏电站内逆变器的数量和单个逆变器的电路参数和控制参数，计算等值光伏逆变器模型中的电路参数的估计值和控制参数的估计值；
令电路参数和控制参数在其估计值附近的设定区间内变动，根据影响程度指标y分析参数的取值变化对功率曲线拟合误差的影响程度，计算参数的灵敏度，选取灵敏度大的参数作为待辨识参数。
进一步地，所述步骤S4包括：
将光伏电站在扰动中产生的原始有功功率
无功功率
和待辨识参数的初值输入等值光伏逆变器模型，基于PPO强化学习算法使用连续步长对等值光伏逆变器模型的待辨识参数进行试凑和修正；
运行等值光伏逆变器模型拟合出功率曲线，计算功率曲线拟合的均方差，如果拟合出的功率曲线与原始功率曲线的误差小于设定限值，则输出参数辨识的结果，否则将均方差的相反数作为环境反馈给智能体的奖励继续进行训练，同时更新深度强化学习的神经网络参数。
本发明与现有技术相比，具有如下优点和有益效果：
第一，本发明提供基于PPO算法的光伏电站暂态模型构建与参数辨识方法，采用物理模型与数据驱动相结合的方法，建立了光伏电站的等值模型，等值光伏逆变器模型具有较明确的物理意义，可以融入到电力系统的稳定性分析当中，同时也借助数据驱动的方式降低了对原始参数的依赖程度，无需预先获取各个光伏发电单元准确的电路参数和控制参数。
第二，通过运用灵敏度分析的方式选择需要辨识的参数，提高了参数辨识的针对性，可以在保证分析精度的前提下减少后续强化学习的维数，提高参数辨识的效率。
第三，运用深度强化学习代替原有的粒子群算法，提高参数辨识的效率，强化学习可以基于试验和反馈，使智能体学习一个较好的策略，从而能主动适应环境以最大化未来奖励，可以提高参数辨识的速度；如果后续需要对待辨识参数进行修正，可以在每次参数辨识后可以将训练得到的神经网络保存下来，提升对在线参数辨识的可行性和效率，有助于分析光伏电站系统的动态特性，进而保障电网的安全稳定运行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方法，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例中的基于PPO算法的光伏电站暂态模型构建与参数辨识方法流程图；
图2为本发明实施例中的光伏电站典型控制方式框图；
图3为本发明实施例中的光伏电站在扰动过程中的功率曲线图；
图4为本发明实施例中的等值逆变器模型电路参数灵敏度曲线图；
图5为本发明实施例中的等值逆变器模型控制参数灵敏度曲线图；
图6为本发明实施例中的基于PPO算法进行参数辨识的框图。
具体实施方式
下面将结合附图和实施例，对本发明技术方法做进一步详细描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，基于PPO算法的光伏电站暂态模型构建与参数辨识方法流程图，本发明所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法包括步骤：
S1、采集光伏电站在经受扰动时相关的电压和功率数据
本实施例中，光伏电站包括两级式光伏逆变器构建的光伏电站，在其经受光照强度改变、短路故障、电压暂降等扰动时，采集包含扰动前、完整扰动过程和扰动后的并网点电压V、输出有功功率P、输出无功功率Q的数据。
采集光伏电站在发生光照改变、电压暂降、短路故障等扰动时的电压和功率数据，光伏阵列采用“升压斩波电路+逆变器”两级式并网结构，升压斩波电路控制采取最大功率跟踪，逆变器采用定直流电压和定无功功率控制方式，其中无功功率的参考值需要保证光伏电站的功率因数维持在0.98，光伏电站典型控制方式框图，如图2所示，框图表明等值模型采用前级Boost升压和后级逆变器的电路结构，控制方式采用定直流母线电容电压和定交流侧无功电流的模式。如图3所示，光伏电站在扰动过程中的功率曲线图，光伏电站在第1s时光照强度降低，输出功率下降，在第4s时出现了电压暂降，并网点电压由1p.u.暂降到0.8p.u.，在第6s时电压恢复，记录在该扰动过程中光伏电站输出有功功率P和无功功率Q的变化曲线。
S2、建立等值光伏逆变器模型，分别建立光伏阵列模型、Boost电路模型和并网逆变器模型。
基于双级式光伏逆变器的电路结构和控制方式，搭建相应的数值仿真模型即等值光伏逆变器模型，等值光伏逆变器模型需要输入光照强度、温度和并网点电压的时间序列，输出是有功功率P、无功功率Q曲线，等值光伏逆变器模型主要充当功率曲线拟合的框架，之后将其作为强化学习所需的交互环境。
建立等值光伏逆变器模型包括分别建立光伏阵列、Boost电路和并网逆变器的模型，用于描述等值光伏逆变器输出功率的动态特性。等值光伏逆变器模型包括以下暂态过程：直流侧电容、电感的充放电过程；交流侧滤波电路的动态过程；并网逆变器的控制过程。后续通过等值光伏逆变器模型来拟合光伏电站在动态过程中的功率曲线，将其作为运用强化学习做参数辨识所需的环境。
分别建立光伏阵列模型、Boost电路模型和逆变器模型包括以下步骤：
S21、建立光伏阵列模型，确定光伏电池的输出电流与光照强度、温度和端电压的关系；
S22、建立Boost电路模型，确定Boost电路在逆变器侧输出电流与光伏电池输出电流、占空比、直流侧电容和电感的关系；
S23、建立并网逆变器模型，确定逆变器的输出电流与逆变器控制参数和Boost电路输出电流的关系。
具体地，光伏阵列模型，用于描述光伏电池输出功率随光照强度、温度和端电压的变化，其工程模型可以表示为：
其中IL表示光伏电池的输出电流，U表示光伏电池输出电压，P是光伏输出功率，是电压U的函数。U′oc和I′sc表示光伏电池在实际温度和太阳辐射条件下的开路电压和短路电流，U′m和I′m表示光伏电池在实际环境条件下最大功率点的电压和电流。C1和C2是由U′oc，I′sc，U′m和I′m表示的系数。其中实际温度和太阳辐射强度下的U′oc，I′sc，U′m和I′m等光伏电池技术参数可以由标准状况的参数经过经验公式修正后得到：
其中Tref为标准电池温度25℃，T为电池实际温度(单位℃)，Sref为标准光照强度1000W·m-2，S为实际光照强度(单位W·m-2)。Uoc和Isc表示标准状况下光伏电池的开路电压和短路电流，Um和Im表示在标准状况下光伏电池最大功率点的电压和电流。系数a为常数，取0.0025/℃，b为无量纲常数，取0.05，c为常数，取0.0028/℃。
由于光伏阵列的参数Uoc、Isc、Um、Im很容易通过查阅器件手册或分析稳态运行数据得到，本发明假设在参数Uoc、Isc、Um、Im已知的前提下，辨识其余对光伏电站暂态特性影响较为显著的参数。由于等值模型需要与原本的光伏电站具有相同的电压等级，同时功率是各单元功率之和，因此等值光伏逆变器模型的参数Uoc、Isc、Um、Im与单个光伏阵列参数
的关系可以表示为：
其中，n表示光伏逆变器的数目，同时令等值光伏逆变器模型的光照强度和温度等于各单元光照强度和温度的平均值。
Boost电路模型，用于描述升压斩波电路的动态特性，基于斩波电路的开关周期平均值模型，考虑了以下微分方程：
其中L1表示直流侧电感大小，C1和C2表示光伏侧和逆变器侧的电容大小，＜IL＞TS表示电感电流在开关周期内的平均值，＜Upv＞TS和＜Udc＞TS分别表示光伏侧电容和逆变器侧电容电压在开关周期内的平均值，Iout表示升压斩波电路在逆变器侧的输出电流，d(t)表示斩波电路触发信号的占空比。由于斩波电路可以通过调节光伏阵列端电压来实现最大功率跟踪，此处设端电压参考值调整的速率为
该参数与光伏模型功率调节速率相关，也将其作为等值模型的待辨识参数。
并网逆变器模型，用于描述逆变器的控制特性和交流侧滤波电路的动态过程，可以表示为：
其中ud和uq表示等值逆变器端口的d轴和q轴电压，usd和usq表示并网点的d轴和q轴电压，ω表示电网角频率，id和iq表示逆变器d轴和q轴的电流，idref和iqref分别表示d轴和q轴电流内环的参考值，L和R表示滤波电路的电阻，
表示PI控制参数。
以上各环节的模型描述了光伏逆变器的主要暂态过程，依据上述方程组可以构建等值光伏逆变器模型的仿真模型，作为强化学习所需的环境。
S3、对等值光伏逆变器模型的电路参数和控制参数进行灵敏度分析，筛选出对功率曲线拟合影响较显著的关键参数，将关键参数作为待辨识参数。对电路参数和控制参数进行灵敏度分析，可以减少待辨识参数的数量，提高参数辨识收敛的可能性和效率。
对光伏逆变器的电路参数和控制参数进行灵敏度分析包括以下步骤：
S31、根据光伏电站内逆变器的数量和单个逆变器的电路参数和控制参数，计算等值光伏逆变器模型中的电路参数的估计值和控制参数的估计值。
S32、令电路参数、控制参数在初值附近的设定区间内变动，根据影响程度指标y分析电路参数、控制参数的取值变化对功率曲线拟合误差的影响程度，计算电路参数、控制参数的灵敏度。
S33、选取灵敏度较大的电路参数或控制参数，将其作为待辨识参数。
本实施例中，等值光伏逆变器模型中，涉及电路参数包括：直流侧电感L1，光伏侧电容C1，逆变器侧电容C2，滤波电感L，滤波电阻R，滤波电容C。控制参数包括：逆变器控制参数
和直流侧MPPT调节参数VMPPT。当光伏电站中有n组光伏逆变器时，等值光伏逆变器模型的参数θ与每个单元的参数
的比例关系可以近似地表示为：
通过以上换算关系，可以依据单个逆变器的参数值
来估算等值光伏逆变器模型参数θ的大致范围。由于后续会运用强化学习算法辨识关键参数，此处计算估算代入的单机参数值无需特别精确，只需要保证代入的
能基本描述对应参数的大致范围和数量级。之后需要对以上参数进行灵敏度分析，选取对暂态特性影响较为显著的参数进行辨识，其余参数可以直接设为典型值。
在对某一参数θi进行灵敏度分析时，需要分析θi在设定区间内变动时对某一指标的影响程度，本发明将等值光伏逆变器模型仿真结果与原始光伏电站功率曲线的均方差作为影响程度指标y，指标y的计算公式为：
其中，N表示采样点个数，Pi和Qi表示等值光伏逆变器模型在第i个采样点的有功和无功功率，
和
表示光伏电站在第i个采样点的有功和无功功率，k1和k2是衡量指标时可以自由选择的系数。
此时将参数θi在其估计值
附近的区间
内等步长地取100个值
同时直接令剩余参数θj(j≠i)等于估计值
对这100个取值分别运行等值光伏逆变器模型，记录均方差
其中k＝1,2…100，并计算参数θi的灵敏度，参数θi包括电路参数和控制参数。计算参数θi的灵敏度的计算公式为：
其中，其中，
来表示归一化后的灵敏度，
为第k+1个取值的均方差，θi (k+1)为参数θi第k+1个采样点取值，θi (k)为参数θi第k个采样点取值，如果
计算得到的数值越大，表明在θi的第k个采样点附近，θi取值的变动对结果影响显著。如果对于参数θi的大部分采样点，计算得到的灵敏度都偏大都偏大，表明参数θi对功率曲线的拟合效果较为显著，需要将其作为待辨识参数。
对于这些需要进行参数辨识的参数，将其估计值代入求取平均值的计算公式，得到等值光伏逆变器模型对应参数的初值，之后运用强化学习的方法对其进行进一步修正。对于灵敏度不高的非关键参数，可以直接将其估计值代入求取平均值的计算公式，得到等值光伏逆变器模型的对应参数。
对主要的电路参数和控制参数的灵敏度进行分析，分析的结果分别如图4和图5所示，分别为等值逆变器模型电路参数灵敏度曲线图、等值逆变器模型控制参数灵敏度曲线图。图4主要展示了主要的电容、电感、电阻参数在不同采样点处的灵敏度大小，图5主要展示了关键的控制参数在不同采样点处的灵敏度大小，从中可以看出参数R,L1,C2,
VMPPT的灵敏度相对较大，将它们作为待辨识的关键参数，构造为强化学习的状态向量。
S4、采用PPO深度强化学习算法(Proximal Policy Optimization，邻近优化算法)进行参数辨识，当等值光伏逆变器模型的功率曲线与原始光伏电站的功率曲线的误差小于设定的范围时，将强化学习的状态向量作为参数辨识的结果。
本实施例中，将等值光伏逆变器模型作为强化学习的环境，运用PPO算法作为强化学习的智能体，采用深度强化学习的方式来修正待辨识参数，并对智能体进行训练，可以提高等值光伏逆变器模型参数辨识的效率。
强化学习的脚本采用Python进行开发，可以在Python程序中修改等值光伏逆变器模型的待辨识参数，之后运行等值光伏逆变器模型，获得等值光伏逆变器模型在扰动过程中的P、Q功率曲线，将其与原始光伏电站的P、Q功率曲线进行比较，来试验待辨识参数的拟合效果。强化学习的状态(state)为待辨识参数构成的向量，动作(action)需要修正待辨识参数，在原始的状态向量上面再叠加一个修正向量，从而得到下一个状态(next state)，即修正后的参数。奖励为等值光伏逆变器模型PQ曲线和原始光伏电站PQ曲线均方差的相反数，如果拟合效果越接近，则均方差越小、奖励越大。
如图6所示，基于PPO算法进行参数辨识的框图，采用PPO深度强化学习算法进行参数辨识具体包括步骤：
S41、将光伏电站在扰动中产生的原始有功功率
无功功率
和待辨识参数的初值输入等值光伏逆变器模型，基于PPO强化学习算法使用连续步长对等值光伏逆变器模型的待辨识参数进行试凑和修正。
S42、运行等值光伏逆变器模型拟合出功率曲线，计算功率曲线拟合的均方差，如果拟合出的功率曲线与原始功率曲线的误差小于设定限值，则输出参数辨识的结果，否则将均方差的相反数作为环境反馈给智能体的奖励继续进行训练，同时更新深度强化学习的神经网络参数。
PPO强化学习算法是一种容易收敛的策略学习算法，在深度强化学习领域应用广泛。首先需要输入光伏电站在扰动中产生的原始功率量测数据
和
将其作为等值模型功率曲线拟合的目标，同时输入待辨识参数的初值。
基于PPO强化学习算法使用连续步长对等值光伏逆变器模型的待辨识参数进行修正，具体包括：将待辨识参数的当前值作为强化学习的状态量，将强化学习的动作量作为待辨识参数的修正量，将修正量叠加状态量得到修正后的待辨识参数，将修正后的待辨识参数输入等值光伏逆变器模型。
强化学习的几个要素为状态state，动作action和奖励reward，强化学习的状态state为一个6维向量
即由待辨识参数构成的向量。在每一步的动作action中，所有待辨识变量进行一定幅度的修正，动作向量
从而得到修正后的参数：
运行等值光伏逆变器模型，拟合出功率曲线P和Q，并计算功率曲线拟合的均方差：
其中，其中，N表示采样点个数，Pi、Qi分别表示等值光伏逆变器模型在第i个采样点的有功和无功功率，
分别表示光伏电站在第i个采样点的有功和无功功率。如果拟合出的功率曲线与原始功率曲线的误差较小，则输出参数辨识的结果，否则将均方差的相反数作为环境反馈给智能体的奖励rt，继续进行训练。这种迭代的过程会逐步修正等值光伏逆变器模型的待辨识参数和PPO算法神经网络的参数，直至功率曲线的拟合误差达到允许的范围。
训练的过程中除了修正待辨识参数之外，还需要修正深度强化学习中用到的神经网络参数。以最大化状态价值函数期望为目标，更新Actor网络的参数。采取时序差分残差的学习方式，以减小估计误差为目标，更新Critic网络的参数。
PPO属于Actor-Critic算法，其中的Actor神经网络是学习策略网络，用于确定各个修正量ΔR,ΔL1,ΔC2,
ΔVMPPT服从的概率密度函数，假设每个待辨识参数的修正量都服从正态分布，Actor网络的输入向量是当前的状态向量，输出向量是各个修正量的数学期望值，同时也将各个修正量的方差作为神经网络的参数，如果某个参数的识别效果较好，它的修正量的方差会逐渐减小，趋于收敛，如果识别效果波动较大，它的修正量的方差会逐渐增大，提高探索能力。每一步的动作都会在正态分布中抽样，确定动作向量a。
Actor网络更新参数的目标是最优化策略函数，同时PPO算法需要采取截断的方式，来保证新的参数和旧的参数差距不会太大，Actor网络参数更新迭代的策略可以表示为：
上式表示需要确定策略网络的参数θ′，以实现状态价值函数期望的最大化。其中θk表示当前策略网络的参数，πθ′(a|s)表示策略函数，
表示当前策略的状态价值函数，
表示当前策略的优势函数，ε是一个超参数，用于限制截断范围。
Critic神经网络是价值网络，用于确定某种状态的价值。Critic网络的输入向量是当前的状态向量，输出结果是当前策略π下的状态价值函数值。采取时序差分残差的学习方式，可以减小Critic网络的估计误差，Critic网络的参数更新策略可以表示为：
其中ω表示Critic网络的参数，γ表示奖励衰减因子，系数αω表示学习率，
表示状态价值函数的梯度。
PPO强化学习算法可以逐渐缩小等值光伏逆变器模型与原始光伏电站功率曲线的误差，最终辨识出一组能够拟合其动态特性的参数。随着强化学习的不断迭代与训练，等值光伏逆变器模型的PQ曲线会逐渐接近原始光伏电站的PQ曲线，当误差小于允许的范围时则认为目前等值光伏逆变器模型的拟合效果达到了预期的目标，将此时强化学习的状态向量作为参数辨识的结果。优选地，将深度强化学习中用到的Actor和Critic神经网络的参数保存下来，用于对该光伏电站等值模型的参数进行在线辨识或更新，可以在该神经网络的基础上再进行训练，运用神经网络的可迁移性来进一步提高参数辨识的效率。
本发明提供基于PPO算法的光伏电站暂态模型构建与参数辨识方法，采用物理模型与数据驱动相结合的方法，建立了光伏电站的等值模型，提出了一种基于PPO算法的等值光伏逆变器模型参数辨识方法，采用了物理模型与数据驱动相结合的方式，考虑了光伏逆变器的物理机理，该等值光伏逆变器模型具有较明确的物理意义，可以融入到电力系统的稳定性分析当中，同时也借助数据驱动的方式降低了对原始参数的依赖程度，无需预先获取各个光伏发电单元准确的电路参数和控制参数。同时考虑光伏逆变器的电路参数和控制参数，并运用灵敏度分析的方式选择需要辨识的参数，提高了参数辨识的针对性，可以在保证分析精度的前提下减少后续强化学习的维数，提高参数辨识的效率。运用深度强化学习代替原有的粒子群算法，提高参数辨识的效率，强化学习可以基于试验和反馈，使智能体学习一个较好的策略，从而能主动适应环境以最大化未来奖励，可以提高参数辨识的速度；如果后续需要对待辨识参数进行修正，可以在每次参数辨识后可以将训练得到的神经网络保存下来，提升对在线参数辨识的可行性和效率，有助于分析光伏电站系统的动态特性，进而保障电网的安全稳定运行。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，包括以下步骤：
S1、采集光伏电站在其经受扰动时相关的电压和功率数据；
S2、建立等值光伏逆变器模型，分别建立光伏阵列模型、Boost电路模型和并网逆变器模型；
S3、对等值光伏逆变器模型的参数进行灵敏度分析，筛选出对功率曲线拟合影响较显著的关键参数，将关键参数作为待辨识参数；等值光伏逆变器模型的参数包括电路参数和控制参数；
S4、采用PPO深度强化学习算法进行参数辨识，当等值光伏逆变器模型的功率曲线与原始光伏电站的功率曲线的误差小于设定的范围时，将强化学习的状态向量作为参数辨识的结果。
2.根据权利要求1所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述光伏电站为两级式光伏逆变器构建的光伏电站；所述采集光伏电站在其经受扰动时相关的电压和功率数据包括：在光伏电站经受光照强度改变、短路故障、电压暂降扰动时，采集光伏电站的扰动前、完整扰动过程中和扰动后的并网点电压V、输出有功功率P和输出无功功率Q。
3.根据权利要求1所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述步骤S2包括：
建立光伏阵列模型，确定光伏电池的输出电流与光照强度、温度和端电压的关系；
建立Boost电路模型，确定Boost电路在逆变器侧输出电流与光伏电池输出电流、占空比、直流侧电容和电感的关系；
建立并网逆变器模型，确定逆变器的输出电流与逆变器控制参数和Boost电路输出电流的关系。
4.根据权利要求1所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述步骤S3包括：
根据光伏电站内逆变器的数量和单个逆变器的电路参数和控制参数，计算等值光伏逆变器模型中的电路参数的估计值和控制参数的估计值；
令电路参数和控制参数在其估计值附近的设定区间内变动，根据影响程度指标y分析参数的取值变化对功率曲线拟合误差的影响程度，计算参数的灵敏度，选取灵敏度大的参数作为待辨识参数。
5.根据权利要求4所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述等值光伏逆变器模型的电路参数包括：直流侧电感L1、光伏侧电容C1、逆变器侧电容C2、滤波电感L、滤波电阻R和滤波电容C；所述等值光伏逆变器模型的控制参数包括：逆变器控制参数和直流侧MPPT调节参数。
6.根据权利要求4所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述影响程度指标y为等值光伏逆变器模型仿真结果与原始光伏电站功率曲线的均方差，影响程度指标y计算公式为：
其中，N表示采样点个数，Pi和Qi表示等值光伏逆变器模型在第i个采样点的有功和无功功率，
和
表示光伏电站在第i个采样点的有功和无功功率，k1和k2是衡量指标时能够自由选择的系数。
7.根据权利要求4所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述计算参数的灵敏度包括：
将参数θi在其估计值
附近的设定区间内等步长地取n个值，同时令剩余参数θj(j≠i)等于估计值
对这n个取值分别运行等值光伏逆变器模型，记录均方差
其中k＝1,2…n，计算参数θi的灵敏度，计算参数θi的灵敏度的计算公式为：
其中，
来表示归一化后的灵敏度，
为第k+1个取值的均方差，
为参数θi第k+1个采样点取值，
为参数θi第k个采样点取值，所述参数θi包括电路参数和控制参数。
8.根据权利要求1所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述步骤S4包括：
将光伏电站在扰动中产生的原始有功功率
无功功率
和待辨识参数的初值输入等值光伏逆变器模型，基于PPO强化学习算法使用连续步长对等值光伏逆变器模型的待辨识参数进行试凑和修正；
运行等值光伏逆变器模型拟合出功率曲线，计算功率曲线拟合的均方差，如果拟合出的功率曲线与原始功率曲线的误差小于设定限值，则输出参数辨识的结果，否则将均方差的相反数作为环境反馈给智能体的奖励继续进行训练，同时更新深度强化学习的神经网络参数。
9.根据权利要求8所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述基于PPO强化学习算法使用连续步长对等值光伏逆变器模型的待辨识参数进行试凑和修正包括：
将待辨识参数的当前值作为强化学习的状态量，将强化学习的动作量作为待辨识参数的修正量，将修正量叠加状态量得到修正后的待辨识参数，将修正后的待辨识参数输入等值光伏逆变器模型。
10.根据权利要求8所述的基于PPO算法的光伏电站暂态模型构建与参数辨识方法，其特征在于，所述运行等值光伏逆变器模型拟合出功率曲线，计算功率曲线拟合的均方差的计算公式为：
其中，N表示采样点个数，Pi、Qi分别表示等值光伏逆变器模型在第i个采样点的有功和无功功率，
分别表示光伏电站在第i个采样点的有功和无功功率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211205874.1A CN115632394A (zh) | 2022-09-30 | 2022-09-30 | 基于ppo算法的光伏电站暂态模型构建与参数辨识方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211205874.1A CN115632394A (zh) | 2022-09-30 | 2022-09-30 | 基于ppo算法的光伏电站暂态模型构建与参数辨识方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115632394A true CN115632394A (zh) | 2023-01-20 |
Family
ID=84905616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211205874.1A Pending CN115632394A (zh) | 2022-09-30 | 2022-09-30 | 基于ppo算法的光伏电站暂态模型构建与参数辨识方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115632394A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117559518A (zh) * | 2023-10-16 | 2024-02-13 | 国家电网有限公司华东分部 | 风力发电系统等效模型构建方法及装置 |
| CN117610314A (zh) * | 2024-01-18 | 2024-02-27 | 电子科技大学(深圳)高等研究院 | 光伏组件建模方法、装置、设备及存储介质 |
-
2022
- 2022-09-30 CN CN202211205874.1A patent/CN115632394A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117559518A (zh) * | 2023-10-16 | 2024-02-13 | 国家电网有限公司华东分部 | 风力发电系统等效模型构建方法及装置 |
| CN117610314A (zh) * | 2024-01-18 | 2024-02-27 | 电子科技大学(深圳)高等研究院 | 光伏组件建模方法、装置、设备及存储介质 |
| CN117610314B (zh) * | 2024-01-18 | 2024-05-07 | 电子科技大学(深圳)高等研究院 | 光伏组件建模方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lopez-Garcia et al. | Artificial neural networks in microgrids: A review | |
| CN115632394A (zh) | 基于ppo算法的光伏电站暂态模型构建与参数辨识方法 | |
| CN104965558A (zh) | 一种考虑雾霾因素的光伏发电系统最大功率跟踪方法及装置 | |
| Paduani et al. | A unified power-setpoint tracking algorithm for utility-scale PV systems with power reserves and fast frequency response capabilities | |
| CN109245092B (zh) | 基于优化模型预测算法结合变步长扰动控制的mppt方法 | |
| TWI391807B (zh) | 太陽光電發電系統之最大功率追蹤系統及方法 | |
| CN104765400B (zh) | 一种光伏发电系统环境自适应式mppt方法及系统 | |
| Jiang et al. | A simple hybrid MPPT technique for photovoltaic systems under rapidly changing partial shading conditions | |
| Cui et al. | Equivalent Circuit Model of Lead-acid Battery in Energy Storage Power Station and Its State-of-Charge Estimation Based on Extended Kalman Filtering Method. | |
| CN106055019B (zh) | 基于在线软测量模型的最大功率点跟踪的光伏发电系统 | |
| Arulmurugan | Photovoltaic powered transformer less hybrid converter with active filter for harmonic and reactive power compensation | |
| Siddique et al. | Maximum power point tracking with modified incremental conductance technique in grid-connected PV array | |
| El-Khatib et al. | Hardware-in-the-loop testing of simple and intelligent MPPT control algorithm for an electric vehicle charging power by photovoltaic system | |
| El Mezdi et al. | Nonlinear control design of grid-connected photovoltaic system through lc filter with ann based mppt method | |
| Deboucha et al. | Improved incremental conductance maximum power point tracking algorithm using fuzzy logic controller for photovoltaic system | |
| Traiki et al. | Multi-objective control and optimization of a stand-alone photovoltaic power conversion system with battery storage energy management | |
| CN108181966B (zh) | 一种基于电压-功率扫描的光伏多峰mpp快速跟踪方法 | |
| Ibrahim et al. | Fast DC-link voltage control based on power flow management using linear ADRC combined with hybrid salp particle swarm algorithm for PV/wind energy conversion system | |
| Anu Shalini et al. | Power generation forecasting using deep learning CNN-based BILSTM technique for renewable energy systems | |
| CN109508062B (zh) | 一种基于模糊电导的光伏发电控制方法及系统 | |
| CN104795836A (zh) | 一种单相光伏并网发电检测系统及其非线性电流控制方法 | |
| CN114498644A (zh) | 一种储能光伏并网系统的新型自适应指令滤波反推滑模控制器 | |
| CN114710116A (zh) | 一种基于模糊模型的光伏电池组件的实测建模方法及系统 | |
| Cho et al. | A variable step size incremental conductance MPPT of a photovoltaic system using DC-DC converter with direct control scheme | |
| CN104113079A (zh) | Mppt控制方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Lu Youfei Inventor after: Cai Yanchun Inventor after: Liu Xuan Inventor after: Lai Dexiang Inventor after: Su Jie Inventor after: Liang Xueqing Inventor after: Wu Renbo Inventor after: Zhang Yang Inventor after: Liu Luhao Inventor after: Zhao Hongwei Inventor after: Chen Minghui Inventor after: Zhang Shaofan Inventor after: Zou Shirong Inventor before: Long Yun Inventor before: Zou Shirong Inventor before: Cai Yanchun Inventor before: Liu Xuan Inventor before: Lai Dexiang Inventor before: Su Jie Inventor before: Lu Youfei Inventor before: Liang Xueqing Inventor before: Wu Renbo Inventor before: Zhang Yang Inventor before: Liu Luhao Inventor before: Zhao Hongwei Inventor before: Chen Minghui Inventor before: Zhang Shaofan |