CN115392110A - 基于ppo算法的数据模型混合驱动风电场建模方法 - Google Patents

基于ppo算法的数据模型混合驱动风电场建模方法 Download PDF

Info

Publication number
CN115392110A
CN115392110A CN202210889254.8A CN202210889254A CN115392110A CN 115392110 A CN115392110 A CN 115392110A CN 202210889254 A CN202210889254 A CN 202210889254A CN 115392110 A CN115392110 A CN 115392110A
Authority
CN
China
Prior art keywords
wind power
power plant
parameter
parameters
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210889254.8A
Other languages
English (en)
Inventor
龙云
吴任博
张扬
赵宏伟
卢有飞
梁雪青
刘璐豪
陈明辉
张少凡
邹时容
蔡燕春
刘璇
赖德翔
苏杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangzhou Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202210889254.8A priority Critical patent/CN115392110A/zh
Publication of CN115392110A publication Critical patent/CN115392110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J3/00—Circuit arrangements for ac mains or ac distribution networks
    • H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
    • H02J3/381—Dispersed generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/06—Wind turbines or wind farms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/06—Power analysis or power optimisation
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2203/00—Indexing scheme relating to details of circuit arrangements for AC mains or AC distribution networks
    • H02J2203/20—Simulating, e g planning, reliability check, modelling or computer assisted design [CAD]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J2300/00—Systems for supplying or distributing electric power characterised by decentralized, dispersed, or local generation
    • H02J2300/20—The dispersed energy generation being of renewable origin
    • H02J2300/28—The renewable source being wind energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种基于PPO算法的数据模型混合驱动风电场建模方法，包括以下步骤：S1、收集风电场在经受扰动后的量测数据；S2、构建风电场等值机模型，运用微分方程来描述风电场在经受扰动后的暂态过程，依据微分方程组构建等值机模型；S3、参数初值设置与灵敏度分析，对双馈风机的电机参数和控制参数进行轨迹灵敏度分析；S4、基于PPO强化学习算法的参数辨识。本发明融合了机理模型建模和参数辨识的方法，建立的等值机模型具有明确的物理意义，同时无需预先知道每台风机的准确参数，显著降低了数据获取的难度，并且运用深度强化学习算法代替原有的粒子群算法，提高了参数辨识的效率。

Description

基于PPO算法的数据模型混合驱动风电场建模方法
技术领域
本发明属于电力系统技术领域，具体涉及一种基于PPO算法的数据模型混合驱动风电场建模方法。
背景技术
随着传统电力系统向新型电力系统的转型，风力发电在电力系统发电总量的比重逐渐增大，而其具有强波动性和弱支撑性，其动态特性与传统同步发电机组有较大的差距，风电场的大规模并网会显著改变电力系统的稳定性和电能质量，因此建立风电场的准确模型有助于分析电力系统的动态特性，进而保障电网的安全稳定运行。
风电场中包含大量风力发电机，分别建立每台机组的模型会导致风电场模型的阶数极高、运算量极大，难以应用到电力系统的实时计算当中。风电场建模的目标是运用一台或少数几台的等值风力发电机，来等效原有的风力风电场，主要需要完成两个任务，确定等效风机的模型结构和辨识等效风机模型的关键参数。现有的研究主要分为物理机理建模或参数辨识两种方法。物理机理建模的方案需要在已知每台风机参数的前提下，对每台风机的参数进行加权，从而获得等值机的参数。然而实际上风机的部分参数可能是难以获取的，另外风机的电阻、电感等电机参数可能会受到磁路饱和特性、温度变化、集肤效应的影响而实时改变，这种参数的不确定性和动态变化特性会降低物理机理模型的准确性和鲁棒性。除此之外，物理模型的精确性依赖于良好的加权算法，较为精确的加权算法往往需要依据每台风机的输出功率进行加权，从而需要收集大规模的量测数据，来描述每台风机的运行状况，这会显著增大算法的数据获取难度和运算量。参数辨识的方法需要根据风电场在受扰后的动态量测数据，运用粒子群算法来试凑等值机的参数，通过拟合受扰曲线进行参数辨识。这种辨识方法在获取等值机参数时，存在粒子群算法耗时太长、量测量不充分导致辨识系统不可观、参数的轨迹灵敏度小而难以辨识等问题，因此难以保证风电场建模的精确性和效率。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于PPO算法的数据模型混合驱动风电场建模方法。
为了达到上述目的，本发明采用以下技术方案：
基于PPO算法的数据模型混合驱动风电场建模方法，包括以下步骤：
S1、收集风电场在经受扰动后的量测数据，在其经受扰动后，采集扰动前后和扰动过程中的风电场电压和功率数据；
S2、构建风电场等值机模型，运用微分方程来描述风电场在经受扰动后的暂态过程，依据微分方程组构建等值机模型；
S3、参数初值设置与灵敏度分析，对双馈风机的电机参数和控制参数进行轨迹灵敏度分析；
S4、基于PPO强化学习算法的参数辨识。
进一步的，步骤S1具体为：
搭建包含多台双馈风机的风电场Simulink仿真模型，风机采用最大功率跟踪和定无功功率控制方式；
记录在扰动过程中风电场输出有功功率和无功功率的变化曲线。
进一步的，步骤S2具体为：
运用dq0坐标系下13阶的微分方程组来描述风电场等值机的暂态过程，并搭建抽象仿真模型；在具有数值仿真功能的软件中，运用数值计算的基本模块搭建出各个变量间的数量关系，仿真软件调用合适的数值积分方法，运用数值计算的方法求解该微分方程组，计算各个变量在每个时刻的值，达到类似时域仿真的效果。
进一步的，13阶的微分方程组具体包括：
描述异步电机转子绕组电磁暂态过程的2个微分方程：
Figure BDA0003766913140000031
Figure BDA0003766913140000032
其中，Lr表示转子等效两相绕组的自感，表示为励磁电感和转子侧漏感之和Lr＝Lm+Llr，Rr表示转子侧电阻，Xm表示励磁电抗，e′d和e′q表示d轴和q轴的暂态电势，urd和urq表示转子侧绕组端电压的d轴和q轴分量，ird和irq表示转子电流的d轴和q轴分量，ωs表示转差；
描述转子侧换流器双闭环PI控制的4个微分方程：
Figure BDA0003766913140000033
Figure BDA0003766913140000034
Figure BDA0003766913140000035
Figure BDA0003766913140000036
其中，Q*和Q分别表示无功功率参考值的测量值，
Figure BDA0003766913140000037
和
Figure BDA0003766913140000038
表示电流内环的参考值，
Figure BDA0003766913140000039
和ωm分别表示转子转速的参考值和测量值，ψs表示定子磁链，Ls表示定子等效两相绕组的自感，表示为励磁电感和定子侧漏感之和Ls＝Lm+Lls；
Figure BDA00037669131400000310
Figure BDA0003766913140000041
均为PI控制参数，d轴和q轴上两个电流内环的控制参数相同；
描述异步电机转子运动的1个微分方程：
Figure BDA0003766913140000042
其中，J表示转动惯量，Tm和Te分别表示机械转矩和电磁转矩，D表示摩擦系数；
描述定子侧换流器双闭环PI控制的3个微分方程：
Figure BDA0003766913140000043
Figure BDA0003766913140000044
Figure BDA0003766913140000045
其中，
Figure BDA0003766913140000046
和
Figure BDA0003766913140000047
表示d轴和q轴电流的参考值，igd和igq表示d轴和q轴电流的测量值，
Figure BDA0003766913140000048
和Udc表示直流母线电压的参考值和测量值，us表示电网电压在dq0坐标系下的幅值，与有效值的换算关系表示为
Figure BDA0003766913140000049
ω表示电网电压角频率，L表示滤波电感大小；
Figure BDA00037669131400000410
均为PI控制参数；
描述定子侧换流器滤波电感上电流的2个微分方程：
Figure BDA00037669131400000411
Figure BDA00037669131400000412
其中，ugd和ugq表示定子侧换流器端口的d轴和q轴电压，igd和igq表示定子侧换流器d轴和q轴的电流，R表示滤波电路的电阻；
描述直流母线电容电压的1个微分方程：
Figure BDA0003766913140000051
其中，C表示直流母线电容的容值。
进一步的，当风电场中有n台风力发电机时，等值机的参数与每台风机的参数的比例关系表示为：
Figure BDA0003766913140000052
Figure BDA0003766913140000053
Figure BDA0003766913140000054
Figure BDA0003766913140000055
进一步的，灵敏度分析具体为：
针对电机参数Rs，Rr，Lls，Llr，Lm，TJ和转子侧换流器控制参数
Figure BDA0003766913140000056
Figure BDA0003766913140000057
分析以上参数在某一区间内变动时，等值机模型仿真结果与原始风电场功率曲线的均方差y：
Figure BDA0003766913140000058
其中，N表示采样点个数，Pi和Qi表示等值机仿真模型在第i个采样点的有功和无功功率，
Figure BDA0003766913140000059
和
Figure BDA00037669131400000510
表示风电场模型在第i个采样点的有功和无功功率，k1和k2是衡量指标时自由选择的系数；
将参数θi在其估计值
Figure BDA00037669131400000511
附近的区间
Figure BDA00037669131400000512
内等间距地取100个值θi (1)，θi (2)……θi (100)，同时令其余参数θj(j≠i)等于估计值
Figure BDA00037669131400000513
对这100个取值分别运行仿真模型，并记录相应仿真结果的均方差
Figure BDA00037669131400000514
其中k＝1,2…100，之后对参数θi的灵敏度进行分析，灵敏度分析需要研究θi (k)的变化对
Figure BDA00037669131400000515
的影响程度，使用
Figure BDA00037669131400000516
对θi (k)偏导数的绝对值来表示：
Figure BDA0003766913140000061
如果根据公式(19)计算得到的绝对值越大，表明在θi的第k个采样点附近，θi的波动对结果影响显著，如果对于参数θi的大部分采样点，计算得到的偏导数都偏大，表明参数θi对功率曲线的拟合效果较为明显，将其作为待辨识参数。
进一步的，由于使用各个参数的量纲有差距，因此在比较不同参数对仿真结果的影响程度时，需要进行归一化处理，运用归一化后的指标
Figure BDA00037669131400000610
来表示灵敏度：
Figure BDA0003766913140000062
进一步的，基于PPO强化学习算法的参数辨识具体为：
首先输入原始风电场产生的功率数据
Figure BDA0003766913140000063
和
Figure BDA0003766913140000064
以及待辨识参数的初值；
基于PPO强化学习算法，使用连续步长对等值机的待辨识参数进行修正；强化学习的几个要素为状态state、动作action和奖励reward，其中状态为一个6维向量
Figure BDA0003766913140000065
即待辨识参数构成的向量，在每一步的动作中，所有待辨识变量均会叠加一个修正量
Figure BDA0003766913140000066
从而得到下一个状态
Figure BDA0003766913140000067
修正等值机的参数，并且运行仿真模型拟合出功率曲线P和Q，如果拟合出的功率曲线与原始功率曲线的误差较小，则输出参数辨识的结果，否则将功率曲线拟合均方差的相反数作为环境反馈给智能体的奖励rt，继续进行训练，并且计算出时序差分残差δt：
Figure BDA0003766913140000068
其中，γ表示衰减因子，
Figure BDA0003766913140000069
表示策略π的状态价值函数，计算得到的残差用于对PPO算法的神经网络参数进行更新；迭代的过程会逐步修正等值机的待辨识参数和深度强化学习神经网络的参数，直至功率曲线的误差达到允许的范围。
进一步的，PPO算法中，采用Actor神经网络确定修正量ΔTJ,ΔRs,ΔRr,ΔLm,
Figure BDA0003766913140000071
服从的概率密度函数；
假设每个待辨识参数的修正量都服从正态分布，Actor网络的输入向量是当前的状态向量，输出向量是各个修正量的数学期望值，之后在正态分布中抽样，确定这一步的动作向量
Figure BDA0003766913140000072
Actor网络更新参数的目标是最优化策略函数，参数更新迭代的策略表示为：
Figure BDA0003766913140000073
其中，θk表示当前策略网络的参数，
Figure BDA0003766913140000074
表示当前策略的优势函数，ε是一个超参数，用于限制截断范围；
采用Critic神经网络确定某种状态的价值；
采取时序差分残差的学习方式，减小Critic网络的估计误差，其参数更新策略表示为：
Figure BDA0003766913140000075
其中，ω表示Critic网络的参数，αω表示学习率，δt表示时序差分残差，
Figure BDA0003766913140000076
表示状态价值函数的梯度。
进一步的，在训练神经网络的过程中，需要使用Adam算法作为优化器，同时需要将输入的参数进行归一化，并在每层神经网络的激活函数后面进行批标准化处理，来提高神经网络训练的效率和收敛性。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明采用了物理模型与数据驱动相结合的方式，考虑了风力发电机的物理特性；等值机模型具有较明确的物理意义，较易融入到电力系统的稳定性分析当中，同时也借助数据驱动的方式提升了建模的准确性；将物理模型与数据驱动相结合，既可以考虑主要的物理机理，也可以充分利用观测到的大量数据，提高模型的精度。
2、本发明运用抽象的13阶微分代数-方程组作为强化学习的环境，提高了参数辨识的速度。由于参数辨识需要频繁运行仿真模型，若采用详细风机模型仿真会导致耗时太长；本发明中建立的抽象模型能基本描述风机功率、转速的动态特性和控制器的调节特性，由于该模型不对三相波形直接进行仿真，避免了大量的派克变换运算，仿真速度较快，可以显著节省参数辨识所需的时间。
3、本发明考虑双馈风机的电机参数和控制参数，并运用轨迹灵敏度分析的方式提高了参数辨识的针对性；选取对功率曲线拟合影响较大的参数进行辨识，可以在保证分析精度的前提下减少参数辨识的维数，提高参数辨识的效率。
4、本发明运用深度强化学习代替原有的粒子群算法，提高参数辨识的效率。
附图说明
图1是本发明方法的流程图；
图2是双馈风机典型控制方式的示意图；
图3是风电场在扰动过程中的功率曲线图；
图4是等值机模型电机参数灵敏度曲线图；
图5是等值机模型控制参数灵敏度曲线图；
图6是使用PPO强化学习算法进行参数辨识的流程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本发明，基于PPO算法的数据模型混合驱动风电场建模方法，包括以下步骤：
S1、收集风电场在经受扰动后的量测数据，在其经受扰动后，采集扰动前后和扰动过程中的风电场电压和功率数据；在本实施例中，具体为：
搭建包含多台双馈风机的风电场Simulink仿真模型，风机采用最大功率跟踪和定无功功率控制方式，其中无功功率的参考值需要保证风电场的功率因数维持在0.98，控制示意图如图2所示。风电场在第2.5s起风速发生变化，开始逐渐上升，输出功率逐渐增大，在第10s时出现了电压暂降，并网点电压由1p.u.暂降到0.7p.u.，记录在该扰动过程中风电场输出有功功率P和无功功率Q的变化曲线，功率曲线图如图3所示。
S2、构建风电场等值机模型，运用微分方程来描述风电场在经受扰动后的暂态过程，依据微分方程组构建等值机模型；
S3、参数初值设置与灵敏度分析，对双馈风机的电机参数和控制参数进行轨迹灵敏度分析；
S4、基于PPO强化学习算法的参数辨识。
在本实施例中，步骤S2具体为：
运用dq0坐标系下13阶的微分方程组来描述风电场等值机的暂态过程，并搭建抽象仿真模型。实际应用时；在具有数值仿真功能的软件中(如Simulink)，运用数值计算的基本模块搭建出各个变量间的数量关系，仿真软件调用合适的数值积分方法，运用数值计算的方法求解该微分方程组，计算各个变量在每个时刻的值，达到类似时域仿真的效果。
在本实施例中，13阶的微分方程组具体包括：
描述异步电机转子绕组电磁暂态过程的2个微分方程：
Figure BDA0003766913140000101
Figure BDA0003766913140000102
其中，Lr表示转子等效两相绕组的自感，可以表示为励磁电感和转子侧漏感之和Lr＝Lm+Llr，Rr表示转子侧电阻，Xm表示励磁电抗，e′d和e′q表示d轴和q轴的暂态电势，urd和urq表示转子侧绕组端电压的d轴和q轴分量，ird和irq表示转子电流的d轴和q轴分量，ωs表示转差；
描述转子侧换流器双闭环PI控制的4个微分方程：
Figure BDA0003766913140000103
Figure BDA0003766913140000104
Figure BDA0003766913140000105
Figure BDA0003766913140000106
其中，Q*和Q分别表示无功功率参考值的测量值，
Figure BDA0003766913140000107
和
Figure BDA0003766913140000108
表示电流内环的参考值，
Figure BDA0003766913140000109
和ωm分别表示转子转速的参考值和测量值，ψs表示定子磁链，Ls表示定子等效两相绕组的自感，可以表示为励磁电感和定子侧漏感之和Ls＝Lm+Lls。
Figure BDA00037669131400001010
均为PI控制参数，此处设定d轴和q轴上两个电流内环的控制参数相同；
描述异步电机转子运动的1个微分方程：
Figure BDA0003766913140000111
其中，J表示转动惯量，Tm和Te分别表示机械转矩和电磁转矩，D表示摩擦系数；
描述定子侧换流器双闭环PI控制的3个微分方程：
Figure BDA0003766913140000112
Figure BDA0003766913140000113
Figure BDA0003766913140000114
其中，
Figure BDA0003766913140000115
和
Figure BDA0003766913140000116
表示d轴和q轴电流的参考值，igd和igq表示d轴和q轴电流的测量值，
Figure BDA0003766913140000117
和Udc表示直流母线电压的参考值和测量值，us表示电网电压在dq0坐标系下的幅值，与有效值的换算关系可以表示为
Figure BDA0003766913140000118
ω表示电网电压角频率，L表示滤波电感大小；
Figure BDA0003766913140000119
均为PI控制参数；
描述定子侧换流器滤波电感上电流的2个微分方程：
Figure BDA00037669131400001110
Figure BDA00037669131400001111
其中，ugd和ugq表示定子侧换流器端口的d轴和q轴电压，igd和igq表示定子侧换流器d轴和q轴的电流，R表示滤波电路的电阻；
描述直流母线电容电压的1个微分方程：
Figure BDA00037669131400001112
其中，C表示直流母线电容的容值。
在本实施例中，当风电场中有n台风力发电机时，等值机的参数与每台风机的参数的比例关系表示为：
Figure BDA0003766913140000121
Figure BDA0003766913140000122
Figure BDA0003766913140000123
Figure BDA0003766913140000124
在本实施例中，灵敏度分析具体为：
针对电机参数Rs，Rr，Lls，Llr，Lm，TJ和转子侧换流器控制参数
Figure BDA0003766913140000125
Figure BDA0003766913140000126
分析以上参数在某一区间内变动时，等值机模型仿真结果与原始风电场功率曲线的均方差y：
Figure BDA0003766913140000127
其中，N表示采样点个数，Pi和Qi表示等值机仿真模型在第i个采样点的有功和无功功率，
Figure BDA0003766913140000128
和
Figure BDA0003766913140000129
表示风电场模型在第i个采样点的有功和无功功率，k1和k2是衡量指标时可以自由选择的系数。此时将参数θi在其估计值
Figure BDA00037669131400001210
附近的区间
Figure BDA00037669131400001211
内等间距地取100个值θi (1)，θi (2)……θi (100)，同时令其余参数θj(j≠i)等于估计值
Figure BDA00037669131400001212
对这100个取值分别运行仿真模型，并记录相应仿真结果的均方差
Figure BDA00037669131400001213
其中k＝1,2…100，之后可以对参数θi的灵敏度进行分析，灵敏度分析需要研究θi (k)的变化对
Figure BDA00037669131400001214
的影响程度，使用
Figure BDA00037669131400001215
对θi (k)偏导数的绝对值来表示：
Figure BDA00037669131400001216
如果根据公式(19)计算得到的绝对值越大，表明在θi的第k个采样点附近，θi的波动对结果影响显著，如果对于参数θi的大部分采样点，计算得到的偏导数都偏大，表明参数θi对功率曲线的拟合效果较为明显，将其作为待辨识参数。
由于使用各个参数的量纲有差距，因此在比较不同参数对仿真结果的影响程度时，需要进行归一化处理，运用归一化后的指标
Figure BDA0003766913140000131
来表示灵敏度：
Figure BDA0003766913140000132
分别对电机参数和电机侧控制参数的灵敏度进行分析，分析的结果分别如图4和图5所示。从中可以看出参数Rs，Rr，Lm，TJ，
Figure BDA0003766913140000133
的灵敏度较大，将它们作为待辨识参数，用于构造强化学习的状态向量，同时令其余参数等于容量加权得到的估算值。
如图6所示，基于PPO强化学习算法的参数辨识具体为：
首先输入原始风电场产生的功率数据
Figure BDA0003766913140000134
和
Figure BDA0003766913140000135
以及待辨识参数的初值；
基于PPO强化学习算法，使用连续步长对等值机的待辨识参数进行修正；强化学习的几个要素为状态state、动作action和奖励reward，其中状态为一个6维向量
Figure BDA0003766913140000136
即待辨识参数构成的向量，在每一步的动作中，所有待辨识变量均会叠加一个修正量
Figure BDA0003766913140000137
从而得到下一个状态
Figure BDA0003766913140000138
之后修正等值机的参数，并且运行仿真模型拟合出功率曲线P和Q，如果拟合出的功率曲线与原始功率曲线的误差较小，则输出参数辨识的结果，否则将功率曲线拟合均方差的相反数作为环境反馈给智能体的奖励rt，继续进行训练，并且计算出时序差分残差δt：
Figure BDA0003766913140000139
其中，γ表示衰减因子，
Figure BDA00037669131400001310
表示策略π的状态价值函数，计算得到的残差用于对PPO算法的神经网络参数进行更新；迭代的过程会逐步修正等值机的待辨识参数和深度强化学习神经网络的参数，直至功率曲线的误差达到允许的范围。
PPO算法中，采用Actor神经网络确定修正量ΔTJ,ΔRs,ΔRr,ΔLm,
Figure BDA0003766913140000141
服从的概率密度函数；
假设每个待辨识参数的修正量都服从正态分布，Actor网络的输入向量是当前的状态向量，输出向量是各个修正量的数学期望值，之后在正态分布中抽样，确定这一步的动作向量
Figure BDA0003766913140000142
Actor网络更新参数的目标是最优化策略函数，参数更新迭代的策略表示为：
Figure BDA0003766913140000143
其中，θk表示当前策略网络的参数，
Figure BDA0003766913140000144
表示当前策略的优势函数，ε是一个超参数，用于限制截断范围；
采用Critic神经网络确定某种状态的价值；
采取时序差分残差的学习方式，减小Critic网络的估计误差，其参数更新策略表示为：
Figure BDA0003766913140000145
其中，ω表示Critic网络的参数，αω表示学习率，δt表示时序差分残差，
Figure BDA0003766913140000146
表示状态价值函数的梯度。
在训练神经网络的过程中，需要使用Adam算法作为优化器，同时需要将输入的参数进行归一化，并在每层神经网络的激活函数后面进行批标准化处理，来提高神经网络训练的效率和收敛性。
PPO强化学习算法可以逐渐缩小等值机模型与原始风电场模型功率曲线的误差，最终辨识出一组能够拟合风电场动态特性的参数。每次辨识结束之后可以保存Actor和Critic神经网络的参数，如果后续需要对该风电场的等值模型进行更新，或需要辨识特性相似的风电场的参数，可以在此神经网络的基础上再进行训练，运用神经网络的可迁移性进一步提高参数辨识的效率。
还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，包括以下步骤：
S1、收集风电场在经受扰动后的量测数据，在其经受扰动后，采集扰动前后和扰动过程中的风电场电压和功率数据；
S2、构建风电场等值机模型，运用微分方程来描述风电场在经受扰动后的暂态过程，依据微分方程组构建等值机模型；
S3、参数初值设置与灵敏度分析，对双馈风机的电机参数和控制参数进行轨迹灵敏度分析；
S4、基于PPO强化学习算法的参数辨识。
2.根据权利要求1所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，步骤S1具体为：
搭建包含多台双馈风机的风电场Simulink仿真模型，风机采用最大功率跟踪和定无功功率控制方式；
记录在扰动过程中风电场输出有功功率和无功功率的变化曲线。
3.根据权利要求1所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，步骤S2具体为：
运用dq0坐标系下13阶的微分方程组来描述风电场等值机的暂态过程，并搭建抽象仿真模型；在具有数值仿真功能的软件中，运用数值计算的基本模块搭建出各个变量间的数量关系，仿真软件调用合适的数值积分方法，运用数值计算的方法求解该微分方程组，计算各个变量在每个时刻的值，达到类似时域仿真的效果。
4.根据权利要求3所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，13阶的微分方程组具体包括：
描述异步电机转子绕组电磁暂态过程的2个微分方程：
Figure FDA0003766913130000011
Figure FDA0003766913130000021
其中，Lr表示转子等效两相绕组的自感，表示为励磁电感和转子侧漏感之和Lr＝Lm+Llr，Rr表示转子侧电阻，Xm表示励磁电抗，e′d和e′q表示d轴和q轴的暂态电势，urd和urq表示转子侧绕组端电压的d轴和q轴分量，ird和irq表示转子电流的d轴和q轴分量，ωs表示转差；
描述转子侧换流器双闭环PI控制的4个微分方程：
Figure FDA0003766913130000022
Figure FDA0003766913130000023
Figure FDA0003766913130000024
Figure FDA0003766913130000025
其中，Q*和Q分别表示无功功率参考值的测量值，
Figure FDA0003766913130000026
和
Figure FDA0003766913130000027
表示电流内环的参考值，
Figure FDA0003766913130000028
和ωm分别表示转子转速的参考值和测量值，ψs表示定子磁链，Ls表示定子等效两相绕组的自感，表示为励磁电感和定子侧漏感之和
Figure FDA0003766913130000029
Figure FDA00037669131300000210
均为PI控制参数，d轴和q轴上两个电流内环的控制参数相同；
描述异步电机转子运动的1个微分方程：
Figure FDA00037669131300000212
其中，J表示转动惯量，Tm和Te分别表示机械转矩和电磁转矩，D表示摩擦系数；
描述定子侧换流器双闭环PI控制的3个微分方程：
Figure FDA00037669131300000211
Figure FDA0003766913130000031
Figure FDA0003766913130000032
其中，
Figure FDA0003766913130000033
和
Figure FDA0003766913130000034
表示d轴和q轴电流的参考值，igd和igq表示d轴和q轴电流的测量值，
Figure FDA0003766913130000035
和Udc表示直流母线电压的参考值和测量值，us表示电网电压在dq0坐标系下的幅值，与有效值的换算关系表示为
Figure FDA0003766913130000036
ω表示电网电压角频率，L表示滤波电感大小；
Figure FDA0003766913130000037
均为PI控制参数；
描述定子侧换流器滤波电感上电流的2个微分方程：
Figure FDA0003766913130000038
Figure FDA0003766913130000039
其中，ugd和ugq表示定子侧换流器端口的d轴和q轴电压，igd和igq表示定子侧换流器d轴和q轴的电流，R表示滤波电路的电阻；
描述直流母线电容电压的1个微分方程：
Figure FDA00037669131300000310
其中，C表示直流母线电容的容值。
5.根据权利要求4所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，当风电场中有n台风力发电机时，等值机的参数与每台风机的参数的比例关系表示为：
Figure FDA00037669131300000311
Figure FDA00037669131300000312
Figure FDA00037669131300000313
Figure FDA00037669131300000314
6.根据权利要求1所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，灵敏度分析具体为：
针对电机参数Rs，Rr，Lls，Llr，Lm，TJ和转子侧换流器控制参数
Figure FDA0003766913130000041
Figure FDA0003766913130000042
分析以上参数在某一区间内变动时，等值机模型仿真结果与原始风电场功率曲线的均方差y：
Figure FDA0003766913130000043
其中，N表示采样点个数，Pi和Qi表示等值机仿真模型在第i个采样点的有功和无功功率，
Figure FDA0003766913130000044
和
Figure FDA0003766913130000045
表示风电场模型在第i个采样点的有功和无功功率，k1和k2是衡量指标时自由选择的系数；
将参数θi在其估计值
Figure FDA0003766913130000046
附近的区间
Figure FDA0003766913130000047
内等间距地取100个值
Figure FDA0003766913130000048
Figure FDA0003766913130000049
同时令其余参数θj(j≠i)等于估计值
Figure FDA00037669131300000410
对这100个取值分别运行仿真模型，并记录相应仿真结果的均方差
Figure FDA00037669131300000411
其中k＝1,2…100，之后对参数θi的灵敏度进行分析，灵敏度分析需要研究
Figure FDA00037669131300000412
的变化对
Figure FDA00037669131300000413
的影响程度，使用
Figure FDA00037669131300000414
对
Figure FDA00037669131300000415
偏导数的绝对值来表示：
Figure FDA00037669131300000416
如果根据公式(19)计算得到的绝对值越大，表明在θi的第k个采样点附近，θi的波动对结果影响显著，如果对于参数θi的大部分采样点，计算得到的偏导数都偏大，表明参数θi对功率曲线的拟合效果较为明显，将其作为待辨识参数。
7.根据权利要求6所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，由于使用各个参数的量纲有差距，因此在比较不同参数对仿真结果的影响程度时，需要进行归一化处理，运用归一化后的指标
Figure FDA00037669131300000417
来表示灵敏度：
Figure FDA0003766913130000051
8.根据权利要求1所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，基于PPO强化学习算法的参数辨识具体为：
首先输入原始风电场产生的功率数据
Figure FDA0003766913130000052
和
Figure FDA0003766913130000053
以及待辨识参数的初值；
基于PPO强化学习算法，使用连续步长对等值机的待辨识参数进行修正；强化学习的几个要素为状态state、动作action和奖励reward，其中状态为一个6维向量
Figure FDA0003766913130000054
即待辨识参数构成的向量，在每一步的动作中，所有待辨识变量均会叠加一个修正量
Figure FDA0003766913130000055
从而得到下一个状态
Figure FDA0003766913130000056
修正等值机的参数，并且运行仿真模型拟合出功率曲线P和Q，如果拟合出的功率曲线与原始功率曲线的误差较小，则输出参数辨识的结果，否则将功率曲线拟合均方差的相反数作为环境反馈给智能体的奖励rt，继续进行训练，并且计算出时序差分残差δt：
Figure FDA0003766913130000057
其中，γ表示衰减因子，
Figure FDA0003766913130000058
表示策略π的状态价值函数，计算得到的残差用于对PPO算法的神经网络参数进行更新；迭代的过程会逐步修正等值机的待辨识参数和深度强化学习神经网络的参数，直至功率曲线的误差达到允许的范围。
9.根据权利要求1所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，PPO算法中，采用Actor神经网络确定修正量
Figure FDA0003766913130000059
服从的概率密度函数；
假设每个待辨识参数的修正量都服从正态分布，Actor网络的输入向量是当前的状态向量，输出向量是各个修正量的数学期望值，之后在正态分布中抽样，确定这一步的动作向量
Figure FDA00037669131300000510
Actor网络更新参数的目标是最优化策略函数，参数更新迭代的策略表示为：
Figure FDA0003766913130000061
其中，θk表示当前策略网络的参数，
Figure FDA0003766913130000062
表示当前策略的优势函数，ε是一个超参数，用于限制截断范围；
采用Critic神经网络确定某种状态的价值；
采取时序差分残差的学习方式，减小Critic网络的估计误差，其参数更新策略表示为：
Figure FDA0003766913130000063
其中，ω表示Critic网络的参数，αω表示学习率，δt表示时序差分残差，
Figure FDA0003766913130000064
表示状态价值函数的梯度。
10.根据权利要求9所述的基于PPO算法的数据模型混合驱动风电场建模方法，其特征在于，在训练神经网络的过程中，需要使用Adam算法作为优化器，同时需要将输入的参数进行归一化，并在每层神经网络的激活函数后面进行批标准化处理，来提高神经网络训练的效率和收敛性。
CN202210889254.8A 2022-07-27 2022-07-27 基于ppo算法的数据模型混合驱动风电场建模方法 Pending CN115392110A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210889254.8A CN115392110A (zh) 2022-07-27 2022-07-27 基于ppo算法的数据模型混合驱动风电场建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210889254.8A CN115392110A (zh) 2022-07-27 2022-07-27 基于ppo算法的数据模型混合驱动风电场建模方法

Publications (1)

Publication Number Publication Date
CN115392110A true CN115392110A (zh) 2022-11-25

Family

ID=84116623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210889254.8A Pending CN115392110A (zh) 2022-07-27 2022-07-27 基于ppo算法的数据模型混合驱动风电场建模方法

Country Status (1)

Country Link
CN (1) CN115392110A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116243606A (zh) * 2023-03-03 2023-06-09 中国华能集团清洁能源技术研究院有限公司 基于灵敏度控制器的风机机侧鲁棒控制器配置方法及系统
WO2024119654A1 (zh) * 2022-12-07 2024-06-13 南方电网数字电网研究院有限公司 同步发电机输出电流的预测方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024119654A1 (zh) * 2022-12-07 2024-06-13 南方电网数字电网研究院有限公司 同步发电机输出电流的预测方法、装置、设备和存储介质
CN116243606A (zh) * 2023-03-03 2023-06-09 中国华能集团清洁能源技术研究院有限公司 基于灵敏度控制器的风机机侧鲁棒控制器配置方法及系统

Similar Documents

Publication Publication Date Title
CN115392110A (zh) 基于ppo算法的数据模型混合驱动风电场建模方法
CN107451364B (zh) 一种dfig风电场等值参数的辨识方法
CN106443246B (zh) 基于pmu量测数据的小干扰稳定参数的在线辨识方法
CN110071667B (zh) 一种双馈风力发电机参数辨识方法
CN109194225B (zh) 一种双馈电机参数在线辨识方法
CN103023418B (zh) 一种基于广域量测信息的同步发电机在线参数辨识方法
CN102176653A (zh) 带指数渐消因子的卡尔曼滤波器的感应电机转速观测方法
Azad et al. Parameter estimation of doubly fed induction generator driven by wind turbine
CN102611380B (zh) 一种双馈电机参数在线辨识方法
Yan et al. Torque estimation and control of PMSM based on deep learning
CN106877766A (zh) 基于强化学习算法的双馈感应风力发电机自校正控制方法
CN112395814A (zh) 一种电力系统负荷模型参数辨识的优化方法
CN103281031A (zh) 基于可测电气量的鼠笼式异步电机等值电路参数辨识方法
CN111293693A (zh) 基于扩展卡尔曼滤波的双馈风机变流器控制参数辨识方法
Sandoval-Moreno et al. Observer-based maximum power tracking in wind turbines with only generator speed measurement
CN105162159B (zh) 基于差分进化算法的光伏并网逆变器控制器参数辨识方法
CN117251995A (zh) 基于可变遗忘因子最小二乘法的双馈风机惯量评估方法
CN115114964B (zh) 一种基于数据驱动的传感器间歇性故障诊断方法
CN114997505B (zh) 一种经变流器并网电源的稳定性分析方法及系统
CN116345538A (zh) 一种采用果蝇优化算法的双馈风机变流器参数辨识方法
Belfedal et al. Comparison of PI and direct power control with SVM of doubly fed induction generator
CN113890442B (zh) 一种粒子群滑模观测器风力发电机转子电流故障检测方法
CN111179110B (zh) 虚拟电厂可变阶聚合等效鲁棒动态模型建模方法及装置
CN111181461A (zh) 一种基于电阻在线辨识的dfig定子磁通观测器及方法
CN111682532A (zh) 一种励磁系统无补偿相频特性在线建模方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wu Renbo

Inventor after: Cai Yanchun

Inventor after: Liu Xuan

Inventor after: Lai Dexiang

Inventor after: Su Jie

Inventor after: Zhang Yang

Inventor after: Zhao Hongwei

Inventor after: Lu Youfei

Inventor after: Liang Xueqing

Inventor after: Liu Luhao

Inventor after: Chen Minghui

Inventor after: Zhang Shaofan

Inventor after: Zou Shirong

Inventor before: Long Yun

Inventor before: Zou Shirong

Inventor before: Cai Yanchun

Inventor before: Liu Xuan

Inventor before: Lai Dexiang

Inventor before: Su Jie

Inventor before: Wu Renbo

Inventor before: Zhang Yang

Inventor before: Zhao Hongwei

Inventor before: Lu Youfei

Inventor before: Liang Xueqing

Inventor before: Liu Luhao

Inventor before: Chen Minghui

Inventor before: Zhang Shaofan