CN111749847B - 一种风力发电机桨距在线控制方法、系统和设备 - Google Patents

一种风力发电机桨距在线控制方法、系统和设备 Download PDF

Info

Publication number
CN111749847B
CN111749847B CN202010582719.6A CN202010582719A CN111749847B CN 111749847 B CN111749847 B CN 111749847B CN 202010582719 A CN202010582719 A CN 202010582719A CN 111749847 B CN111749847 B CN 111749847B
Authority
CN
China
Prior art keywords
action
network
neural network
wind speed
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010582719.6A
Other languages
English (en)
Other versions
CN111749847A (zh
Inventor
张国宾
王新迎
陈盛
赵琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Tianjin Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Tianjin Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Tianjin Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010582719.6A priority Critical patent/CN111749847B/zh
Publication of CN111749847A publication Critical patent/CN111749847A/zh
Application granted granted Critical
Publication of CN111749847B publication Critical patent/CN111749847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D7/00—Controlling wind motors 
    • F03D7/02—Controlling wind motors  the wind motors having rotation axis substantially parallel to the air flow entering the rotor
    • F03D7/04—Automatic control; Regulation
    • F03D7/042—Automatic control; Regulation by means of an electrical or electronic controller
    • F03D7/043—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic
    • F03D7/046—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic with learning or adaptive control, e.g. self-tuning, fuzzy logic or neural network
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D7/00—Controlling wind motors 
    • F03D7/02—Controlling wind motors  the wind motors having rotation axis substantially parallel to the air flow entering the rotor
    • F03D7/022—Adjusting aerodynamic properties of the blades
    • F03D7/0224—Adjusting blade pitch
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D7/00—Controlling wind motors 
    • F03D7/02—Controlling wind motors  the wind motors having rotation axis substantially parallel to the air flow entering the rotor
    • F03D7/04—Automatic control; Regulation
    • F03D7/042—Automatic control; Regulation by means of an electrical or electronic controller
    • F03D7/043—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic
    • F03D7/045—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic with model-based controls
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/30—Control parameters, e.g. input parameters
    • F05B2270/304—Spool rotational speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/30—Control parameters, e.g. input parameters
    • F05B2270/32—Wind speeds
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/70—Type of control algorithm
    • F05B2270/709—Type of control algorithm with neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A30/00—Adapting or protecting infrastructure or their operation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Energy (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Fluid Mechanics (AREA)
  • Wind Motors (AREA)

Abstract

本发明提供一种风力发电机桨距在线控制方法、系统和设备，设计合理，增强控制模型的泛化性能，提升了突变风速条件下的控制平滑度。所述方法包括，利用实时采集的风速时序数据预测后续若干时刻风速，得到风速预测值；根据风速预测值和计算得到的发电机转差，得到动作概率分布参数集；根据动作概率分布参数集，得到桨距控制量，进行桨距调整，完成风力发电机桨距的在线控制。克服了现有技术中存在的，强化学习在变桨距控制中参数优化周期较长、泛化能力不足的问题。

Description

一种风力发电机桨距在线控制方法、系统和设备
技术领域
本发明涉及风力发电机的人工智能控制领域，具体为一种风力发电机桨距在线控制方法、系统和设备。
背景技术
风力资源的不确定性导致风力发电系统中承担一次能源转换作用的风轮机在运行过程中时常处于非线性和强干扰环境。为保证风轮机恒速运行、稳定风能转化效率，需要通过桨距控制装置动态调整风叶桨距角以适应当前风速。传统的变桨距控制器是基于PID方法设计，取风速或者转速进行线性化反馈控制。随着智能控制技术的发展，模糊控制、人工神经网络、变结构控制、鲁棒控制和自适应控制等算法也逐渐得到运用，进一步改善了控制模型的动态特性。而以深度学习和强化学习的新一代人工智能技术凭借其在无模型动态优化决策方面的优势，与其他传统控制手段融合，逐渐成为一类重要的变桨距控制方法分支，包括：利用BP神经网络实现BP-PID控制，能够兼顾神经网络调节非线性问题的优势和PID控制器的快速反应能力，同时针对BP-PID变桨距控制中存在的误差收敛速度慢、易出现振荡等缺点可以通过自适应学习率大幅度提高神经网络寻优能力；变桨距控制系统中的滑块结构在强干扰和参数多变的情况下存在容易产生抖动的问题，利用基于RBF神经网络的滑模变结构(RBF-SMC)独立变桨控制方法，能够降低风剪切、风切变和塔影效应在桨叶根部造成的不平衡载荷抖动，提高桨距控制的抗干扰、鲁棒性强特性，优化风电机组的功率特性；将强化学习方法运用于变桨距控制，能够从大量的实际运行数据中直接学习并固化控制经验，根据当前风力状况和风机运行状态实时修正控制模型参数，实现控制策略的在线调整，避免基于系统动力学的复杂控制模型中存在的优化求解难题。
总体来看，基于新一代人工智能技术的变桨距控制方法与传统控制方法相比，能够无视系统干扰、时变和非线性等问题，已成为目前桨距控制方法研究的热点方向。但同时仍然存在以下几方面问题：1)目前大部分人工智能控制模型强调通过更多的运行数据提升模型控制性能，但一定程度上对外部运行环境即风力模型的描述不足，导致控制策略不具备前瞻性，影响了对于突变风速的学习和应对能力；2)人工智能控制模型通常只针对单台风力发电机，有限的运行模式和数据样本会导致模型参数收敛过程容易出现过拟合情况，降低了控制模型的适应性和灵活性；3)大部分控制模型中虽然采用了强化学习方法，但对于风力发电机与运行环境之间的互动反馈没有进行适当的设计，增加了控制模型参数的优化难度和数据成本。
发明内容
针对现有技术中存在的，强化学习在变桨距控制中参数优化周期较长、泛化能力不足的问题，本发明提供一种风力发电机桨距在线控制方法、系统和设备，设计合理，增强控制模型的泛化性能，提升了突变风速条件下的控制平滑度。
本发明是通过以下技术方案来实现：
一种风力发电机桨距在线控制方法，包括，
利用实时采集的风速时序数据预测后续若干时刻风速，得到风速预测值；
根据风速预测值和计算得到的发电机转差，得到动作概率分布参数集；
根据动作概率分布参数集，得到桨距控制量，进行桨距调整，完成风力发电机桨距的在线控制。
优选的，通过风速预测神经网络预测后续若干时刻风速，风速预测的当前时刻超过现有风速预测值的时间尺度时，根据实际风速对风速预测神经网络进行一次参数更新。
优选的，通过动作神经网络计算得到的发电机转差；
评估神经网络包括结构相同的评估网络原型和评估网络副本，动作神经网络网络结构相同的动作网络原型和动作网络副本；
进行非初始风速预测时，通过评估网络副本对动作网络副本的参数进行修正，再按照更新周期将参数修正返回到评估网络原型和动作网络原型，更新评估神经网络和动作神经网络。
进一步，更新动作神经网络的条件为上一时刻的动作损失lossa超过阈值ε，动作损失函数为：
Figure BDA0002553670270000031
其中，TD_err为动作期望评估误差，
Figure BDA0002553670270000032
为在动作概率分布{Ω,β}下桨距角变化信号
Figure BDA0002553670270000033
时的概率密度。
进一步，对评估神经网络和动作神经网络更新时，具体包括，
根据进行风速预测时的相邻时刻分别对应的转差，通过转差反馈函数，得到转差反馈f；
以风速预测值和转差作为输入，结合转差反馈，利用评估网络副本计算得到动作期望评估误差，并累计评估网络副本的参数修正量和更新计数；
根据动作期望评估误差累积动作网络副本的参数修正量和更新计数；
分别根据评估网络副本和动作网络副本的参数修正量，按更新周期将参数修正量返回给评估网络原型和动作网络原型，对评估神经网络和动作神经网络的参数进行修正，更新评估神经网络和动作神经网络。
再进一步，转差反馈函数如下，
Figure BDA0002553670270000034
其中，Δωi(t)和Δωi(t-1)分别为当前时刻和上一时刻的转差。
再进一步，按照如下方式分别对评估神经网络和动作神经网络进行参数更新：
Figure BDA0002553670270000041
其中，p为参数更新周期，n为网络副本数目，θ-为网络参数，d(θ)参数更新量。
一种风力发电机桨距在线控制系统，包括，
风速预测模块，用于实时采集的风速时序数据预测后续若干时刻风速，输出风速预测值；
转差反馈模块，用于计算发电机实际转速与目标设定的转差并输出；
动作网络模块，用于根据风速预测值和转差，得到动作概率分布参数集；
控制模块，用于根据动作概率分布参数集，得到桨距控制量，进行桨距调整，完成风力发电机桨距的在线控制。
优选的，动作网络模块具体的通过预设的动作神经网络得到动作概率分布参数集；所述系统还包括评估网络模块，用于在非初始风速预测时，通过评估神经网络对评估神经网络和动作神经网络的参数进行修正，更新评估神经网络和动作神经网络。
一种风力发电机桨距在线控制设备，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上任一项所述一种风力发电机桨距在线控制方法的步骤。
与现有技术相比，本发明具有以下有益的技术效果：
本发明在变桨距控制过程中，在环境变量中加入风速预测结果，额外考虑了风速短期预测结果，在控制信号中增加了对于未来复苏变化预判，提升了突变风速条件下的控制平滑度。从而通过建立的短期风速预测，为变桨距控制模型提供更为完整的外部环境信息，实现控制策略对于风机长期稳定运行的控制需求。
进一步的，通过将评估神经网络和动作神经网络分为原型和副本，采用原型-副本相互迭代的并行学习方式将不同的风速条件应用于同一套模型参数训练过程，实现多风力发电机变桨距控制的统一优化，提升控制模型在线训练效率的同时，能够将同一套变桨距控制模型参数运用于多个风力发电机设备，提高模型对于不同运行环境的泛化适应能力，实现控制策略的综合优化。
进一步的，通过强化学习非线性转差反馈函数的优化设计，改进了模型控制目标，能够进一步降低模型控制误差，同时加速变桨距控制模型参数的收敛过程。
附图说明
图1为本发明实例中所述的一种风力发电机桨距在线控制系统结构图；
图2为本发明实例中所述的一种风力发电机桨距在线控制方法流程图。
具体实施方式
下面结合附图进一步对本发明实施例中的系统结构和技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开了一种基于混合神经网络和并行强化学习的风力发电机变桨距控制系统，包含如下模块：
风速预测模块V，利用实时采集的风速时序数据预测后续若干时刻风速。预测结果与实际风速数据共同构成风速向量v'；
转差反馈模块F，计算风轮机扇叶实际转速与目标设定转速之差Δω(t)；利用风轮机扇叶实际转速与目标设定转速，经过反馈函数计算获得变桨距控制后的转差反馈量f。
评估网络模块C，包含评估网络原型和评估网络副本。两者网络结构相同，前者按照周期p将自身网络参数复制给后者。评估网络副本对不同状态st＝{v'(t),Δω(t)}下的动作期望E(st)进行评估；利用转差反馈量f计算评估误差TD_err，利用TD_err计算并积累自身网络参数修正量，按照周期p将修正梯度返回给评估网络原型。
动作网络模块A，包含动作网络原型和动作网络副本。两者网络结构相同，前者按照周期p将自身网络参数复制给后者。动作网络副本输出不同状态st＝{v'(t),Δω(t)}下的动作概率分布参数集β；利用TD_err计算并积累自身网络参数修正量，按照周期p将修正梯度返回给动作网络原型。
控制模块T，存储了动作空间的概率分布模型并根据动作网络副本的动作概率分布参数β确定最终的输出动作量信号完成本轮桨距控制过程。
所述风速预测模块、动作网络模块、评估网络模块均采用人工神经网络实现。风速预测模块采用长短期记忆神经网络，动作网络模块和评估网络模块采用径向基神经网络。
所述风速预测模块数目与风速采集点数目一致，评估网络副本和动作网络副本数目与风力发电机数量保持一致。
基于上述系统实现一种基于混合神经网络和并行强化学习的风轮机变桨距控制方法，包含如下步骤，其中涉及到的S0-S8不代表执行顺序，只作为步骤的代号，便于方法的描述：
S0.初始化动作网络原型参数
Figure BDA0002553670270000061
和评估网络原型参数
Figure BDA0002553670270000062
将原型参数传递至各自所有副本参数θ；初始化强化学习参数，包括学习速率γ、折扣率λ、参数更新周期p、动作分布类型Ω和误差率ε等；
S1.默认第i个采集点风速数据对应第i台发电机。在时刻t，第i个采集点风速数据构成风速向量v(t)＝[vi(t-k).....,vi(t-1),vi(t)]，将风速向量输入风速预测模块得到t+m时刻内的风速预测值vi(t+1)'...vi(t+m)'；
S2.获取第i台发电机扇叶当前实际转速ωi_mea(t)，计算实际转速与目标转速ωi_tar(t)之差Δωi(t)；当t＝0时，无条件执行S3；当t>0时，若动作网络和评价网络不需要进行更新，执行S3；否则需要更新，执行S5；
S3.将风速向量v(t)'＝[vi(t-n).....,vi(t-1),vi(t)...,vi(t+m)']和Δωi(t)输入动作网络副本Ai，得到动作概率分布参数集β；
S4.将β输入动作模块，由动作模块输出桨距角变化信号act，桨距控制装置完成桨距角调整，进入t+1时刻，执行S1；
S5.将Δωi(t)和Δωi(t-1)输入转差反馈网络，得到转差反馈f；
S6.将转差反馈f、风速向量v(t-1)'和v(t)'、转差Δωi(t-1)和Δωi(t)输入评估网络副本Ci，计算TD_err并累积参数修正量，同时更新计数+1；
S7.根据TD_err累积动作网络Ai参数修正量，更新计数+1；若更新次数小于max，执行S3，否则执行S8；
S8.将积累的参数修正量全部返回给原型网络进行参数更新并将更新后的参数传递给所有副本，执行S3。
其中，步骤S1中将v(t)输入风速预测神经网络得到m个风速预测值vi(t+1)'...vi(t+m)'，每经过m个时刻，对风速预测神经网络进行一次参数更新，即进行风速预测时的当前时刻超过现有风速预测值的时间尺度时，根据实际风速对风速预测神经网络进行一次参数更新。更新时采用如下损失函数为：
Figure BDA0002553670270000071
式中，lossv为风速损失，m为现有风速预测值的时间尺度，t为进行风速预测时的当前时刻，v为实际风速，v'为风速预测值。
步骤S2中动作网络和评价网络的更新条件为上一时刻的动作损失lossa超过阈值ε，动作损失函数为：
Figure BDA0002553670270000072
其中，TD_err为动作期望评估误差，
Figure BDA0002553670270000073
为在动作概率分布{Ω,β}下桨距角变化信号
Figure BDA0002553670270000074
时的概率密度。
步骤S3中动作网络副本Ai输出为动作概率分布参数集β，β决定了步骤S4中控制量的概率分布。若控制量概率分布采用高斯分布，β＝{μ,σ2}。
步骤S4中的控制模块根据β确定的概率分布随机输出控制量。
步骤S5中的转差反馈f为分段函数：
Figure BDA0002553670270000081
其中，Δωi(t)和Δωi(t-1)分别为当前时刻和上一时刻的转差。
步骤S6中通过评价网络和转差反馈f计算动作期望评估误差TD_err：
TD_err＝f+λE(st)-E(st-1)
步骤S6中按照如下方式累积评估网络副本Ci的参数修正量：
1)利用TD_err构造损失函数lossc：
Figure BDA0002553670270000082
2)按照反向传播算法计算神经网络各层参数梯度Li_c：
Figure BDA0002553670270000083
3)累积参数梯度：
d(θ)←d(θ)+Li_c
步骤S7中按照如下方式累积评估网络副本Ai的参数修正量：
1)按照反向传播算法计算神经网络各层参数梯度Li_a：
Figure BDA0002553670270000084
2)累积参数梯度：
d(θa)←d(θa)+Li_a
步骤S8中按照如下方式分别对动作网络原型和评估网络原型进行参数更新：
Figure BDA0002553670270000091
其中，p为参数更新周期，n为网络副本数目。
具体的，在实际应用时，本优选实例中一种风力发电机桨距在线控制系统，如图1所示，包含如下的系统模块和单元：
风速预测模块，利用来自风速采集点在t时刻的实时风速数据进行时间跨度为m的短期风速预测；风速预测结果与相应的实时风速数据共同构成风速向量v'，作为动作网络副本和评估网络副本的部分输入；
转差反馈模块，通过风力发电机监测得到了转差数据，按照下式计算反馈转差：
Figure BDA0002553670270000092
转差反馈f表示每个控制周期控制效果的量化评价，同时作为评估网络模块的部分输入。
评估网络副本，每个评估网络副本对应一台风力发电机，在每个控制周期结束后，评估网络副本以风速向量v'(t)、转差Δω(t)为输入，通过神经网络输出动作期望E(s)，并结合转差反馈f得到TD_err：
TD_err＝f+λE(st)-E(st-1)
其中，λ为折扣率，st＝{v'(t),Δω(t)}，st-1＝{v'(t-1),Δω(t-1)}。根据TD_err采用后向传播的梯度下降法计算自身参数的修正梯度，并累积当前网络参数下所有控制周期的修正梯度：
Figure BDA0002553670270000093
Figure BDA0002553670270000094
d(θ)←d(θ)+Li_c
动作网络副本，每个动作网络副本对应一台风力发电机，以风速向量v'(t)，转差Δω(t)为输入，通过神经网络输出动作概率分布的参数集β。由于变桨距控制信号为[1°,+90°]内的连续变化量，因此采用高斯分布作为动作概率分布，则参数集β＝{μ,σ2}。
动作网络副本根据TD_err采用后向传播的梯度下降法计算自身参数的修正梯度，并累积当前网络参数下所有控制周期的修正梯度。
Figure BDA0002553670270000101
Figure BDA0002553670270000102
d(θa)←d(θa)+Li_a
评估网络原型和动作网络原型，每p个控制周期按照各自所有的网络副本参数修正梯度之和，对网络参数进行更新，并将新参数传递至所有网络副本。
Figure BDA0002553670270000103
对应的本优选实例中，一种风力发电机桨距在线控制方法，如图2所示，包含如下的步骤：
S0.初始化动作网络原型参数
Figure BDA0002553670270000104
和评估网络原型参数
Figure BDA0002553670270000105
将原型参数传递至各自所有副本参数θ；初始化强化学习参数，包括学习速率γ、折扣率λ、参数更新周期p、动作分布类型Ω、误差率ε等；
S1.默认第i个采集点风速数据对应第i台发电机。在时刻t，第i个采集点风速数据构成风速向量v(t)＝[vi(t-k).....,vi(t-1),vi(t)]，将风速向量输入风速预测模块得到t+m时刻内的风速预测值vi(t+1)'...vi(t+m)'；
S2.获取第i台发电机扇叶当前实际转速ωi_mea(t)，计算实际转速与目标转速ωi_tar(t)之差Δωi(t)；当t＝0时，无条件执行S3；当t>0时，若动作网络和评价网络不需要进行更新，执行S3；否则，执行S5；
S3.将风速向量v(t)'＝[vi(t-n).....,vi(t-1),vi(t)...,vi(t+m)']和Δωi(t)输入动作网络副本Ai，得到动作概率分布参数集β；
S4.将β输入动作模块，由动作模块输出桨距角变化信号act，桨距控制装置完成桨距角调整，进入t+1时刻，执行S1；
S5.将Δωi(t)和Δωi(t-1)输入转差反馈网络，得到转差反馈f；
S6.将转差反馈f、风速向量v(t-1)'和v(t)'、转差Δωi(t-1)和Δωi(t)输入评估网络副本Ci，计算TD_err并累积参数修正量，同时更新计数+1；
S7.根据TD_err累积动作网络Ai参数修正量，更新计数+1；若更新次数小于max，执行S3，否则执行S8；
S8.将积累的参数修正量全部返回给原型网络进行参数更新并将更新后的参数传递给所有副本，执行S3。

Claims (7)

1.一种风力发电机桨距在线控制方法，其特征在于，包括，
利用实时采集的风速时序数据预测后续若干时刻风速，得到风速预测值；
根据风速预测值和动作神经网络计算得到的发电机转差，得到动作概率分布参数集；
根据动作概率分布参数集，得到桨距控制量，进行桨距调整，完成风力发电机桨距的在线控制；
评估神经网络包括结构相同的评估网络原型和评估网络副本，动作神经网络包括结构相同的动作网络原型和动作网络副本；
进行非初始风速预测时，通过评估网络副本对动作网络副本的参数进行修正，再按照更新周期将参数修正返回到评估网络原型和动作网络原型，更新评估神经网络和动作神经网络；
更新动作神经网络的条件为上一时刻的动作损失lossa超过阈值ε，动作损失函数为：
Figure FDA0003063976390000011
其中，TD_err为动作期望评估误差，
Figure FDA0003063976390000012
为在动作概率分布{Ω,β}下桨距角变化信号
Figure FDA0003063976390000013
时的概率密度。
2.根据权利要求1所述的方法，其特征在于，通过风速预测神经网络预测后续若干时刻风速，风速预测的当前时刻超过现有风速预测值的时间尺度时，根据实际风速对风速预测神经网络进行一次参数更新。
3.根据权利要求1所述的方法，其特征在于，对评估神经网络和动作神经网络更新时，具体包括，
根据进行风速预测时的相邻时刻分别对应的转差，通过转差反馈函数，得到转差反馈f；
以风速预测值和转差作为输入，结合转差反馈，利用评估网络副本计算得到动作期望评估误差，并累计评估网络副本的参数修正量和更新计数；
根据动作期望评估误差累积动作网络副本的参数修正量和更新计数；
分别根据评估网络副本和动作网络副本的参数修正量，按更新周期将参数修正量返回给评估网络原型和动作网络原型，对评估神经网络和动作神经网络的参数进行修正，更新评估神经网络和动作神经网络。
4.根据权利要求3所述的方法，其特征在于，转差反馈函数如下，
Figure FDA0003063976390000021
其中，Δω(t)和Δω(t-1)分别为当前时刻和上一时刻的转差。
5.根据权利要求4所述的方法，其特征在于，按照如下方式分别对评估神经网络和动作神经网络进行参数更新：
Figure FDA0003063976390000022
其中，p为参数更新周期，n为网络副本数目，θ-为网络参数，d(θ)参数更新量。
6.一种风力发电机桨距在线控制系统，其特征在于，包括，
风速预测模块，用于实时采集的风速时序数据预测后续若干时刻风速，输出风速预测值；
转差反馈模块，用于计算发电机实际转速与目标设定的转差并输出；
动作网络模块，用于根据风速预测值和动作神经网络计算得到的发电机转差，得到动作概率分布参数集；
控制模块，用于根据动作概率分布参数集，得到桨距控制量，进行桨距调整，完成风力发电机桨距的在线控制；
动作网络模块具体的通过预设的动作神经网络得到动作概率分布参数集；
还包括评估网络模块，用于在非初始风速预测时，通过评估神经网络对评估神经网络和动作神经网络的参数进行修正，更新评估神经网络和动作神经网络；
其中，评估神经网络包括结构相同的评估网络原型和评估网络副本，动作神经网络包括结构相同的动作网络原型和动作网络副本；
更新动作神经网络的条件为上一时刻的动作损失lossa超过阈值ε，动作损失函数为：
Figure FDA0003063976390000031
其中，TD_err为动作期望评估误差，
Figure FDA0003063976390000032
为在动作概率分布{Ω,β}下桨距角变化信号
Figure FDA0003063976390000033
时的概率密度。
7.一种风力发电机桨距在线控制设备，其特征在于，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至5中任一项所述一种风力发电机桨距在线控制方法的步骤。
CN202010582719.6A 2020-06-23 2020-06-23 一种风力发电机桨距在线控制方法、系统和设备 Active CN111749847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010582719.6A CN111749847B (zh) 2020-06-23 2020-06-23 一种风力发电机桨距在线控制方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010582719.6A CN111749847B (zh) 2020-06-23 2020-06-23 一种风力发电机桨距在线控制方法、系统和设备

Publications (2)

Publication Number Publication Date
CN111749847A CN111749847A (zh) 2020-10-09
CN111749847B true CN111749847B (zh) 2021-06-29

Family

ID=72676859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010582719.6A Active CN111749847B (zh) 2020-06-23 2020-06-23 一种风力发电机桨距在线控制方法、系统和设备

Country Status (1)

Country Link
CN (1) CN111749847B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031440B (zh) * 2021-03-02 2022-04-29 中南大学 基于反馈线性化与预测控制的风力机变桨距控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101846037A (zh) * 2009-03-18 2010-09-29 通用电气公司 风力涡轮机操作系统和方法
CN106870283A (zh) * 2017-03-31 2017-06-20 南京信息工程大学 教学用小型风力发电机变速率变桨控制方法及控制系统
CN109185054A (zh) * 2018-09-11 2019-01-11 浙江运达风电股份有限公司 风力发电机桨距角控制方法、系统、装置及可读存储介质
CN109737008A (zh) * 2019-02-15 2019-05-10 国电联合动力技术有限公司 风电机组智能变桨控制系统及方法、风电机组
JP2020041498A (ja) * 2018-09-12 2020-03-19 株式会社日立製作所 風力発電システムとその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101846037A (zh) * 2009-03-18 2010-09-29 通用电气公司 风力涡轮机操作系统和方法
CN106870283A (zh) * 2017-03-31 2017-06-20 南京信息工程大学 教学用小型风力发电机变速率变桨控制方法及控制系统
CN109185054A (zh) * 2018-09-11 2019-01-11 浙江运达风电股份有限公司 风力发电机桨距角控制方法、系统、装置及可读存储介质
JP2020041498A (ja) * 2018-09-12 2020-03-19 株式会社日立製作所 風力発電システムとその制御方法
CN109737008A (zh) * 2019-02-15 2019-05-10 国电联合动力技术有限公司 风电机组智能变桨控制系统及方法、风电机组

Also Published As

Publication number Publication date
CN111749847A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111884213B (zh) 一种基于深度强化学习算法的配电网电压调节方法
CN112733462B (zh) 一种结合气象因素的超短期风电场功率预测方法
CN110566406B (zh) 基于强化学习的风电机组实时变桨距鲁棒控制系统及方法
CN112186811B (zh) 一种基于深度强化学习的agc机组动态优化方法
CN108964042A (zh) 基于深度q网络的区域电网运行点调度优化方法
CN110374804B (zh) 一种基于深度确定性策略梯度补偿的变桨距控制方法
CN111608868B (zh) 风力发电系统最大功率跟踪自适应鲁棒控制系统及方法
CN109737008A (zh) 风电机组智能变桨控制系统及方法、风电机组
CN114336673B (zh) 一种基于模型预测控制的风储联合电站一次调频控制策略
CN114566971B (zh) 一种基于近端策略优化算法的实时最优潮流计算方法
CN113988481B (zh) 一种基于动态矩阵预测控制的风功率预测方法
CN113759708B (zh) 系统的优化控制方法、装置和电子设备
CN110880773A (zh) 基于数据驱动与物理模型驱动结合的电网调频控制方法
CN111749847B (zh) 一种风力发电机桨距在线控制方法、系统和设备
CN115795992A (zh) 一种基于运行态势虚拟推演的园区能源互联网在线调度方法
CN115167140A (zh) 风力发电机组多目标随机模型预测控制策略方法及系统
CN116629461A (zh) 一种主动配电网分布式优化方法、系统、设备及存储介质
CN115173410A (zh) 一种改进gwo算法的电网转动惯量阈值计算方法
Chen et al. Reward adaptive wind power tracking control based on deep deterministic policy gradient
CN110454322B (zh) 基于多变量动态矩阵的水轮机调速控制方法、装置及系统
CN115001002A (zh) 一种求解储能参与削峰填谷的优化调度方法和系统
CN114995106A (zh) 基于改进小波神经网络的pid自整定方法、装置和设备
CN114298429A (zh) 一种配电网动案辅助决策方法、系统、装置和存储介质
CN113494416A (zh) 一种基于lstm的变桨距控制方法设计
CN116954086B (zh) 一种抽水蓄能机组调节系统智能预测控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant