CN104595106A - 基于强化学习补偿的风力发电变桨距控制方法 - Google Patents

Abstract

本发明针对风力发电系统变桨距控制问题，提出了一种基于强化学习补偿算法的滑模变桨距控制方法。本发明提出的强化学习补偿算法是将滑模变结构控制和强化学习算法结合起来，基于模型的滑模变结构控制具有强鲁棒性和快速动态响应的特点，在滑模控制信号上叠加一个利用RBF神经网络实现的Actor-Critic强化学习算法，该强化学习算法可以对系统中的不确定性、扰动和未建模部分进行动态补偿，滑模变结构控制保证初始控制性能，加快了整体算法收敛速度，利用梯度下降法更新网络的各项参数。本发明具有抗干扰好、对变化参数鲁棒性强以及速度快等优点,在保证功率输出稳定在额定值附近的同时，实现桨距角的平稳调节，减轻了机组疲劳度和组件间的磨损。

Description

基于强化学习补偿的风力发电变桨距控制方法

技术领域

 本发明涉及的是一种风力发电技术领域的控制方法，具体地说，涉及一种基于强化学习补偿算法的滑模桨距角控制方法。

背景技术

风电机组变桨距系统通过桨距控制器，完成叶片节距角的控制，在切入风速以上到额定风速以下范围内时，保持风力机桨距角不变，通过改变发电机转速使风力机运行在最佳叶尖速比下来实现最大风能跟踪控制；在额定风速以上到切出风速时，使转速维持在额定转速附近，通过调节桨距角使发电机组输出保持功率恒定，当风速大于切出风速时，进行停机保护。

由于风速的随机性、风电机组参数的时变性，塔影、风切变、偏航回转等引起的负载扰动，变桨距调节桨的往复动作，驱动大质量叶轮负载的惯性环节，使得变桨距控制系统具有参数非线性、参数时变性、滞后性等特点，造成风电机组输出功率的不稳定。

此外，随着风力发电机组单机容量的增加，不平衡载荷引起的风力机疲劳失效成为风电运行维护成本的主要来源。如何减少风力机疲劳失效和磨损，延长各部件的使用寿命是控制领域技术人员目前需要考虑解决的技术问题。

发明内容

技术问题：风力发电系统具有时变非线性等不稳定特性，机组内部参数摄动和外部扰动使得桨距角很难达到精确控制，加之硬件具有延时性，难以保证整体机组安全稳定优化运行。

技术方案：为了克服上述问题，将强化学习和滑模变结构控制结合起来，应用到风力发电变桨距控制中，滑模变结构控制完成对桨距角的基本控制，强化学习用来自适应补偿扰动、摄动和未建模部分对整体性能的影响，达到优化控制的目的，弥补传统方法基于模型的不足，使得系统鲁棒性强，具有良好的动态品质，保证风电机组正常、高效和可靠地优化运行。

本发明提出的基于强化学习补偿的变桨距自学习控制方法与系统，其特征在于该变桨距控制系统采用滑模控制为基础，强化学习补偿为辅助，控制系统结构图如附图1所示，用风速风向传感器采集关于风速等数据信号，当风速信号超过额定值且满足风力机运行条件时，则启动风机的变桨距调节，测量机组输出功率，根据功率偏差求得滑模输入变量s，控制系统分为两阶段进行学习，阶段实现如下：

阶段1：初始化控制系统各项参数，包括滑模变结构控制参数和强化学习网络各项参数，其中一些参数影响着整体学习效果，需要特别调试。滑模变结构控制是准滑动模态控制实现，其中边界层参数Δ是个重要参数，需要不断调试，过大可以消除大部分滑模抖动，但是会消弱控制效果；过小会导致滑模抖动变大，但是相应控制效果较好。强化学习利用神经网络来实现，中心的初始值对整个学习有着重要影响，无法较准确的设置中心值会导致整个算法无法收敛，一般采用均值法或者k-means法进行初步设置。强化信号中的容许误差带ε是整个影响整体控制效果的参数，它决定着控制器学习所需达到的目标，也即控制器能把误差降低在多少之下。ε选取较大，此时也就意味着系统可以接受的误差较大，控制器学习时间较短，收敛速度快，但是控制效果较差；ε选取较小，则系统要求精度较高，收敛速度变慢，整体控制效果较好，可是存在一个问题，实际风电控制系统难以做到高速的桨距角变换，所以较高的精度无法实现。

各项参数调试完毕后，即可进行在线学习。根据风机转速反馈构建状态输入向量x作为控制器的输入，控制器根据权利要求1中所述方法对控制结构进行在线优化。

阶段2：控制器学习实际是对强化学习网络参数优化的过程。准滑动模态控制利用边界层思想，在滑模面建立边界层，在边界层内使用连续控制，这样有效的减少了状态穿越对控制结构的影响，使状态流向更加平滑。然而在邻域内使用连续状态的反馈控制会消除滑模变结构控制本身的鲁棒性，在滑模控制信号上再叠加一个强化学习的信号，对不确定性和摄动进行补偿，两种控制信号叠加在一起共同对风力发电机组系统进行控制。这种思想既利用了滑模变结构控制缩短了单独的强化学习收敛时间，同时在系统鲁棒性上取得了较好的成效。

算法结构：本发明控制方法包括准滑模控制器在线学习算法和强化学习补偿寻优算法。

准滑模控制器在线学习算法：

首先取滑模面为： c₁为滑模参数，x₁，x₂为系统状态。

变桨距执行机构等效为一个一阶惯性环节：

为桨距角响应时间常数； 为实际桨距角； 为桨距角控制给定值。

所设计普通滑模控制器为：

其中 ，c1为滑模系数，x2为系统状态，v为风速，k_β为增益系数，sgn(s)为符号函数。

本发明的准滑动模态控制采用饱和函数sat(s)代替理想滑动模态中的符号函数sgn(s)。

设计准滑动模态控制器为： 

然后开始对滑模控制器开始在线学习，学习步骤如下：

Step1结合风电机组各项特性系数，初始化滑模变结构控制和强化学习各项参数；

Step2利用传感器采得风机转速值，控制系统分别计算滑模变结构控制和强化学习控制输出的控制信号；

Step3将叠加的控制信号作用到桨距角执行机构中；

Step4 继续采得风机转速值，得到下一时刻状态变量；

Step5 控制器根据内部算法对自身参数进行更新，优化结构；

Step6 判断当前控制器是否满足控制要求；

Step7如果满足则控制器学习完毕，否则继续运行Step2。

强化学习补偿寻优算法：

Actor-Critic算法结构由2部分构成：动作网络（Actor网络）和评价网络（Critic网络）。Actor-Critic算法就使用RBF网络来逼近动作函数和评价函数。这种结构共享输入层和隐层，系统具有一个相同的状态输入向量，具有两个不同的输出，分别是动作函数和评价函数，这样可以降低存储空间要求，避免重复运算，提高运行效率。

隐层节点基函数使用高斯型核函数，第j个节点的输出为：

,j=1,2,...,m            

                      

m为隐层神经元个数， 为第j个节点的中心向量， 为宽度。

输出层由Actor和Critic构成，m个节点到Actor和Critic的输出分别定义如下：

                

      

分别为隐层到输出层Actor和Critic的权值。 为值函数，也就是未来折扣奖赏和，是当前动作对未来环境影响的预测评价信号， 越大表明学习效果越好。

Actor的输出 不直接作用到对象上，而是叠加一个高斯干扰 ，，处理后的输出如下：

                 

其中方差 

更新参数需要使用到的TD误差 由强化信号和相邻状态值函数计算：

                

定义学习的性能指标为:

                      

采用近似梯度下降法计算如下

        

Actor和Critic权值更新如下式

             

                

分别为Actor和Critic的学习率。中心和宽度更新公式如下：

           

           

分别为中心和宽度的学习率。

针对系统反馈只有转速的情况将强化信号r(t)设置如下：

                      

为误差信号， 为误差变化率信号，e(t)是误差，w _r 是风机转速，w _r ^* 是参考转速。k1，k2分别为误差和误差变化率强化信号系数，ε为容许误差带。此种定义的强化信号即可以体现当前的动作是否符合设计要求，还可以与邻近动作进行对比进而修改行为策略。

在线学习寻优步骤如下：

Step1初始化系统参数 ，学习因子和折扣率等

Step2采集当前环境状态x(t)，利用神经网络计算Actor和Critic模块输出 和V(t)；

Step3通过Critic模块计算得到高斯干扰n(t)，将其与 相加得到实际控制信号u(t)，将控制信号输入到风力发电控制系统里；

Step4 观测环境状态变化，得到下一状态x(t+1)，同时计算强化信号值r(t)；

Step5 利用神经网络计算x(t+1)时Critic模块输出V(t+1)；

Step6 利用相邻V值和强化信号计算TD误差 ，并进行权值更新；

Step7判断当前学习是否满足结束要求，如果不满足则返回第二步， 。

通过不断的迭代跟新控制结构参数以实现最优结构。

最后将准滑模控制量和补偿量结合可以得到总的控制信号为：

β为准滑动模态控制器输出的桨距角控制量。

控制器根据不同的外界环境，通过迭代在线调整控制器参数，实现系统的不断优化。在线学习方法能利用前面运算的结果，减少计算复杂度，实现在较小的时间代价下的学习新的数据。这样不但能缩短其训练时间，而且能提高控制器的适应能力，使环境情况发生变化时，控制器能相应发生变化。

实际风电机组的摄动和干扰很多，定结构控制无法克服不确定因素的影响，自适应控制才是解决问题的较好办法。滑模变结构控制是一种非连续的开关控制，快速、频繁的切换系统状态是它的最大特点。滑模控制的设计十分简单，动态响应好，易于实现还具有较强的鲁棒性能，十分适合一些强烈非线性和参数不稳定系统的控制，但是滑模控制主要的缺点就是控制时会出现滑模抖振。我们使用的准滑动模态控制解决了抖振问题，但是鲁棒性减弱，准滑动模态控制的效果其实相当于学习算法里的先验经验，减少了学习阶段较多的探索行为，虽然其有一定的控制效果，但是无法对不确定性进行控制，加入强化学习控制之后就能解决了这一问题。本专利中强化学习信号干扰的信号大小不断调整，它是整个控制系统中最关键的鲁棒性环节。

有益效果：本发明桨距角控制方法不仅具有滑模控制的抗干扰、对变化参数鲁棒性强以及速度快等优点，使桨距角平稳调节，减小转矩振荡和机舱振荡，不但优化了输出功率，而且有效的降低的噪音，改善桨叶和整机的受力状况，减轻机组疲劳度和组件间的磨损。

附图说明

图1为基于强化学习补偿的变桨距控制系统结构图。

具体实施方式：

本发明提出的基于强化学习补偿的变桨距控制方法附图及实施方式叙述如下：

变桨距控制是风机在高风速时采用的维持系统稳定输出的方法，当传感器采得当前风速高于额定风速时，控制系统开始使用本发明提出的变桨距方法。

风机转速ω _r 与额定转速ω _r ^* 可得到转速反馈e，状态转换的作用是将e转换为控制器的输入信号。控制器由准滑动模态控制器和强化学习控制器构成，强化学习控制器由actor模块和critic模块构成。根据权利1所述方法，将总的控制信号 输入到风力发电机组的变桨距执行器中。由于控制器是在线学习方式，所以在学习过程中会产生一定误差。随着控制器接触不同的外界状态环境，根据反馈会慢慢收敛到一种较为满意的控制效果。

上述具体实现只是本发明的较佳实现而已，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (2)

1.一种风力发电机组变桨距控制方法，其特征在于该方法包括：将强化学习和滑模变结构控制结合起来，采用滑模变结构控制器完成对风电机组桨距角的基本控制，运用强化学习补偿寻优算法，用来自适应补偿扰动、摄动和系统未建模部分对整体性能的影响，达到优化控制的目的，弥补传统方法基于模型的不足。

2.根据权利1要求的一种滑模控制器在线学习算法，其特征在于包括：通过测量风力机转速反馈与参照速度得出转速偏差，经过状态转换后，作为滑模控制器的输入量，控制器根据偏差发出桨距角控制量命令，桨距角的控制量计算公式为

其中 c1为滑模系数，x₂为系统状态，v为风速，k_β为增益系数，sgn(s)为符号函数，ω_ε为电磁角速度，N_P为发电机转子的极对数，ρ为空气的密度，C_p为风能利用系数，B是发电机的摩擦系数，J是风轮发电机整体转动惯量，R为风力机叶片半径，ν为风速；

准滑动模态控制采用饱和函数sat(s)代替理想滑动模态中的符号函数sgn(s)以减少由符号函数引起的剧烈抖振；

设计准滑动模态控制器为：

其中

强化学习补偿寻优算法由两部分组成：动作(Actor)网络和评价(Critic)网络；

Actor-Critic算法中使用RBF网络来逼近动作函数和评价函数；

使用强化学习算法在线补偿滑模控制量的步骤如下：

Step1初始化系统参数w_a，w_c，b，c，h，学习因子和折扣率等

Step2采集当前环境状态x(t)，利用神经网络计算Actor和Critic模块输出u_n(t)和V(t)；

Step3通过Critic模块计算得到高斯干扰n(t)，将其与u_n(t)相加得到实际控制信号u(t)，将控制信号输入到风力发电控制系统里；

Step4观测环境状态变化，得到下一状态x(t+1)，同时计算强化信号值r(t)；

Step5利用神经网络计算x(t+1)时Critic模块输出V(t+1)；

Step6利用相邻V值和强化信号计算TD误差δ(t)，并进行权值更新；

Step7判断当前学习是否满足结束要求，如果不满足则返回第二步，t+1→t。

通过上述不断的迭代跟新控制结构参数以实现最优结构；

最后得到总的控制信号为：

β为准滑动模态控制器输出的桨距角控制量，u(t)为强化学习在线补偿量；

在以该准滑动模态控制器为基本作用下控制系统系统开始在线强化学习补偿优化，学习步骤如下：

Step1结合风电机组各项特性系数，初始化滑模变结构控制和强化学习各项参数；

Step2利用传感器采得风机转速值，控制系统分别计算滑模变结构控制和强化学习控制输出的控制信号；

Step3将叠加的控制信号作用到桨距角执行机构中；

Step4继续采得风机转速值，得到下一时刻状态变量；

Step5控制器根据内部算法对自身参数进行更新，优化结构；

Step6判断当前控制器是否满足控制要求；

Step7如果满足则控制器学习完毕，否则继续运行Step2；

控制器根据不同的外界环境，通过迭代在线调整控制器参数，实现系统的不断优化。