CN119825552B - 一种基于dqn算法的燃气轮机数据驱动转速自适应控制方法 - Google Patents

Abstract

本发明公开了一种基于DQN算法的燃气轮机数据驱动的转速自适应控制方法，该方法针对传统燃气轮机控制方法对模型具有较强依赖性的问题，提出了在线建立燃机大状态下紧格式动态线性化模型，并进一步设计结合DQN算法的燃机串级无模型自适应控制器，外环回路为动力涡轮转速的PID控制回路，内环回路为含限制保护多路切换的燃气涡轮转速MFAC回路。本发明采用基于DQN算法的串级内回路控制参数整定和外回路指令跟踪的方案，将状态设计为超调量和误差积分，动作设置为四个控制器参数。本发明不仅在燃气轮机干扰和性能退化场景均能较好跟踪指令转速，对燃油流量和负载也具有更强的鲁棒稳定性。

Description

一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法

技术领域

本发明属于推进系统控制领域，具体涉及一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法。

背景技术

燃气轮机在变工况下控制系统的性能决定了它相应动力装置的经济性和安全性。其中，燃气轮机转速控制系统是燃气轮机控制的重要构成，负载系统的工作状态将影响燃气轮机的工作状态，在燃气轮机运行过程中，控制系统最基本的目标就是在满足运行可靠性的前提下还可以稳定地在某一转速下工作，以提供所需负荷。为实现控制目标，传统的燃气轮机控制一般采用串级双回路控制，且大部分仍采用常规的PI控制器。然而，由于燃气轮机具有强非线性和时变性，在某一工况下整定的PI参数不一定适用于燃气轮机的所有工作状态，而且由于传统的PI控制律设计对模型具有较强依赖性，因此，燃气轮机模型的精度将极大限制了控制品质提升，由环境变化、性能退化等造成的系统不确定性也将使控制性能与期望结果不甚理想。采用数据驱动方法实现燃机的自适应控制，是另一种可用化方案。

在基于数据驱动的控制方法中，1994年，侯忠生教授提出了无模型自适应控制(Model FreeAdaptive Control，简称MFAC)，随着计算机技术飞速发展，近年来对MFAC方法展开了深入的研究，但将无模型自适应控制算法应用于燃气轮机控制方向的研究还相对较少，且在燃气轮机的转速控制方面还有诸多问题留待解决，一方面，无模型自适应控制的单回路控制方案是一种最基本的转速控制方案，因其结构简单而应用广泛，但在多个工况条件下不能同时满足控制品质要求，且存在对发动机内部扰动响应慢的问题。另一方面，无模型自适应控制算法中有多个参数需要进行整定，对于一个新的研究对象在不同工况下和面对环境变化与性能退化时，需要进行反复调试才能应用，操作复杂。

串级双回路控制方案减少控制系统对模型的依赖性，在面对环境变化、性能退化等造成的系统不确定性时，可以快速稳定地运行在某一转速下，针对内环无模型自适应控制器的控制参数调整具有盲目性的问题，发展了基于深度Q网络(Deep Q Network,简称DQN)的控制参数整定方法，减小了控制参数调整的盲目性，在线学习速度加快，从而提高了系统的快速性，且动态性能指标得到了优化。

发明内容

本发明所要解决的技术问题在于克服传统燃气轮机控制方法对模型具有较强依赖性的问题，提供一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，降低控制系统对模型的依赖性，加快在线学习速度，从而提高了系统的快速性，在面对环境变化、性能退化等造成的系统不确定性时，可以快速稳定地运行在某一转速下，保持控制品质。

本发明采用如下技术方案，包括以下步骤：

步骤A)，基于燃气轮机的输入、输出数据，利用动态线性化方法在线实时建立燃气轮机控制器内回路的紧格式数据模型；

步骤B)，基于紧格式数据模型设计基于数据驱动的串联混合控制方案，其中，控制器外回路为PID控制，以动力涡轮转速为被控信号，根据指令值与当前实际的动力涡轮转速值的偏差量，计算出燃气涡轮高压转子转速指令；内回路以燃气涡轮高压转速为被控量，根据当前燃气涡轮转速和给定值的偏差，采用MFAC控制，来调整燃油流量；利用DQN算法自学习调整MFAC的控制参数；

步骤C)，面向燃机大状态多工况输入、输出数据的不确定干扰，采用步骤B)中的串联混合控制方案和DQN算法，实现寿命周期内的性能退化自适应控制，进一步验证控制性能和鲁棒性。

作为一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，所述步骤A)的具体步骤如下：

步骤A1)，采用最小二乘拟合法对燃气轮机的非线性模型的阶跃响应进行线性化，得到高压转速和动力涡轮转速曲线，从而求出燃气轮机燃气发生器的传递函数G₂(s)和负载系统传递函数G₃(s)；

步骤A2)，考虑执行机构动态特性的情况下，基于燃气轮机输出、输入数据，利用动态线性化方法在线建立紧格式数据模型。

一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，所述步骤A1)中辨识的燃气发生器和负载系统的传递函数为：

s为拉普拉斯算子；

进一步的，所述步骤A2)的具体步骤为：

串级控制回路的内环控制系统由下面的离散时间单输入单输出非线性系统描述：

y(k+1)＝f(y(k),··,y(k-n_y),u(k),··,u(k-n_u)) (3)

其中，u(k)，y(k)分别为k时刻的燃气轮机输入和输出，对燃气轮机转速控制而言，表示燃油流量W_f和高压转子转速Ng；n_y,n_u是系统的未知阶数。

基于燃气轮机的输出、输入数据利用动态线性化方法建立燃气轮机在当前工作点的紧格式动态线性化数据模型：

Δy(k+1)＝φ(k)Δu(k) (4)

其中，Δu(k)为燃油流量的变化量，Δy为内环被控量燃气涡轮高压转子转速的变化量，φ(k)∈R为系统的伪偏导数PPD。

基于以上建立的动态线性化模型，求其准则函数的极值后引入步长因子即得到紧格式动态线性化的无模型自适应控制的控制律为：

其中，λ＞0为惩罚因子，能够限制控制量u(k)的变化，可间接限制伪偏导数的变化，ρ∈(0,1]为控制率的步长因子，y_r为期望输出。进一步给出不含矩阵求逆运算的PPD估计：

其中，η∈(0,2]是PPD估计的步长因子，μ＞0是权重因子，这两个因子在控制过程中可调。且出于应用上的考虑，在对伪偏导数估计明显不合理的情况重置伪偏导数：如果sign(φ(k))≠sign(φ(1))，或者|φ(k)|≤ε，或者|Δu(k-1)|≤ε，那么φ(k)＝φ(1)。其中，ε为任意小的常数。

本发明所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，所述步骤B)的具体步骤如下：

步骤B1)，将执行机构的传递函数假设为一个1阶惯性环节：

将(1)、(2)、(7)式中的s域传递函数以适用于离散时间系统的z变换形式来表示系统的输入和输出之间的关系。

步骤B2)，设计限制保护控制器模块，采用MIN-MAX切换逻辑，为防止发动机出现超温、超压的情况，控制高压压气机出口总压P3、低压涡轮出口总温T5不超过限制值。通过限制保护器计算使得限制参数维持在限制值内，限制保护控制器采用PI控制。将限制保护器获得的燃油流量与主回路无模型自适应控制器获得的燃油流量进行高/低选，然后经过执行机构，得到最终作用于燃气轮机的燃油流量。

步骤B3)，设计基于数据驱动的串联混合控制方案，外回路为PID控制器，内回路为含超限保护的基于步骤A)设计的紧格式无模型自适应控制器。

步骤B4)，利用DQN算法自学习调整MFAC的控制参数，外环PID控制器输入为动力涡轮转速指令值与实际值之差：

e(t)＝Npr(t)-Np(t) (8)

将e(t)加入状态参数，设置状态S_t＝[maxe(t),∫e(t)dt]，并加以限制，使燃气轮机始终运行在安全范围内；将动作设置为内环MFAC控制器的四个参数A_t＝[eita,miu,rou,lamda]，eita、miu、rou、lamda分别对应PPD估计的步长因子η、权重因子μ、控制率的步长因子ρ、惩罚因子λ，通过贪心策略从动作集合中选择四个控制器参数作为输出动作，通过为每个可能被选择的动作赋予其对应的执行概率，然后尝试完成所有可能的动作，且限制设计的无模型自适应控制器参数的范围需满足以下限制条件：eita∈(0,2],miu＞0,rou∈(0,1],lamda＞0，以使燃气轮机控制系统保持稳定；

将奖励函数设定为是两个状态量的和为：

R_t＝maxe(t)+∫e(t)dt (9)

期望奖励值越小越好，即此时超调量和稳态性能得到保证；燃气轮机输出动力涡轮转速，计算与指令值的差值进而计算奖励函数，将状态、动作与奖励存储到记忆数据回放库中，计算更新所需的损失函数，从记忆库中随机抽取部分经验数据训练，基于Epsilon-Greedy策略选择动作，输出用于MFAC控制律设计和CFDL动态线性化计算。

本发明所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，步骤C1)的具体步骤为：

基于步骤B)设计的数据驱动的串联混合控制方案，在额定工况条件下进行仿真，仿真开始时需要运行一定时间直至稳定，于是系统仿真过程先于某一燃油量下保持运行10s之后再接入控制器控制燃油量控制，仿真过程的期望动力涡轮转速信号为在第10s由95％额定转速阶跃至额定转速，对执行机构传递函数G₁(s)和负载系统传递函数G₃(s)分别进行增益拉偏两倍和相位滞后不超过60度的两种干扰情况，验证了基于DQN算法的串联混合控制方案的稳定性和跟踪的有效性。

进一步的，所述步骤C2)的具体方案为：

在设计点条件下开环控制，观察不同工作模式下低压压气机、高压压气机、高压涡轮、低压涡轮和动力涡轮五个旋转部件在不发生退化、低退化等级、中退化等级下，对燃气轮机性能影响，三种情况采用相同的仿真过程。分别在100％工况、90％工况、80％工况3个工况点下对步骤B)设计的数据驱动的串联混合控制方案进行仿真，验证在燃气轮机大状态多工况，面对不同等级性能退化时所设计的控制回路的自适应保持效果。

本发明具有如下有益效果：

(1)本发明仅利用燃气轮机的输入、输出量，使得控制器参数不依赖于模型，在线自适应整定内部参数。由于控制回路的响应速度与控制品质依赖于MFAC控制器的参数选择，发展了基于深度Q网络算法的控制参数整定方法，减小控制参数调整的盲目性。

(2)本发明与传统控制比较，抗干扰能力和自适应能力更强，在多个工况点下，不同程度的性能衰退时均能较好跟踪指令转速，对燃油流量和负载具有更强的鲁棒稳定性。

附图说明

图1是MFAC串级控制方案结构图；

图2是内环控制系统示意图；

图3是MFAC与DQN算法整定后的燃油流量W_f仿真结果；

图4是MFAC与DQN算法整定后的动力涡轮转速Np仿真结果；

图5是执行机构相位拉偏时本发明所设计控制方法和PI控制的燃油流量W_f仿真结果；

图6是执行机构相位拉偏时本发明所设计控制方法和PI控制的动力涡轮转速Np仿真结果；

图7是被控对象相位拉偏时本发明所设计控制方法和PI控制的燃油流量W_f仿真结果；

图8是被控对象相位拉偏时本发明所设计控制方法和PI控制的动力涡轮转速Np仿真结果；

图9是在1.0工况下发生不同程度退化时本发明所设计控制方法的燃油流量W_f仿真结果；

图10是在1.0工况下发生不同程度退化时本发明所设计控制方法的动力涡轮转速Np仿真结果；

图11是在0.9工况下发生不同程度退化时本发明所设计控制方法的燃油流量W_f仿真结果；

图12是在0.9工况下发生不同程度退化时本发明所设计控制方法的动力涡轮转速Np仿真结果；

图13是在0.8工况下发生不同程度退化时本发明所设计控制方法的燃油流量W_f仿真结果；

图14是在0.8工况下发生不同程度退化时本发明所设计控制方法的动力涡轮转速Np仿真结果。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明。

本发明使用的某型燃气轮机，主要部件包括低压压气机、高压压气机、燃烧室、高压涡轮、低压涡轮、动力涡轮和排气装置等，发动机非线性数学模型采用部件法基于C语言建立获得，然后封装成动态链接库形式，在MALTAB环境调用进行数字仿真验证。

本发明提出的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，结构图如图1所示，图中，Npr为动力涡轮转速指令值；Np为动力涡轮转速实际值；Ng为燃气涡轮高压转子转速实际值；W_f为燃油流量，d₁为燃油流量的扰动，d₂为负载的扰动；不同下标的G(s)代表不同部件或者系统模块的传递函数，G₁(s)为执行机构的传递函数，即控制器计算出的指令到燃油流量的传递函数。G₂(s)为燃油流量到燃气发生器高压转子转速的传递函数，G₃(s)为燃气发生器高压转子转速到动力涡轮转子转速的传递函数，C₁(s)为内回路MFAC控制器，C₂(s)为外回路PID控制器，具体包括以下步骤：

步骤A)，基于燃气轮机的输入、输出数据，利用动态线性化方法在线实时建立燃气轮机控制器内回路的紧格式数据模型；

步骤A1)，采用最小二乘拟合法对燃气轮机的非线性模型的阶跃响应进行线性化，得到高压转速和动力涡轮转速曲线，从而求出燃气轮机燃气发生器的传递函数G₂(s)和负载系统传递函数G₃(s)：

s为拉普拉斯算子；

步骤A2)，在考虑执行机构动态特性的情况下，基于燃气轮机输出、输入数据，利用动态线性化方法在线建立紧格式数据模型。串级控制回路的内环控制系统由下面的离散时间单输入单输出非线性系统描述：

y(k+1)＝f(y(k),··,y(k-n_y),u(k),··,u(k-n_u)) (3)

其中，u(k)，y(k)分别为k时刻的燃气轮机输入和输出，对燃气轮机转速控制而言，表示燃油流量W_f和高压转子转速Ng；n_y,n_u是系统的未知阶数。

基于燃气轮机的输出、输入数据利用动态线性化方法建立燃气轮机在当前工作点的紧格式动态线性化数据模型：

Δy(k+1)＝φ(k)Δu(k) (4)

其中，Δu(k)为燃油流量的变化量，Δy为内环被控量燃气涡轮高压转子转速的变化量，φ(k)∈R为系统的伪偏导数PPD。

对紧格式的无模型自适应控制在一般非线性系统的应用中，被控对象需满足以下假设条件：

假设1：除有限时刻点外，f(·..·)对第(n_y+2)个控制输入变量的偏导数是连续的。

假设2：除有限时刻点外，满足广义Lipschitz条件，即对任意k₁≠k₂,k₁,k₂≥0和u(k₁)≠u(k₂)有||y(k₁+1)-y(k₂+1)||≤b||u(k₁)-u(k₂)||，其中y(k_i+1)＝f(y(k_i),...,y(k_i-n_y),u(k_i),...,u(k_i-n_u))，i＝1,2；b＞0是一个常数，即有界的输入能量变化应产生系统内有界的输出能量变化。

基于以上建立的动态线性化模型，求其准则函数的极值后引入步长因子即得到紧格式动态线性化的无模型自适应控制的控制律为：

其中，λ＞0为惩罚因子，能够限制控制量u(k)的变化，可间接限制伪偏导数的变化，ρ∈(0,1]为步长因子，y_r为期望输出。进一步给出不含矩阵求逆运算的PPD估计：

其中，η∈(0,2]是步长因子，μ＞0是权重因子，这两个因子在控制过程中可调。且出于应用上的考虑，在对伪偏导数估计明显不合理的情况重置伪偏导数：如果sign(φ(k))≠sign(φ(1))，或者|φ(k)|≤ε，或者|Δu(k-1)|≤ε，那么φ(k)＝φ(1)。其中，ε为任意小的常数。

步骤B)，基于紧格式数据模型设计基于数据驱动的串联混合控制方案，其中，控制器外回路为PID控制，以动力涡轮转速为被控信号，根据指令值与当前实际的动力涡轮转速值的偏差量，计算出燃气涡轮高压转子转速指令；内回路以燃气涡轮高压转速为被控量，根据当前燃气涡轮转速和给定值的偏差，采用MFAC控制，来调整燃油流量；利用DQN算法自学习调整MFAC的控制参数；

步骤B1)，将执行机构的传递函数假设为一个1阶惯性环节：

将(1)、(2)、(7)式中的s域传递函数以适用于离散时间系统的z变换形式来表示系统的输入和输出之间的关系。

步骤B2)，控制目标为通过改变燃油量，使动力涡轮转速可以持续跟踪指令值。设计限制保护控制器模块，采用MIN-MAX切换逻辑，为防止发动机出现超温、超压的情况，控制高压压气机出口总压P3、低压涡轮出口总温T5不超过限制值。通过限制保护器计算使得限制参数维持在限制值内，限制保护控制器采用PI控制。将限制保护器获得的燃油流量与主回路无模型自适应控制器获得的燃油流量进行高/低选，然后经过执行机构，得到最终作用于燃气轮机的燃油流量；

步骤B3)，设计基于数据驱动的串联混合控制方案，外回路为PID控制器，内回路为含超限保护的基于步骤A)设计的紧格式无模型自适应控制器；

步骤B4)，利用DQN算法自学习调整MFAC的控制参数，在DQN算法中，会建立两个

结构一模一样的值函数近似网络，其中目标网络中的参数w^-会在一次批量训练中进行固定，并用于生成目标Q值，以计算TD目标y_j，从而更新所需的损失函数(y_j-Q(S_j,A_j；w))²；在线网络Q(s,a；w)则用来评估策略，网络参数在每次迭代中都会更新。在线网络获得一定次数的更新后，最新的网络权重参数会直接用于更新目标网络，作为下一轮目标网络的固定参数。

具体的求解步骤为：智能体感知环境的状态S_t，随机地采取行动，与环境进行一段时间的交互，根据贪心策略执行动作A_t并观察到奖励R_t，以及新的状态S_t+1，然后把一段时间的经验数据[S_t,A_t,R_t,S_t+1]存储到经验回放库中，再从中随机采样一个小样本集[S_j,A_j,R_j,S_j+1]用于更新在线网络，下一时刻的状态输入给目标网络，从各个动作的Q值中选择最大值计算TD目标，并判断是否为终止态。在对在线网络进行一定次数的更新后，针对(y_j-Q(S_j,A_j；w))²使用梯度下降法更新在线网络参数，继续重复上述步骤，当前环境状态变换为新的状态，直到最大循环次数输出结果。

在DQN算法中，状态S_t直接反映燃气轮机串级控制目标，即在满足运行可靠性的前提下，使燃气轮机的动力涡轮转速还可以稳定地在某一转速下工作，外环PID控制器输入为动力涡轮转速指令值与实际值之差：

e(t)＝Npr(t)-Np(t) (8)

将e(t)加入状态参数，设置状态S_t＝[maxe(t),∫e(t)dt]，并加以限制，使燃气轮机始终运行在安全范围内；将动作设置为内环MFAC控制器的四个参数A_t＝[eita,miu,rou,lamda]，通过贪心策略从动作集合中选择四个控制器参数作为输出动作，通过为每个可能被选择的动作赋予其对应的执行概率，然后尝试完成所有可能的动作，且限制设计的无模型自适应控制器参数的范围需满足以下限制条件：eita∈(0,2],miu＞0,rou∈(0,1],lamda＞0，以使燃气轮机控制系统保持稳定。

另外，奖励R_t设计的是否合理将会直接影响到神经网络的收敛效果和控制精度，奖励条件与控制目标还需具有对应关系，以起到对网络训练的有效指导作用，本设计改进奖励函数，将奖励函数设定为是两个状态量的和为：

R_t＝maxe(t)+∫e(t)dt (9)

期望奖励值越小越好，即此时超调量和稳态性能得到保证。内环控制系统总体结构示意图如图2所示。计算流程为：基于燃气轮机输入数据W_f得到输出数据Ng；根据式估计伪偏导数PPD，在线进行紧格式动态线性化，在燃气轮机当前工作点构建式紧格式动态线性化数据模型；根据CFDL控制律式计算燃气轮机的燃油流量，将控制输入施加给燃气轮机。在控制律设计和动态线性化过程中要经过多次尝试来调整其中涉及到的四个参数，因此加入控制参数整定。燃气轮机输出动力涡轮转速，计算与指令值的差值进而计算奖励函数，将状态、动作与奖励存储到记忆数据回放库中，设定经验库可以存储5000组数据，计算更新所需的损失函数，从记忆库中随机抽取部分经验数据训练，设置批次数量为1000，基于Epsilon-Greedy策略选择动作，输出用于MFAC控制律设计和CFDL动态线性化计算。

步骤C)，面向燃机大状态多工况输入、输出数据的不确定干扰，采用步骤B)中的串联混合控制方案和DQN算法，实现寿命周期内的性能退化自适应控制，进一步验证控制性能和鲁棒性；

步骤C1)，基于燃机对模型的强依赖性和内部扰动响应慢的问题，设计基于数据驱动的串联混合控制方案，对执行机构和被控对象两处不同位置下增益和相位拉偏的扰动情况，进行多工况下的鲁棒性分析；

步骤C2)，在设计点条件下开环控制，观察不同工作模式下旋转部件在不发生退化、低退化等级、中退化等级下，对燃气轮机性能影响；面向燃机大状态多工况点，验证在面对燃气轮机发生不同等级的性能退化时，所设计的控制回路的自适应保持效果。

通过DQN算法经过参数整定得到无模型自适应控制器中涉及的四个参数，除了需要设计DQN算法中涉及到的多个超参数，表1为其他训练参数设置。将初始控制器参数设定为：eita＝1，miu＝2，rou＝0.5，lamda＝2；整定后：eita＝0.81，miu＝1.92，rou＝0.41，lamda＝2.11，因此，MFAC控制器的参数设置如表2所示。

表1训练参数设置

表2MFAC控制器参数设置

在100％额定工况条件下进行仿真，仿真时长为25秒，设置采样步长为0.025s，验证串级控制中MFAC控制器对动力涡轮转子转速的指令跟踪能力。仿真开始时需要运行一定时间直至稳定，于是系统仿真过程先于某一燃油量下保持运行10s之后再接入控制器控制燃油量控制，仿真过程的期望动力涡轮转速信号为在第10s由95％额定转速阶跃至额定转速，观察系统全过程仿真的燃油量与动力涡轮转速变化。为分析MFAC控制器的抗干扰效果，分别就内环为PI控制器和内环为CFDL-MFAC控制器的串级控制过程进行仿真对比，针对燃油流量和负载两种扰动情况，将G₁(s)与G₃(s)两个传递函数的相位拉偏，内环为PI控制器的参数设置如表3所示(下标1为内环PI控制器参数，下标2为外环PI控制器参数)。执行机构相位拉偏时，燃油流量仿真结果如图5、动力涡轮转速仿真结果如图6所示；被控对象相位拉偏时，燃油流量仿真结果如图7、动力涡轮转速仿真结果如图8所示；需要说明的是，仿真环境在CPU为Intel Core i7-12700上运行，系统运行结果均在归一化处理后给出。

表3PI控制器参数设置

仿真结果表明，在拉偏执行机构相位时，动力涡轮转速的响应调节时间为7s，超调量为0.6％，无稳态误差；拉偏被控对象相位时，动力涡轮转速的响应调节时间是8.8s，超调量为0.5％，无稳态误差；且相比于传统PI控制律方法，在燃油流量与负载发生扰动时，PI控制器会出现抖振现象，且系统响应速度与抖振问题之间的平衡依赖于参数选择，需要对控制器参数进行详细设计才能获得较佳控制品质。因此，MFAC相比于传统PI控制律方法，抗干扰效果更好，证明无模型自适应控制算法能够改善控制品质，自动补偿系统由于过程对象的参数、环境的不定性而造成的系统性能变化，从而验证了基于CFDL的MFAC方案的稳定性和跟踪的有效性。

燃气轮机压气机和涡轮在高温、高压和污染环境等恶劣条件下持续运行，都可能出现暂时或者永久性的性能退化，导致故障发生的原因与形式不尽相同，但均可用部件的流量系数和效率系数的变化表征。燃气轮机的热效率和输出功率下降，从而影响燃气轮机发电厂的经济可行性和安全性。为将部件特性偏离设计状态的程度定量表示，定义一组健康参数衡量发动机各部件的性能退化程度。

为保证燃气轮机在额定状态下设计的控制系统在退化后仍能保持较好的动稳态性能，需要进行控制性能自适应保持方法研究。通过在燃气轮机部件级模型中加入健康参数，模拟其发生退化后的性能变化，i＝1,2,3,4,5分别表示为低压压气机、高压压气机、高压涡轮、低压涡轮和动力涡轮五个旋转部件的效率系数：[SE₁,SE₂,SE₃,SE₄,SE₅]，三种退化情况的健康参数具体设定值如表4所示。

表4燃气轮机健康参数设置(％)

不同程度的性能退化都会给燃气轮机的控制造成影响，会使得燃气轮机无法发挥应有的性能，基于以上设计的串级双回路控制方案，观察部件在不发生退化、低退化等级、中退化等级下，对燃气轮机性能产生的影响，从而验证无模型自适应控制在不同退化场景下对燃气轮机转速控制的鲁棒性。通过对五个旋转部件效率参数拉偏来模拟燃气轮机的性能衰退情况，分别在1.0工况(输出功率为额定功率)、0.9工况(输出功率为额定功率的90％)、0.8工况(输出功率为额定功率的80％)3个工况点下对MFAC控制器的串级控制过程进行仿真，如图9～图14所示，验证在面对燃气轮机性能退化时所设计的控制回路的自适应保持效果。

仿真结果表明，本发明在面向性能衰退时，在无模型自适应控制器的作用下，在三个工况点下动力涡轮转速基本能保持在指令值，能将动力涡轮转速在7s内控制到指令值，并且无稳态误差，超调量在1％内。相比现有技术，本发明技术方案具有以下有益效果：本发明整体的仿真过程表明，考虑燃气轮机性能发生退化，MFAC控制在干扰情况下各工况点比PID控制器超调量更小，无抖振，表现出了更好的动态性能以及鲁棒性。

Claims (9)

1.一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于：包括以下步骤：

步骤A)，基于燃气轮机的输入、输出数据，利用动态线性化方法在线实时建立燃气轮机控制器内回路的紧格式数据模型；

步骤B)，基于紧格式数据模型设计基于数据驱动的串联混合控制方案，其中，控制器外回路为PID控制，以动力涡轮转速为被控信号，根据指令值与当前实际的动力涡轮转速值的偏差量，计算出燃气涡轮高压转子转速指令；内回路以燃气涡轮高压转速为被控量，根据当前燃气涡轮转速和给定值的偏差，采用MFAC控制，来调整燃油流量；利用DQN算法自学习调整MFAC的控制参数；

步骤C)，面向燃机大状态多工况输入、输出数据的不确定干扰，采用步骤B)中的串联混合控制方案和DQN算法，实现寿命周期内的性能退化自适应控制，进一步验证控制性能和鲁棒性。

2.如权利要求1所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤A)的具体步骤如下：

步骤A1)，采用最小二乘拟合法对燃气轮机的非线性模型的阶跃响应进行线性化，得到高压转速和动力涡轮转速曲线，从而求出燃气轮机燃气发生器的传递函数G₂(s)和负载系统传递函数G₃(s)；

步骤A2)，在考虑执行机构动态特性的情况下，基于燃气轮机输出、输入数据，利用动态线性化方法在线建立紧格式数据模型。

3.如权利要求2所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤A1)中辨识的燃气发生器和负载系统的传递函数为：

s为拉普拉斯算子。

4.如权利要求2所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤A2)的具体步骤包括：

串级控制回路的内环控制系统由下面的离散时间单输入单输出非线性系统描述：

y(k+1)＝f(y(k),··,y(k-n_y),u(k),··,u(k-n_u)) (3)

其中，u(k)，y(k)分别为k时刻的燃气轮机输入和输出，对燃气轮机转速控制而言，表示燃油流量W_f和高压转子转速Ng；n_y,n_u是系统的未知阶数；

基于燃气轮机的输出、输入数据利用动态线性化方法建立燃气轮机在当前工作点的紧格式动态线性化数据模型：

Δy(k+1)＝φ(k)Δu(k) (4)

其中，Δu(k)为燃油流量的变化量，Δy为内环被控量燃气涡轮高压转子转速的变化量，φ(k)∈R为系统的伪偏导数PPD；

基于以上建立的动态线性化数据模型，求其准则函数的极值后引入步长因子即得到紧格式动态线性化的无模型自适应控制的控制律为：

其中，λ＞0为惩罚因子，能够限制控制量u(k)的变化，间接限制伪偏导数的变化，ρ∈(0,1]为控制率的步长因子，y_r为期望输出；进一步给出不含矩阵求逆运算的PPD估计：

其中，η∈(0,2]是PPD估计的步长因子，μ＞0是权重因子，这两个因子在控制过程中可调；且出于应用上的考虑，在对伪偏导数估计明显不合理的情况重置伪偏导数：如果sign(φ(k))≠sign(φ(1))，或者|φ(k)|≤ε，或者|Δu(k-1)|≤ε，那么φ(k)＝φ(1)，其中，ε为常数。

5.如权利要求3所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤B)中基于紧格式数据模型设计基于数据驱动的串联混合控制方案的具体步骤为：

步骤1)，将执行机构的传递函数假设为一个1阶惯性环节：

将(1)、(2)、(7)式中的s域传递函数以适用于离散时间系统的z变换形式来表示系统的输入和输出之间的关系；

步骤2)，设计限制保护控制器模块，采用MIN-MAX切换逻辑，为防止发动机出现超温、超压的情况，控制高压压气机出口总压P3、低压涡轮出口总温T5不超过限制值；通过限制保护器计算使得限制参数维持在限制值内，限制保护控制器采用PI控制；将限制保护器获得的燃油流量与主回路无模型自适应控制器获得的燃油流量进行高/低选，然后经过执行机构，得到最终作用于燃气轮机的燃油流量；

步骤3)，设计基于数据驱动的串联混合控制方案，外回路为PID控制器，内回路为含超限保护的基于步骤A)设计的紧格式无模型自适应控制器。

6.如权利要求4所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤B)中利用DQN算法自学习调整MFAC的控制参数的具体步骤包括：

外环PID控制器输入为动力涡轮转速指令值与实际值之差：

e(t)＝Npr(t)-Np(t) (8)

将e(t)加入状态参数，设置状态S_t＝[maxe(t),∫e(t)dt]，并加以限制，使燃气轮机始终运行在安全范围内；将动作设置为内环MFAC控制器的四个参数A_t＝[eita,miu,rou,lamda]，eita、miu、rou、lamda分别对应PPD估计的步长因子η、权重因子μ、控制率的步长因子ρ、惩罚因子λ，通过贪心策略从动作集合中选择四个控制器参数作为输出动作，通过为每个可能被选择的动作赋予其对应的执行概率，然后尝试完成所有可能的动作，且限制设计的无模型自适应控制器参数的范围需满足以下限制条件：eita∈(0,2],miu＞0,rou∈(0,1],lamda＞0，以使燃气轮机控制系统保持稳定；

将奖励函数设定为是两个状态量的和为：

R_t＝maxe(t)+∫e(t)dt (9)

期望奖励值越小越好，即此时超调量和稳态性能得到保证；燃气轮机输出动力涡轮转速，计算与指令值的差值进而计算奖励函数，将状态、动作与奖励存储到记忆数据回放库中，计算更新所需的损失函数，从记忆库中随机抽取部分经验数据训练，基于Epsilon-Greedy策略选择动作，输出用于MFAC控制律设计和CFDL动态线性化计算。

7.如权利要求1所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤C)的具体步骤如下：

步骤C1)，对执行机构和被控对象两处不同位置下增益和相位拉偏的扰动情况，进行多工况下的鲁棒性分析；

步骤C2)，在设计点条件下开环控制，观察不同工作模式下旋转部件在不发生退化、低退化等级、中退化等级下，对燃气轮机性能影响；面向燃机大状态多工况点，验证在面对燃气轮机发生不同等级的性能退化时，所设计的控制回路的自适应保持效果。

8.如权利要求7所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤C1)的具体步骤为：

基于步骤B)设计的数据驱动的串联混合控制方案，在额定工况条件下进行仿真，仿真开始时需要运行一定时间直至稳定，于是系统仿真过程先于某一燃油量下保持运行10s之后再接入控制器控制燃油量控制，仿真过程的期望动力涡轮转速信号为在第10s由95％额定转速阶跃至额定转速，对执行机构传递函数G₁(s)和负载系统传递函数G₃(s)分别进行增益拉偏两倍和相位滞后不超过60度的两种干扰情况，验证了基于DQN算法的串联混合控制方案的稳定性和跟踪的有效性。

9.如权利要求7所述的一种基于DQN算法的燃气轮机数据驱动转速自适应控制方法，其特征在于，所述步骤C2)的具体步骤为：

在设计点条件下开环控制，观察不同工作模式下低压压气机、高压压气机、高压涡轮、低压涡轮和动力涡轮五个旋转部件在不发生退化、低退化等级、中退化等级下，对燃气轮机性能影响，三种情况采用相同的仿真过程；分别在100％工况、90％工况、80％工况3个工况点下对步骤B)设计的数据驱动的串联混合控制方案进行仿真，验证燃气轮机在大状态多工况，面对不同等级性能退化时所设计的控制回路的自适应保持效果。