CN111679576B - 一种基于改进确定性策略梯度算法的变循环发动机控制器设计方法 - Google Patents

Abstract

本发明属于航空发动机控制技术领域，一种基于改进确定性策略梯度算法的变循环发动机控制器设计方法。本发明采用样本优先回放技术、目标神经网络技术对确定性策略梯度算法进行改进，将其作为变循环发动机多变量控制算法。改进的确定性策略梯度算法可以加快神经网络的训练速度、保证神经网络参数更新过程的稳定性，实现变循环发动机全部可调部件的组合调节。本发明设计的变循环发动机稳态多变量控制器，不需要对变量进行解耦控制，具有更好的可以可移植性。加入的样本优先回放机制有利于提高了样本利用率，加速神经网络训练过程，同时双Actor‑Critic结构设计，利用目标神经网络计算真实神经网络梯度，使神经网络的训练过程更易于收敛。

Description

一种基于改进确定性策略梯度算法的变循环发动机控制器设 计方法

技术领域

本发明属于航空发动机控制技术领域，具体涉及一种基于改进确定性策略梯度算法的变循环发动机控制器设计方法。

背景技术

航空发动机为飞机提供飞行所需的动力，是飞机执行各项飞行任务必不可少的装备，而航空发动机的控制系统则是发动机稳定、可靠、安全运行的重要保障。与传统的航空发动机相比，变循环发动机通过调节对多个可变几何部件，能在宽广的范围内改变发动机的热力循环过程，实现超声速、高推力和亚声速、油耗低模式的自由切换，可以看作是涡喷发动机与扇发动机的组合装置，集涡扇、涡喷发动机优点于一体，是目前航空发动机研究领域的重点研究对象。

变循环发动机结构复杂，工作范围大。对发动机的控制系统性能要求高，如在全飞行包线内保证较高的控制精度和良好的稳定性，在飞行条件或发动机工作状态发生变化时有尽可能短的调节时间，充分发挥发动机的潜力，降低耗油率等。传统燃油闭环控制和几何机构开环调度的控制系统无法满足变循环发动机的控制要求，存在需要建立小偏差线性化模型、控制变量少和控制器结构复杂等问题。随着智能控制技术的快速发展，采用智能控制技术对变循环发动机进行多变量控制，提高发动机的性能，成为一个必然的趋势，设计一种新的变循环发动机智能控制器具有重要的意义。

发明内容

本发明采用样本优先回放技术、目标神经网络技术对确定性策略梯度算法进行改进，将其作为变循环发动机多变量控制算法。改进的确定性策略梯度算法可以加快神经网络的训练速度、保证神经网络参数更新过程的稳定性，实现变循环发动机全部可调部件的组合调节。

本发明的技术方案为：

一种基于改进确定性策略梯度算法的变循环发动机控制器设计方法，包括以下步骤：

S1.建立基于改进确定性策略梯度算法的控制系统架构

应用于变循环发动机多变量控制的基于改进确定性策略梯度算法的控制算法，在确定性策略梯度算法的Actor-Critic结构基础上，添加目标策略网络和目标Q值网络，即改进后的确定性策略梯度算法为双Actor-Critic结构；同时，为了加快神经网络的训练速度和维持算法稳定性，加入带样本优先回放机制的样本池；

S2.根据控制目标确定Actor-Critic结构的输入和输出变量

变循环发动机控制变量共八个，包括喷口膨胀面积、风扇导流叶片角度、核心机风扇导流叶片角度、低压涡轮导向器的控制角、核心机风扇的混合器面积、第一外涵道面积高、高压气机导流叶片角度和主燃烧室供油量；选取高压压气机相对转速和发动机的落压比为被控变量；设定八个变循环发动机控制变量为确定性策略梯度算法中策略网络的输出值，高压压气机相对转速和和发动机落压比的稳态误差绝对值为发动机反馈回Actor-Critic结构的状态；

S3.确定奖赏函数

奖励值函数依据设计目标而定，针对变循环发动机多变量控制，奖励函数设计为：

其中，s_t和s_t+1分别为t时刻和下一时刻的环境状态量，即本次环境的状态量比上次更靠近目标值，给予正奖励，否则给予负奖励；

S4.设置策略网络和Q值网络参数

策略网络和Q值网络均为单隐层BP神经网络，根据控制系统特性和控制目标，设置的策略网络的输入层节点个数、隐含层节点个数、输出层节点；设置Q 值网络的输入层节点个数、隐含层节点个数、输出层节点个数、神经网络的激活函数；

S5.设计改进确定性策略梯度算法

S5.1初始化策略网络和Q值网络的神经网络参数：θ^μ和θ^Q；初始化样本回放池R和用于增加算法探索性的Uhlenbeck-Ornstein过程；

S5.2将策略网络和Q网络的参数赋给对应的目标策略网络和Q值网络的参数θ^μ′和θ^Q′，即：

θ^μ′＝θ^μ，θ^Q′＝θ^Q；

S5.3计算策略网络输出

策略网络根据当前的网络参数，产生一个动作输出值μ(s_t|θ^μ)，该值和UO 随机过程输出的N_t相加，得到策略网络的最终输出值a_t，该动作值传递给环境模型：

a_t＝μ(s_t|θ^μ)+N_t

S5.4模型执行动作a_t，反馈回当前的单步奖励值r_t和状态值s_t+1；

S5.5上述转换过程产生的数据元组(s_t，a_t，s_t+1，r_t+1)作为一个样本存入样本回放池R中，作为训练策略网络和Q值网络的数据集；

S5.6从样本回放池R中，随机采样K×N个样本数据，计算样本优先级，选取样本优先级最高的N个样本，作为目标策略网络和目标Q值网络的一个 mini-batch训练数据，用(s_t，a_t，s_t+1，r_t)表示mini-batch中的单个样本数据；

S5.7计算在线Q值网络梯度

定义在线Q值网络的损失函数loss为：

y_i＝r_i+γQ′(s_i+1，μ′(s_i+1|θ^μ′)|θ^Q′)

其中，γ为折扣因子，取0.99，N为样本个数；

基于反向传播方法，求得L针对θ^Q的梯度

采用Adam optimizer算法更新Q值网络参数：θ^Q；

S5.8计算在线策略网络的梯度：

在线策略网络的梯度定义为性能目标函数J对策略网络的参数θ^μ的梯度

采用Adam optimizer算法更新online策略网络：θ^μ；

S5.9更新目标策略网络和目标Q值网络的神经网络参数

采用soft update算法更新目标策略网络和Q值网络参数的参数θ^μ和θ^Q；

S5.10如达到预设的神经网络训练次数，或控制器的控制效果达到控制精度要求，则算法结束；否则返回步骤S5.2，继续下一轮的神经网络训练；

S6.神经网络训练结束后，保存上述步骤产生的参数，将计算出的控制变量输入到变循环发动机，对控制效果进行验证。

本发明的有益效果：通过本发明设计的基于改进确定性策略梯度算法的变循环发动机稳态多变量控制器，不需要对变量进行解耦控制，是一种模型无关的多变量控制算法，具有更好的可以可移植性。加入的样本优先回放机制有利于提高了样本利用率，加速神经网络训练过程，同时双Actor-Critic结构设计，利用目标神经网络计算真实神经网络梯度，使神经网络的训练过程更易于收敛。

附图说明

图1为本发明的控制系统结构示意图。

图2为本发明的控制器算法流程图。

图3改进确定性策略梯度算法流程图。

图4为H＝0，Ma＝0，PLA＝50时，系统被控变量输出曲线与参考曲线对比图；图4(a)为高压压气机相对转速输出曲线和参考曲线的对比图；图4(b)为落压比输出曲线和参考曲线的对比图。

图5为H＝9，Ma＝0.8,PLA＝90时，系统被控变量输出曲线与参考曲线对比图；图5(a)为高压压气机相对转速输出曲线和参考曲线的对比图；图5(b)为落压比输出曲线和参考曲线的对比图。

具体实施方式

下面结合附图及对本发明技术方案实施过程做进一步详细说明。

本发明的控制算法计算流程如图2所示，具体步骤如下：

S1：建立基于改进确定性策略梯度算法的控制系统架构

应用于变循环发动机多变量控制的基于改进确定性策略梯度算法的控制结构示意图如图1所示，在确定性策略梯度算法的Actor-Critic结构基础上，添加目标策略网络和目标Q值网络，即改进后的确定性策略梯度算法为双 Actor-Critic结构。同时，为了加快神经网络的训练速度和维持算法稳定性，加入带样本优先回放机制的样本池技术。

S2：根据控制目标确定Actor-Critic结构的输入和输出变量

本发明涉及的某型变循环发动机控制变量共八个，包括喷口膨胀面积、风扇导流叶片角度、核心机风扇导流叶片角度、低压涡轮导向器的控制角、核心机风扇的混合器面积、第一外涵道面积高、高压气机导流叶片角度，和主燃烧室供油量。在进行稳态控制时，需要考虑发动机的喘振和超速停车等现象，因此，在进行控制器设计时，要保证稳态误差小于1％的精度要求，同时，要保证发动机不喘振、不超限停车。

选取高压压气机相对转速和发动机的落压比为被控变量。设定八个控制为确定性策略梯度算法中策略网络的输出值，高压压气机相对转速和和发动机落压比的稳态误差绝对值为发动机反馈回Actor-Critic结构的状态。此时变循环发动机多变量控制问题转变为拥有两输入节点、八输出节点的确定性策略梯度算法策略网络参数整定问题。

S3.确定奖赏函数

奖励值函数依据设计目标而定，针对变循环发动机多变量控制，奖励函数设计为：

其中，s_t和s_t+1分别为t时刻和下一时刻变循环发动机被控变量稳态误差绝对值之和，flag为发动机喘振和超温标识。即本次控制器的控制精度上次更高且四个状态量的输出值在限制范围内，给予正奖励，否则给予负奖励。

S4.设置策略网络和Q值网络参数

策略网络和Q值网络均为单隐层BP神经网络，根据控制系统特性和控制目标，设置的策略网络的输入层节点个数为2，代表发动机的高压压气机和落压比稳态误差；隐含层节点个数64；输出层节点个数为8，表示策略网络输出变循环发动机的八个控制量计算值；设置Q值网络的输入层节点个数为10，输入值为某一时刻发动机的控制变量和被控变量稳态值；隐含层节点个数为128；输出层节点个数1、神经网络各节点的激活函数均为Tanh，策略网络学习率为1e-4，评价网络学习率为1e-5。目标神经网络的策略网络和Q值网络结构与策略网络和Q值网络完全相同。

S5.设计改进确定性策略梯度算法

S5.1初始化策略网络和Q网络的神经网络参数:θ^μ和θ^Q；设置回放池R的大小为6000×13。OU随机过程的方差为0.532，均值为0。

S5.2将策略网络和Q网络的参数赋给目标策略网络和Q网络的参数θ^μ′和θ^Q′，即：

θ^μ′＝θ^μ，θ^Q′＝θ^Q；

S5.3计算策略网络输出的动作

策略网络根据当前的网络参数，产生一个动作输出值μ(s_t|θ^μ)，该值和 UO随机过程生成的N_t相加，得到策略网络的输出值a_t，该值传递给变循环

发动机模型：

a_t＝μ(s_t|θ^μ)+N_t

S5.4模型执行a_t，反馈回当前的单步奖励值r_t和稳态误差向量s_t+1。

S5.5上述转换过程产生的数据元组(s_t，a_t，s_t+1，r_t+1)作为一个样本存入经验池R中，作为训练策略网络和Q值网络参数的数据集。

S5.6从样本池R中，随机采样20×300个样本数据，计算样本优先级，选取样本优先级最高的300个样本，作为策略网络、Q值网络的一个mini-batch 训练数据，用(s_i，a_i，s_i+1，r_i)表示mini-batch中的单个样本数据。

其中样本优先级定义为：

其中，p_i为第i个样本的在任意时刻t的样本优先级，定义为：

p_t＝|r_t+γQ(s_t+1,a_t+1)-Q(s_t,a_t)|+∈

α为优先级权重，当α＝0时，即为均匀采样，∈是一个取值较小的正常数，使 TD误差为零的样本也能被取到。

S5.7计算在线Q值神经网络梯度

定义在线Q值网络的损失函数loss为:

y_i＝r_i+γQ′(s_i+1，μ′(s_i+1|θ^μ′)|θ^Q′)

其中，γ为折扣因子，取0.99，N为样本个数。

基于反向传播方法，求得L针对θ^Q的梯度

采用Adam optimizer更新 onlineQ网络参数θ^Q。

S5.8计算在线策略网络的梯度：

在线策略网络的梯度定义为性能目标函数J对策略网络的参数θ^μ的梯度

采用Adam optimizer算法更新online策略网络：θ^μ。

S5.9更新目标策略网络和Q值网络的神经网络参数

采用soft update算法更新目标策略网络和Q网络参数的参数θ^μ和θ^Q:

S5.10若神经网络训练次数到达设定的最大值5000，或控制器控制效果达到稳态误差小于1％的精度要求，则保存此时策略网络的神经网络参数；否则返回步骤S5.2，继续下一轮的神经网络训练。

S6.神经网络训练结束后，保存上述步骤产生的相关参数，将计算出的控制量输入到发动机模型，对控制效果进行验证。

图4(a)、图4(b)分别为高度H＝0km，Ma＝0，油门杆信号PLA为50的工况下高压压气机和落压比输出曲线和参考曲线的对比图和系统限制状态量输出值。高压压气机相对转速和落压比稳态误差分别为0.52％和0.03％，均小于1％；调节时间约为3.9s,小于参考曲线调节时间；涡轮后温度为1218.49K，高压压气机、风扇、核心机风扇喘振标识均小于90，发动机无喘振、超限现象。

图5(a)、图5(b)分别为高度H＝9km，Ma＝0.8，油门杆信号PLA为90 的工况下高压压气机相对转速和发动机落压比输出曲线和参考曲线的对比图和系统限制状态量输出值。高压压气机相对转速和落压比稳态误差分别为0.32％和 0.71％，均小于1％；同时落压比和高压压气机的调节时间比参考曲线调节时间短；涡轮后温度为1224.10K，高压压气机、风扇、核心机风扇喘振标识均小于 90，发动机无喘振、超限现象。

综上可见，本发明提出的将样本优先回放、双Actor-Critic技术与确定性策略梯度算法相结合，用作变循环发动机多变量控制器算法，可以在变循环发动机模型封装未知的情况下，对发动机进行多变量稳态控制，相较于传统的燃油闭环控制和几何部件解耦控制具有明显的优势。

Claims (1)

1.一种基于改进确定性策略梯度算法的变循环发动机控制器设计方法，其特征在于，包括以下步骤：

S1.建立基于改进确定性策略梯度算法的控制系统架构

应用于变循环发动机多变量控制的基于改进确定性策略梯度算法的控制算法，在确定性策略梯度算法的Actor-Critic结构基础上，添加目标策略网络和目标Q值网络，即改进后的确定性策略梯度算法为双Actor-Critic结构；同时，为了加快神经网络的训练速度和维持算法稳定性，加入带样本优先回放机制的样本池；

S2.根据控制目标确定Actor-Critic结构的输入和输出变量

变循环发动机控制变量共八个，包括喷口膨胀面积、风扇导流叶片角度、核心机风扇导流叶片角度、低压涡轮导向器的控制角、核心机风扇的混合器面积、第一外涵道面积高、高压气机导流叶片角度和主燃烧室供油量；选取高压压气机相对转速和发动机的落压比为被控变量；设定八个变循环发动机控制变量为确定性策略梯度算法中策略网络的输出值，高压压气机相对转速和发动机落压比的稳态误差绝对值为发动机反馈回Actor-Critic结构的状态；

S3.确定奖励值函数

奖励值函数依据设计目标而定，针对变循环发动机多变量控制，奖励值函数设计为：

其中，s_t和s_t+1分别为t时刻和下一时刻的环境状态量，即本次环境的状态量比上次更靠近目标值，给予正奖励，否则给予负奖励；

S4.设置策略网络和Q值网络参数

策略网络和Q值网络均为单隐层BP神经网络，根据控制系统特性和控制目标，设置的策略网络的输入层节点个数、隐含层节点个数、输出层节点；设置Q值网络的输入层节点个数、隐含层节点个数、输出层节点个数、神经网络的激活函数；

S5.设计改进确定性策略梯度算法

S5.1初始化策略网络和Q值网络的神经网络参数：θ^μ和θ^Q；初始化样本回放池R和用于增加算法探索性的Uhlenbeck-Ornstein过程；

S5.2将策略网络和Q值网络的参数赋给对应的目标策略网络和Q值网络的参数θ^μ′和θ^Q′，即：

θ^μ′＝θ^μ，θ^Q′＝θ^Q；

S5.3计算策略网络输出

策略网络根据当前的网络参数，产生一个动作输出值μ(s_t|θ^μ)，该值和Uhlenbeck-Ornstein过程输出的N_t相加，得到策略网络的最终输出值a_t，该动作值传递给环境模型：

a_t＝μ(s_t|θ^μ)+N_t

S5.4模型执行动作a_t，反馈回当前的单步奖励值r_t和状态值s_t+1；

S5.5上述转换过程产生的数据元组(s_t，a_t，s_t+1，r_t+1)作为一个样本存入样本回放池R中，作为训练策略网络和Q值网络的数据集；

S5.6从样本回放池R中，随机采样K×N个样本数据，计算样本优先级，选取样本优先级最高的N个样本，作为目标策略网络和目标Q值网络的一个mini-batch训练数据，用(s_t，a_t，s_t+1，r_t)表示mini-batch中的单个样本数据；

S5.7计算在线Q值网络梯度

定义在线Q值网络的损失函数L为：

y_i＝r_i+γQ′(s_i+1，μ′(s_i+1|θ^μ′)|θ^Q′)

其中，γ为折扣因子，取0.99，N为样本个数；

基于反向传播方法，求得L针对θ^Q的梯度

采用Adam optimizer算法更新Q值网络参数：θ^Q；

S5.8计算在线策略网络的梯度：

在线策略网络的梯度定义为性能目标函数J对策略网络的参数θ^μ的梯度

采用Adam optimizer算法更新online策略网络：θ^μ；

S5.9更新目标策略网络和目标Q值网络的神经网络参数

采用soft update算法更新目标策略网络和Q值网络参数的参数θ^μ和θ^Q；

S5.10如达到预设的神经网络训练次数，或控制器的控制效果达到控制精度要求，则算法结束；否则返回步骤S5.2，继续下一轮的神经网络训练；

S6.神经网络训练结束后，保存步骤S3至步骤S5产生的参数，将计算出的控制变量输入到变循环发动机，对控制效果进行验证。

Images