CN111965981B - 一种航空发动机强化学习控制方法及系统 - Google Patents

Abstract

本发明涉及一种航空发动机强化学习控制方法及系统，所述方法包括：建立航空发动机在巡航阶段时的双变量归一化状态空间模型；根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；基于所述控制器对发动机的燃油比进行控制。本发明中的上述方法能够使得发动机的响应速度随学习时间的增加而不断提高，从而可大幅提高航空发动机的控制精度、响应速度和鲁棒性。

Description

一种航空发动机强化学习控制方法及系统

技术领域

本发明涉及航空发动机控制领域，特别是涉及一种航空发动机强化学习控制方法及系统。

背景技术

航空发动机具有强非线性和不确定性，并且其动态过程特性复杂，目前工业上主要还是以PID控制为主。PID控制器具有实现简单，适应性强，鲁棒性好等优点，但是对于航空发动机这种复杂系统，目前流行的PID控制方法无法获得最佳的响应能力。目前的航空发动机通过改善传统PID控制方法，按设定的控制程序工作，对复杂环境的适应能力不足，这一定程度上影响了发动机性能，使其在设计、使用和维修等方面留有很大的裕度。针对现有的控制策略普遍存在保守性较强等问题，航空发动机的智能控制逐渐成为研究热点。

近年来，出现了基于深度确定性策略梯度(Deep Deterministic PolicyGradient)的控制方法。Liqiang Jin提出了基于DDPG算法的多轴轮内电机电动汽车最优转矩分配控制；宋能学提出了基于DDPG的智能汽车稳定性控制方法；刘延栋提出了DDPG-vcep算法用来解决移动机器人路径规划；Siyu Guo等人提出了基于深度强化学习的无人驾驶船舶自主路径规划模型；Chujun Liu等人提出了基于DDPG的动态两足步行控制，设计网络在物理模拟器GAZEBO中训练，用于预测理想的足部位置，以在外界干扰下保持行走稳定。

上述工作及强化学习的其他应用工作取得了很好的控制效果。然而，强化学习在航空发动机控制中的应用却很少研究。

发明内容

本发明的目的是提供一种航空发动机强化学习控制方法及系统，使得发动机的响应速度随学习时间的增加而不断提高，从而可大幅提高航空发动机的控制精度、响应速度和鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种航空发动机强化学习控制方法，所述方法包括：

建立航空发动机在巡航阶段时的双变量归一化状态空间模型；

根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；

基于所述控制器对发动机的燃油比进行控制。

可选的，所述建立航空发动机在巡航阶段时的双变量归一化状态空间模型具体包括：

建立发动机部件级模型；

对所述发动机部件级模型进行归一化处理，得到归一化处理后的发动机部件级模型；

对归一化处理后的发动机部件级模型采用系统辨识建立双变量归一化状态空间模型。

可选的，所述发动机部件级模型具体采用以下公式：

其中，

表示低压涡轮转速偏差值变化率，

表示高压涡轮转速偏差值变化率，a_1(2n-1)表示任意常数，a_2(2n-1)表示任意常数，b₁表示任意常数，b₂表示任意常数，

表示n阶低压涡轮转速偏差值，

表示n阶高压涡轮转速偏差值，ΔFAR表示燃油比偏差值，n表示阶数。

可选的，当n＝1时，所述归一化处理后的发动机部件级模型具体采用以下公式：

其中，a₁表示任意常数，a₂表示任意常数，a₃表示任意常数，a₄表示任意常数，b₁表示任意常数，b₂表示任意常数，Δn_Lmax表示最大低压涡轮转速偏差值，Δn_Hmax表示最大高压涡轮转速偏差值，ΔFAR_max表示最大燃油比偏差值，

表示低压涡轮转速偏差归一化值，

表示高压涡轮转速偏差归一化值，

表示燃油比偏差归一化值。

可选的，所述基于所述控制器对发动机的燃油比进行控制具体包括：

通过强化学习DDPG方法确定发动机的燃油比；

基于所述燃油比对所述发动机进行控制。

可选的，所述通过强化学习DDPG方法确定发动机的燃油比具体包括：

基于DDPG确定Actor网络；

以发动机的当前状态为输入基于所述Actor网络确定发动机的燃油比。

本发明另外提供一种航空发动机强化学习控制系统，所述控制系统包括：

状态空间模型建立模块，用于建立航空发动机在巡航阶段时的双变量归一化状态空间模型；

控制器构建模块，用于根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；

执行模块，用于基于所述控制器对发动机的燃油比进行控制。

可选的，所述状态空间模型建立模块具体包括：

发动机部件级模型建立单元，用于建立发动机部件级模型；

归一化处理单元，用于对所述发动机部件级模型进行归一化处理，得到归一化处理后的发动机部件级模型；

双变量归一化状态空间模型确定单元，用于对归一化处理后的发动机部件级模型采用系统辨识建立双变量归一化状态空间模型。

可选的，所述发动机部件级模型具体采用以下公式：

其中，

表示低压涡轮转速偏差值变化率，

表示高压涡轮转速偏差值变化率，a_1(2n-1)表示任意常数，a_2(2n-1)表示任意常数，b₁表示任意常数，b₂表示任意常数，

表示n阶低压涡轮转速偏差值，

表示n阶高压涡轮转速偏差值，ΔFAR表示燃油比偏差值，n表示阶数。

可选的，当n＝1时，所述归一化处理后的发动机部件级模型具体采用以下公式：

其中，a₁表示任意常数，a₂表示任意常数，a₃表示任意常数，a₄表示任意常数，b₁表示任意常数，b₂表示任意常数，Δn_Lmax表示最大低压涡轮转速偏差值，Δn_Hmax表示最大高压涡轮转速偏差值，ΔFAR_max表示最大燃油比偏差值，

表示低压涡轮转速偏差归一化值，

表示高压涡轮转速偏差归一化值，

表示燃油比偏差归一化值。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明首先通过建立航空发动机在巡航阶段时的双变量归一化状态空间模型；其次根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；最后基于所述控制器对发动机的燃油输入进行控制，首次提出将DDPG技术应用于航空发动机的控制，使得发动机的响应速度随学习时间的增加而不断提高，从而可大幅提高航空发动机的控制精度、响应速度和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种航空发动机强化学习控制方法流程图；

图2为本发明实施例传统航空发动机控制系统的控制结构图；

图3为本发明实施例基于DDPG的航空发动机控制结构图；

图4为发明实施例航空发动机线性数学模型关于Δn_H和Δn_L的拟合结果图；

图5为本发明实施例航空发动机稳态控制器实现框架；

图6为本发明实施例DDPG神经网络结构图；

图7为本发明实施例智能控制器和PID控制器NL控制效果对比图；

图8为本发明实施例智能控制器和PID控制器NH控制效果对比图；

图9为本发明实施例智能控制器和PID控制器NL控制效果对比(d＝10％P)；

图10为本发明实施例智能控制器和PID控制器NH控制效果对比(d＝10％P)；

图11为本发明实施例一种航空发动机强化学习控制系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种航空发动机强化学习控制方法及系统，使得发动机的响应速度随学习时间的增加而不断提高，从而可大幅提高航空发动机的控制精度、响应速度和鲁棒性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图2和图3分别给出了传统航空发动机控制系统的控制结构和本发明的航空发动机控制结构。如图2所示，传统的控制系统主要由控制器(通常为PI或PID控制器)、执行机构组成。如图3所示，本发明的航空发动机控制系统由DDPG控制器及执行机构等组成。为了提高发动机的响应速度和鲁棒性，本发明设计了DDPG控制器，其具体实现过程如下：

图1为本发明实施例一种航空发动机强化学习控制方法流程图，如图1所示，所述方法包括：

步骤101：建立航空发动机在巡航阶段时的双变量归一化状态空间模型。

本发明中以JT9D航空发动机为例，即建立JT9D航空发动机在发动机的一个稳态线性工作点附近的线性系统模型。

具体包括：

步骤1011：建立发动机部件级模型。

以JT9D为例，所述发动机部件级模型具体采用以下公式：

其中，a₁表示任意常数，a₂表示任意常数，a₃表示任意常数，a₄表示任意常数，b₁表示任意常数，b₂表示任意常数，Δn_L表示低压涡轮转速偏差值，Δn_H表示高压涡轮转速偏差值，ΔFAR表示燃油比偏差值。

步骤1012：对所述发动机部件级模型进行归一化处理，得到归一化处理后的发动机部件级模型。

这里，是为了降低输入输出数值差距造成的模型建立误差，需要对上一步骤模型进行归一化处理，所述归一化处理后的发动机控制系统状态变量模型具体采用以下公式：

其中，a₁表示任意常数，a₂表示任意常数，a₃表示任意常数，a₄表示任意常数，b₁表示任意常数，b₂表示任意常数，Δn_Lmax表示最大低压涡轮转速偏差值，Δn_Hmax表示最大高压涡轮转速偏差值，ΔFAR_max表示最大燃油比偏差值，

表示低压涡轮转速偏差归一化值，

表示高压涡轮转速偏差归一化值，

表示燃油比偏差归一化值

根据归一化后的部件级模型在航空发动机平衡点X₀＝[n_L n_H]^T＝[3350.97189.7]^T和u＝FAR＝0.0165(平衡点参数可在合理情况下任意选择)进行参数识别，确定模型参数(即确定a₁,a₂,a₃,a₄,b₁,b₂的值)

命令idnlgreys建立了一个包含模型结构，输入、输出、状态变量个数，模型参数，初始状态以及采样时间的灰色非线性模型sys。具体使用方法如下：sys＝idnlgrey(FileName,Order,Parameters,InitialStates,Ts)

其中FileName代表模型结构，Order表示输出个数、输入个数和状态变量个数，Parameters表示模型参数(初始时可均设为0)，InitialStates表示系统初始状态，Ts表示离散模型的采样时间，由于建立模型为连续型，因此Ts＝0。

命令nlgreyest最大限度地估计合适的模型参数。具体使用方法如下：SYS＝nlgreyest(DATA,SYSINIT,OPTIONS)

其中，DATA是待估计系统SYSINIT的输入输出数据，OPTIONS表示参数优化选项，一般包含估计目标、梯度计算选项和数值搜索方法等。SYS表示一个结构和SYSINIT相同但含有更新参数值的灰色模型。

参数初始值均设为0进行优化，辨识精度达到99％以上，拟合结果如图4所示，最终得到发动机在巡航阶段时的双变量归一化状态空间模型。

基于所述双变量归一化状态空间模型确定基于DDPG的智能控制器。

所述强化学习DDPG方法采用梯度下降方法更新评价网络，具体公式如下：

其中，a为发动机控制指令，α为深度学习的学习率，γ为回报衰减率，s为当前时刻发动机状态，s′为发动机下一时刻状态，r为奖励函数，奖励函数具体如下：

其中，a，b，c为任意常数，S_j为航空发动机当前状态值，即发动机数学模型中的

S_*为目标状态值，即r_j为发动机j时刻的回报值。将训练好的DDPG神经网络保存参数，即为航空发动机的智能控制器。

为了验证本发明的先进性，对传统PID控制系统和本发明控制系统进行了仿真研究。

如图7、图8，表1所示，当对JT9D_Model_Dyn模型施加同样的命令时，智能控制器和传统的PID控制器效果略有不同，体现在超调量，上升时间，稳定时间。

控制性能	PID控制器	智能控制器
			NL的超调量	0.0503	0.0122
NL的上升时间	0.5820	0.5094
			NL的稳定时间	9.5622	8.9619
NH的超调量	0.0439	0.0350
			NH的上升时间	0.3616	0.2790
NH的稳定时间	9.4614	8.8583

如图9，图10所示，对JT9D_Model_Dyn模型的总压力Pt加入随机扰动d，当d＝10％Pt时，对于发动机的低压涡轮转速，PID控制器出现明显波动，且超调量较大，而智能控制器无超调，过渡过程平滑，控制效果稳定；对于发动机的高压涡轮转速，PID控制器震动剧烈，超调量较大，而智能控制器超调较小，控制效果稳定。可以看出，智能控制器的抗干扰效果明显优于PID控制器。

步骤1013：对归一化处理后的发动机部件级模型采用系统辨识建立双变量归一化状态空间模型。

步骤102：根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器。

步骤103：基于所述控制器对发动机的燃油输入进行控制。

具体包括：

步骤1031：通过强化学习DDPG方法确定发动机的燃油比。

步骤1032：基于所述燃油比对所述发动机进行控制。

其中，通过强化学习DDPG方法确定发动机的燃油比，具体包括：

基于DDPG确定Actor网络；

以发动机的当前状态为输入基于所述Actor网络确定发动机的燃油比。

如图4和图5所示，本发明中，在线Actor网络输入为发动机当前状态值，输出为动作值燃油比，在线Critic网络输入为当前发动机状态，实际执行动作值和奖励，输出为值函数Q；目标Actor网络输入为发动机下一状态，输出为针对发动机下一状态的动作值，目标critic网络输入为发动机下一状态，目标actor网络的输出值，输出为针对下一状态和下一动作值燃油比，其中目标网络和在线网络具有相同的结构，在线网络定期将参数softupdate给目标网络，更新公式如下：

图11为本发明实施例一种航空发动机强化学习控制系统结构示意图，如图11所示，所述控制系统包括：

状态空间模型建立模块201，用于建立航空发动机在巡航阶段时的双变量归一化状态空间模型；

控制器构建模块202，用于根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；

执行模块203，用于基于所述控制器对发动机的燃油输入进行控制。

所述状态空间模型建立模块201具体包括：

发动机部件级模型建立单元，用于建立发动机部件级模型；

归一化处理单元，用于对所述发动机部件级模型进行归一化处理，得到归一化处理后的发动机部件级模型；

双变量归一化状态空间模型确定单元，用于对归一化处理后的发动机部件级模型采用系统辨识建立双变量归一化状态空间模型。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种航空发动机强化学习控制方法，其特征在于，所述方法包括：

建立航空发动机在巡航阶段时的双变量归一化状态空间模型；所述建立航空发动机在巡航阶段时的双变量归一化状态空间模型具体包括：

建立发动机部件级模型；所述发动机部件级模型具体采用以下公式：

其中，

表示低压涡轮转速偏差值变化率，

表示高压涡轮转速偏差值变化率，a_1(2n-1)表示任意常数，a_2(2n-1)表示任意常数，b₁表示任意常数，b₂表示任意常数，

表示n阶低压涡轮转速偏差值，

表示n阶高压涡轮转速偏差值，ΔFAR表示燃油比偏差值，n表示阶数；

对所述发动机部件级模型进行归一化处理，得到归一化处理后的发动机部件级模型；

对归一化处理后的发动机部件级模型采用系统辨识建立双变量归一化状态空间模型；

根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；

基于所述控制器对发动机的燃油比进行控制。

2.根据权利要求1所述的航空发动机强化学习控制方法，其特征在于，当n＝1时，所述归一化处理后的发动机部件级模型具体采用以下公式：

其中，a₁表示任意常数，a₂表示任意常数，a₃表示任意常数，a₄表示任意常数，b₁表示任意常数，b₂表示任意常数，Δn_Lmax表示最大低压涡轮转速偏差值，Δn_Hmax表示最大高压涡轮转速偏差值，ΔFAR_max表示最大燃油比偏差值，

表示低压涡轮转速偏差归一化值，

表示高压涡轮转速偏差归一化值，

表示燃油比偏差归一化值。

3.根据权利要求1所述的航空发动机强化学习控制方法，其特征在于，所述基于所述控制器对发动机的燃油比进行控制具体包括：

通过强化学习DDPG方法确定发动机的燃油比；

基于所述燃油比对所述发动机进行控制。

4.根据权利要求3所述的航空发动机强化学习控制方法，其特征在于，所述通过强化学习DDPG方法确定发动机的燃油比具体包括：

基于DDPG确定Actor网络；

以发动机的当前状态为输入基于所述Actor网络确定发动机的燃油比。

5.一种航空发动机强化学习控制系统，其特征在于，所述控制系统包括：

状态空间模型建立模块，用于建立航空发动机在巡航阶段时的双变量归一化状态空间模型；所述状态空间模型建立模块具体包括：

发动机部件级模型建立单元，用于建立发动机部件级模型；所述发动机部件级模型具体采用以下公式：

其中，

表示低压涡轮转速偏差值变化率，

表示高压涡轮转速偏差值变化率，a_1(2n-1)表示任意常数，a_2(2n-1)表示任意常数，b₁表示任意常数，b₂表示任意常数，

表示n阶低压涡轮转速偏差值，

表示n阶高压涡轮转速偏差值，ΔFAR表示燃油比偏差值，n表示阶数；

归一化处理单元，用于对所述发动机部件级模型进行归一化处理，得到归一化处理后的发动机部件级模型；

双变量归一化状态空间模型确定单元，用于对归一化处理后的发动机部件级模型采用系统辨识建立双变量归一化状态空间模型；

控制器构建模块，用于根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；

执行模块，用于基于所述控制器对发动机的燃油比进行控制。

6.根据权利要求5所述的航空发动机强化学习控制系统，其特征在于，当n＝1时，所述归一化处理后的发动机部件级模型具体采用以下公式：

其中，a₁表示任意常数，a₂表示任意常数，a₃表示任意常数，a₄表示任意常数，b₁表示任意常数，b₂表示任意常数，Δn_Lmax表示最大低压涡轮转速偏差值，Δn_Hmax表示最大高压涡轮转速偏差值，ΔFAR_max表示最大燃油比偏差值，

表示低压涡轮转速偏差归一化值，

表示高压涡轮转速偏差归一化值，

表示燃油比偏差归一化值。

Images