CN111486009A - 一种基于深强化学习的航空发动机控制方法、装置 - Google Patents
一种基于深强化学习的航空发动机控制方法、装置 Download PDFInfo
- Publication number
- CN111486009A CN111486009A CN202010328588.9A CN202010328588A CN111486009A CN 111486009 A CN111486009 A CN 111486009A CN 202010328588 A CN202010328588 A CN 202010328588A CN 111486009 A CN111486009 A CN 111486009A
- Authority
- CN
- China
- Prior art keywords
- engine
- reinforcement learning
- deep reinforcement
- fuel flow
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02C—GAS-TURBINE PLANTS; AIR INTAKES FOR JET-PROPULSION PLANTS; CONTROLLING FUEL SUPPLY IN AIR-BREATHING JET-PROPULSION PLANTS
- F02C9/00—Controlling gas-turbine plants; Controlling fuel supply in air- breathing jet-propulsion plants
- F02C9/26—Control of fuel supply
- F02C9/28—Regulating systems responsive to plant or ambient parameters, e.g. temperature, pressure, rotor speed
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
- F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
- F05D2270/00—Control
- F05D2270/70—Type of control algorithm
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开了一种基于深强化学习的航空发动机控制方法,首先根据控制指令和反馈参数获得初始的燃油流量,然后根据预设的发动机物理限制对初步的燃油流量进行修正,最后按照修正后的燃油流量向航空发动机输入相应流量的燃油;所述根据控制指令和反馈参数获得初始的燃油流量,具体是通过深度强化学习网络实现。本发明还公开了一种基于深强化学习的航空发动机控制装置。相比现有技术,本发明采用深度增强学习方法来设计发动机控制器,使得发动机随学习时间增加,其响应速度不断提高,从而提高发动机响应速度。
Description
技术领域
本发明属于航空宇航推进理论与工程中的系统控制与仿真技术领域,具体涉及一种基于深强化学习的航空发动机控制方法、装置。
背景技术
航空发动机是一个多变量、强非线性、强耦合性、时滞的受控对象。随着发动机升级换代,如何在保证发动机安全稳定运行情况下,设计性能良好的发动机控制器变得越来越困难;而且,对于这样一个复杂多变的控制装置,没有必要的控制是不可能保证其正常工作的;此外,发动机的性能不仅与机械制造技术、材料特性和加工工艺的质量密切相关,而且与控制系统的质量密切相关;同时,发动机控制系统将减轻驾驶员操作的负担。因此,有必要研究如何设计具有高响应速度的航空发动机控制方法。
近年来,基于深度强化学习(Deep Reinforcement Learning,DRL)的控制方法,由于采用无模型、深层学习(Deep Learning,DL)等技术,该方法可以随着学习时间的延长,其智能化程度将越来越高,引起了许多研究者的研究兴趣。SuigEMA等人提出了一种基于强化学习(RL)算法的被动动态步行机器人控制器。Wang等人采用Q学习算法选择双足机器人在不平坦表面上行走的PD控制器参数。Ziqiang等人设计的基于BP神经网络的二维双足机器人Q学习控制器。Mnih等人提出了基于卷积神经网络的深度强化学习方法,并成功地从高维感觉输入中直接学习控制策略。Lillicrap等人提出了一个基于确定性策略梯度的无模型算法,该算法可以在连续动作空间上操作。Oh等人在Minecraft(一个灵活的3D世界)中引入了一组新的RL任务,并使用这些任务系统地比较和对比现有的DRL体系结构和基于内存的DLL体系结构。上述工作在DRL的应用方面取得了很大的控制效果。但目前尚未发现有人对DRL在发动机控制中的应用进行研究。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种基于深强化学习的航空发动机控制方法,采用深度增强学习方法来设计发动机控制器,使得发动机随学习时间增加,其响应速度不断提高,从而提高发动机响应速度。
本发明具体采用以下技术方案解决上述技术问题:
一种基于深强化学习的航空发动机控制方法,首先根据控制指令和反馈参数获得初始的燃油流量,然后根据预设的发动机物理限制对初步的燃油流量进行修正,最后按照修正后的燃油流量向航空发动机输入相应流量的燃油;所述根据控制指令和反馈参数获得初始的燃油流量,具体是通过深度强化学习网络实现,所述深度强化学习网络的动作值函数Qj(s,a)如下:
其中s是发动机状态,a是发动机的动作,α是深度强化学习的学习率,r是回报值,γ是回报衰减率,sj是第j时刻发动机状态,st是发动机目标状态;回报值rj的计算公式具体如下:
优选地,所述深度强化学习网络的输入为当前和过去的燃油流量Wfb、过去时刻风扇转子转速Nf、压气机转子转速Nc、风扇喘振裕度Smf、压气机喘振裕度Smc以及高压涡轮进口温度T41,所述深度强化学习网络的输出为动作值函数。
根据相同发明构思还可以得到以下技术方案:
一种基于深强化学习的航空发动机控制装置,包括:用于根据控制指令和反馈参数获得初始的燃油流量的控制器,用于根据预设的发动机物理限制对初步的燃油流量进行修正的限制选择单元;用于按照修正后的燃油流量向航空发动机输入相应流量的燃油的执行机构;所述控制器为深度强化学习网络,所述深度强化学习网络的动作值函数Qj(s,a)如下:
其中s是发动机状态,a是发动机的动作,α是深度强化学习的学习率,r是回报值,γ是回报衰减率,sj是第j时刻发动机状态,st是发动机目标状态;回报值rj的计算公式具体如下:
优选地,所述深度强化学习网络的输入为当前和过去的燃油流量Wfb、过去时刻风扇转子转速Nf、压气机转子转速Nc、风扇喘振裕度Smf、压气机喘振裕度Smc以及高压涡轮进口温度T41,所述深度强化学习网络的输出为动作值函数。
相比现有技术,本发明技术方案具有以下有益效果:
本发明首次将深度强化学习网络应用于航空发动机的直接推力控制,并根据航空发动机的特点设计相应的动作值函数,从而使得发动机随学习时间增加,其响应速度不断提高,从而提高发动机响应速度。
附图说明
图1为传统航空发动机控制系统的控制结构;
图2为本发明基于DRL的航空发动机控制系统结构;
图3为DNN的结构图;
图4为滚动滑动窗口;
图5为反向传播算法原理;
图6为推力响应曲线;
图7为燃油流量变化曲线;
图8为涡轮前温度响应曲线;
图9为风扇转子转速响应曲线;
图10为压气机转子转速响应曲线;
图11为风扇喘振裕度响应曲线;
图12为压气机喘振裕度响应曲线。
具体实施方式
图1和图2分别给出了传统航空发动机控制系统和本发明基于DRL的航空发动机控制系统的控制结构。如图1、图2所示,它们主要由控制器、加速度限制模块、减速限制模块、最小选择模块和最大选择模块组成。为了使发动机满足风扇和压气机的喘振裕度极限、风扇和压气机的转子转速极限、涡轮进口温度的温度极限和其他物理极限,加速限制模块计算燃油流量,减速限制模块计算燃油流量以避免贫油熄火现象控制器模块计算燃料流以获得期望的推力,最后所得燃油输入最小选择或最大选择模块进行高选或低选,保证发动机在满足各种限制约束的情况下,安全温度运行。传统的发动机控制系统通常采用比例积分(PI)或比例积分微分(PID)作为控制方法。而本发明则采用深度强化学习网络,强化学习将使发动机随着学习时间加长响应速度变得越来越快,为了提高RL的学习能力,采用深度神经网络(DNN)来估计RL的动作值函数。
本发明深度强化学习网络控制器的建立过程具体如下:
步骤1、确定深度神经网络的输入和输出,网络结构,并对深度神经网络进行初始化;
为了保持发动机的动态特性,提高模型的估计精度,输入选择当前和过去的燃油流量Wfb、过去时刻风扇转子转速Nf、压气机转子转速Nc、风扇喘振裕度Smf、压气机喘振裕度Smc以及高压涡轮进口温度T41,模型输出选动作值函数。DNN的输入和输出是:
由于发动机通常可以简化成具有两个自由度的对象,本发明m1,m2,…,m6都设置为2。
步骤2、根据油门杆指令、发动机输出响应计算得到增强学习的动作值函数;
增强学习是基于无模型的,根据基于Q表或DNN选择下一时刻输入,并不需要估计控制对象输入。航空发动机瞬态过程是一个强非线性过程,因此,选择增强学习来更新动作值函数,其中s是发动机状态,a是发动机的动作或控制输入动作值函数更新规则可以被描述为:
其中s是发动机状态,a是发动机的动作(或控制输入),α是深度强化学习的学习率,r是回报值,γ是回报衰减率,sj是第j时刻发动机状态,st是发动机目标状态;
为了使发动机从工作状态快速地响应到另一工作状态,设计回报只rj如下:
步骤3、对神经网络进行训练;
DNN是多输入多输出的非线性映射,可以描述如下:
y=fDNN(x) (4)
其中x是输入向量,y为输出向量。
DNN的结构如图3所示。DNN比传统的神经网络具有更深层的隐含层。DNN隐藏层的增加将提高DNN的拟合能力。DNN的每个隐藏层定义为:
al+1=Wlhl+bl (5)
hl+1=σ(al+1) (6)
传统的在线深层神经网络每次迭代只选取一个数据点计算梯度,具有较好的实时性。然而,只选择一个训练点对噪声敏感,而且不是最好的梯度方向选择。因此,为了提高神经网络的鲁棒性,如图4所示,将在线滑动窗口深度神经网络(On Line Sliding WindowDeep Neural Network,OL-SW-DNN)应用于控制器设计。在训练数据的每次迭代中,OL-SW-DNN选择长度L的最近点数据。OL-SW-DNN的损耗函数描述为:
在每次迭代计算,W和b更新如下:
W,b的梯度更新如下:
其中δl为:
其中nnet为网络层数。
步骤4、计算得到使得动作值函数最大的燃油流量;
步骤5、根据深强化学习、加速、减速算得燃油进行高低选择得到燃油流量,并输入到发动机,得出响应输入,判断发动机是否达到目标值,如果达到则停止,否则返回步骤2。
为验证本发明技术方案的效果,将本发明方法与现有PID方法进行仿真比对。本发明方法与PID的仿真环境都在发动机工作在高度H=0km、马赫数Ma=0时的标准大气状态。发动机加速过程是瞬态过程中非线性最强的过程,因此,选择加速过程作为这两种方法的仿真过程。加速起点是油门杆角度PLA=20°时发动机的稳定工作状态,加速终点是PLA=70°时发动机对应的稳定工作状态。本发明方法和PID的仿真结果如图6~图12所示。图中发动机的参数已经归一化。通过调试,选择了OL-SW-DNN的结构为[13,15,12,10,10,1]。神经网络的学习率α=0.00002。动量因子η=0.6,L=25。
如图6所示,在所提出的方法和PID中,推力增加到设计点的95%的时间分别为3.7秒和5.225秒。结果表明,该方法比PID,加速时间减少了1.525秒。主要原因是DRL将从历史中吸取经验,使发动机变得越来越智能化。此外,OLS-SW-DNN具有较强的拟合能力,使得所提出的方法具有更强的学习能力。
如图12所示,在发动机的加速过程中,工作点沿喘振极限移动,沿喘振限制线在发动机理论中是最快的路线。如图8~11所示,当在发动机加速过程中应用所提出的方法时,发动机并无超温、超速或发生喘振等现象。结果表明,该控制方法具有较高的控制精度和响应速度。
Claims (4)
2.如权利要求1所述基于深强化学习的航空发动机控制方法,其特征在于,所述深度强化学习网络的输入为当前和过去的燃油流量Wfb、过去时刻风扇转子转速Nf、压气机转子转速Nc、风扇喘振裕度Smf、压气机喘振裕度Smc以及高压涡轮进口温度T41,所述深度强化学习网络的输出为动作值函数。
4.如权利要求3所述基于深强化学习的航空发动机控制装置,其特征在于,所述深度强化学习网络的输入为当前和过去的燃油流量Wfb、过去时刻风扇转子转速Nf、压气机转子转速Nc、风扇喘振裕度Smf、压气机喘振裕度Smc以及高压涡轮进口温度T41,所述深度强化学习网络的输出为动作值函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010328588.9A CN111486009A (zh) | 2020-04-23 | 2020-04-23 | 一种基于深强化学习的航空发动机控制方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010328588.9A CN111486009A (zh) | 2020-04-23 | 2020-04-23 | 一种基于深强化学习的航空发动机控制方法、装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111486009A true CN111486009A (zh) | 2020-08-04 |
Family
ID=71792737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010328588.9A Withdrawn CN111486009A (zh) | 2020-04-23 | 2020-04-23 | 一种基于深强化学习的航空发动机控制方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111486009A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111965981A (zh) * | 2020-09-07 | 2020-11-20 | 厦门大学 | 一种航空发动机强化学习控制方法及系统 |
CN112241123A (zh) * | 2020-10-23 | 2021-01-19 | 南京航空航天大学 | 基于深度强化学习的航空发动机加速控制方法 |
CN113404596A (zh) * | 2021-06-15 | 2021-09-17 | 西安交通大学 | 一种航空发动机加速控制计划的融合控制方法 |
CN114675535A (zh) * | 2022-03-07 | 2022-06-28 | 大连理工大学 | 一种基于强化学习的航空发动机过渡态寻优控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190073765A1 (en) * | 2017-09-07 | 2019-03-07 | Siemens Healthcare Gmbh | Smart imaging using artificial intelligence |
US20190139092A1 (en) * | 2011-04-19 | 2019-05-09 | Jagadeshwar Nomula | Advanced techniques to improve content presentation experiences for businesses and users |
US20190172230A1 (en) * | 2017-12-06 | 2019-06-06 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction with deep reinforcement learning |
CN110195660A (zh) * | 2019-06-19 | 2019-09-03 | 南京航空航天大学 | 基于深度q学习的航空发动机控制装置 |
CN110516394A (zh) * | 2019-09-02 | 2019-11-29 | 南京航空航天大学 | 基于深度神经网络的航空发动机稳态模型建模方法 |
-
2020
- 2020-04-23 CN CN202010328588.9A patent/CN111486009A/zh not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190139092A1 (en) * | 2011-04-19 | 2019-05-09 | Jagadeshwar Nomula | Advanced techniques to improve content presentation experiences for businesses and users |
US20190073765A1 (en) * | 2017-09-07 | 2019-03-07 | Siemens Healthcare Gmbh | Smart imaging using artificial intelligence |
US20190172230A1 (en) * | 2017-12-06 | 2019-06-06 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction with deep reinforcement learning |
CN110195660A (zh) * | 2019-06-19 | 2019-09-03 | 南京航空航天大学 | 基于深度q学习的航空发动机控制装置 |
CN110516394A (zh) * | 2019-09-02 | 2019-11-29 | 南京航空航天大学 | 基于深度神经网络的航空发动机稳态模型建模方法 |
Non-Patent Citations (1)
Title |
---|
QIANGANG ZHENG,CHONGWEN JIN,ZHONGZHI HU,AND HAIBO ZHANG: ""A Study of Aero-Engine Control Method Based on Deep Reinforcement Learning",QIANGANG ZHENG,CHONGWEN JIN,ZHONGZHI HU,AND HAIBO ZHANG,IEEE Access,7,55285-55289,20190506", 《IEEE ACCESS》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111965981A (zh) * | 2020-09-07 | 2020-11-20 | 厦门大学 | 一种航空发动机强化学习控制方法及系统 |
CN111965981B (zh) * | 2020-09-07 | 2022-02-22 | 厦门大学 | 一种航空发动机强化学习控制方法及系统 |
CN112241123A (zh) * | 2020-10-23 | 2021-01-19 | 南京航空航天大学 | 基于深度强化学习的航空发动机加速控制方法 |
CN112241123B (zh) * | 2020-10-23 | 2022-05-03 | 南京航空航天大学 | 基于深度强化学习的航空发动机加速控制方法 |
CN113404596A (zh) * | 2021-06-15 | 2021-09-17 | 西安交通大学 | 一种航空发动机加速控制计划的融合控制方法 |
CN113404596B (zh) * | 2021-06-15 | 2022-05-06 | 西安交通大学 | 一种航空发动机加速控制计划的融合控制方法 |
CN114675535A (zh) * | 2022-03-07 | 2022-06-28 | 大连理工大学 | 一种基于强化学习的航空发动机过渡态寻优控制方法 |
CN114675535B (zh) * | 2022-03-07 | 2024-04-02 | 大连理工大学 | 一种基于强化学习的航空发动机过渡态寻优控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111486009A (zh) | 一种基于深强化学习的航空发动机控制方法、装置 | |
CN110195660B (zh) | 基于深度q学习的航空发动机控制装置 | |
CN109162813B (zh) | 一种基于迭代学习修正的航空发动机智能转速控制方法 | |
CN108762089B (zh) | 一种基于模型预测的航空发动机在线优化及多变量控制设计方法 | |
CN110219736B (zh) | 基于非线性模型预测控制的航空发动机直接推力控制方法 | |
CN108803336B (zh) | 一种航空发动机自适应lqg/ltr控制器设计方法 | |
An et al. | Sliding mode disturbance observer-enhanced adaptive control for the air-breathing hypersonic flight vehicle | |
Zheng et al. | A study of aero-engine control method based on deep reinforcement learning | |
CN111594322B (zh) | 一种基于Q-Learning的变循环航空发动机推力控制方法 | |
CN112286047B (zh) | 基于神经网络的narma-l2多变量控制方法 | |
Durmaz et al. | Sliding mode control for non-linear systems with adaptive sliding surfaces | |
CN110516395A (zh) | 一种基于非线性模型预测的航空发动机控制方法 | |
CN113377121A (zh) | 一种基于深度强化学习的飞行器智能抗扰动控制方法 | |
CN112241123A (zh) | 基于深度强化学习的航空发动机加速控制方法 | |
Liang et al. | Kalman-filter-based robust control for hypersonic flight vehicle with measurement noises | |
CN111679576A (zh) | 一种基于改进确定性策略梯度算法的变循环发动机控制器设计方法 | |
CN113485117B (zh) | 基于输入输出信息的航空发动机多变量强化学习控制方法 | |
CN114326405A (zh) | 一种基于误差训练的神经网络反步控制方法 | |
Fadel et al. | Motion control of an aircraft electro-hydraulic servo actuator | |
CN110985216A (zh) | 一种含在线修正的航空发动机智能多变量控制方法 | |
CN112231835A (zh) | 综合推力性能和偏转效率的矢量喷管出口面积优化方法 | |
CN108803342B (zh) | 一种单元机组负荷快速响应预测控制方法 | |
CN106597847B (zh) | 一种基于递归神经网络的机动载荷控制器及其控制方法 | |
CN114115256A (zh) | 一种基于云模型的船舶航向控制方法 | |
CN113126498A (zh) | 基于分布式强化学习的优化控制系统和控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200804 |