CN111594322B - 一种基于Q-Learning的变循环航空发动机推力控制方法 - Google Patents

一种基于Q-Learning的变循环航空发动机推力控制方法 Download PDF

Info

Publication number
CN111594322B
CN111594322B CN202010502785.8A CN202010502785A CN111594322B CN 111594322 B CN111594322 B CN 111594322B CN 202010502785 A CN202010502785 A CN 202010502785A CN 111594322 B CN111594322 B CN 111594322B
Authority
CN
China
Prior art keywords
variable
thrust
cycle
engine
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010502785.8A
Other languages
English (en)
Other versions
CN111594322A (zh
Inventor
齐义文
张弛
黄捷
项松
刘远强
于文科
陈禹西
岳文豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Promotion Suzhou Aerospace Technology Co ltd
Original Assignee
Shenyang Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aerospace University filed Critical Shenyang Aerospace University
Priority to CN202010502785.8A priority Critical patent/CN111594322B/zh
Publication of CN111594322A publication Critical patent/CN111594322A/zh
Application granted granted Critical
Publication of CN111594322B publication Critical patent/CN111594322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02C—GAS-TURBINE PLANTS; AIR INTAKES FOR JET-PROPULSION PLANTS; CONTROLLING FUEL SUPPLY IN AIR-BREATHING JET-PROPULSION PLANTS
    • F02C9/00—Controlling gas-turbine plants; Controlling fuel supply in air- breathing jet-propulsion plants
    • F02C9/26—Control of fuel supply
    • F02C9/28—Regulating systems responsive to plant or ambient parameters, e.g. temperature, pressure, rotor speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00—Control
    • F05D2270/01—Purpose of the control system
    • F05D2270/05—Purpose of the control system to affect the output of the engine
    • F05D2270/051—Thrust
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00—Control
    • F05D2270/01—Purpose of the control system
    • F05D2270/10—Purpose of the control system to cope with, or avoid, compressor flow instabilities
    • F05D2270/101—Compressor surge or stall
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00—Control
    • F05D2270/30—Control parameters, e.g. input parameters
    • F05D2270/303—Temperature
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00—Control
    • F05D2270/30—Control parameters, e.g. input parameters
    • F05D2270/304—Spool rotational speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05D—INDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00—Control
    • F05D2270/70—Type of control algorithm
    • F05D2270/708—Type of control algorithm with comparison tables
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种基于Q‑Learning的变循环航空发动机推力控制方法，属于航空发动机控制与仿真技术领域，该方法包括：通过Q学习方法建立变循环航空发动机的动作值函数，根据控制指令和反馈参数，结合ε‑贪婪策略，得到适宜的变循环航空发动机燃油流量；进一步，按所述燃油流量对变循环航空发动机推力进行控制，并根据系统的反馈更新动作值函数。本发明采用Q‑Learning方法构建变循环航空发动机推力控制器，且随着训练次数的增加，发动机动态、稳态特性逐步提升，可显著提高发动机性能。此外，Q‑Learning控制器可不断累积经验，对不同的控制指令或推力要求，迅速调整燃油流量，实现具有自主学习能力的变循环航空发动机快速、稳定控制。

Description

一种基于Q-Learning的变循环航空发动机推力控制方法
技术领域
本发明属于航空发动机控制与仿真技术领域，具体涉及了一种基于Q-Learning的变循环航空发动机推力控制方法。
背景技术
变循环航空发动机通过改变发动机某些可变几何部件的尺寸、形状、位置来改变发动机的循环参数，提高发动机推进系统的整体性能。同时，变循环航空发动机又兼具多种工作模式，在亚音速、跨音速、超音速及高超音速工况下都能表现出较好的性能。但一个快速、准确、稳定且具有一定自主学习能力的控制系统是保证发动机整体性能的前提条件，而如PID控制、自抗扰控制、模糊控制等传统控制方法对于变循环航空发动机这一类具有强非线性、多变量、多工种模式等特性的复杂系统，难以在全包线和变工况下达到具有自主学习能力理想的控制效能。此外，传统控制技术对复杂系统难以满足控制精度要求、对于强非线性系统鲁棒性较差、响应速度慢等缺点。因此，探索其他性能更优异的控制方法变得十分重要。
近年来，人工智能技术发展迅速，已被广泛应用到生产生活中的诸多领域，如图像处理、无人驾驶、智能机器人等，也带动了机器学习这一重要的技术分支，而强化学习作为机器学习的重要内容，受到了广大科技者的青睐。目前，强化学习技术多被应用于搜索与优化问题的求解，从经典的倒立摆问题到机器人路径寻优等问题中均有体现。然而，强化学习方法在控制领域并不多见。从强化学习原理出发，控制器也可以实现智能体的试错功能，模型反馈的一系列参数可作为控制器的状态输入变量。最重要的一点是，奖励可以根据需求人为设定，进一步满足更高的控制性能要求。综上所述，强化学习算法可在包括航空发动机控制等自动控制领域发挥重要作用。
发明内容
针对现有技术存在的不足，本发明提供一种基于Q-Learning算法的变循环航空发动机推力控制方法，实现具有强非线性、多变量、多模式的变循环发动机快速、稳定控制，使得发动机随训练次数增加，其控制系统动态、稳态特性不断增强，从而提高发动机的整体性能。为解决上述技术问题，本发明采用如下技术方案：
一种基于Q-Learning的变循环航空发动机推力控制方法，具体实现步骤为：
步骤1：基于变循环航空发动机仿真模型建立Q-Learning推力控制器，以仿真模型作为训练环境，创建二维表(Q表)对动作值函数Q(s，a)进行表示，其中，s为变循环航空发动机状态参数，a为燃油流量；
步骤2：确定变循环航空发动机推力控制器当前时刻燃油流量at；
步骤2.1：获取变循环航空发动机当前的状态，计算变循环航空发动机当前时刻状态参数st；
步骤2.2：将所述变循环航空发动机当前时刻状态参数st与燃油流量a作为Q表输入，查找所有可选择的燃油流量a的价值，即Q值，利用ε-贪婪策略计算控制器输出，即当前时刻燃油流量at；
步骤3：将所述当前时刻燃油流量at分配至变循环航空发动机推力控制器，实现变循环航空发动机的推力控制；
步骤4：更新动作值函数Q(s，a)；
步骤4.1：获取变循环航空发动机下一时刻状态参数st+1，计算延时奖励Rt+1；
步骤4.2：根据所述延时奖励Rt+1对Q表在s＝st，a＝at处的值，即Q(st，at)进行更新；
步骤5：使用窗口平均方法计算控制获得的平均奖励值
Figure GDA0003623293430000021
若所述平均奖励值
Figure GDA0003623293430000022
小于设定的目标奖励值，令st＝st+1，跳转至步骤2，进行迭代；否则，迭代结束，完成变循环航空发动机推力控制器训练。
进一步地，所述步骤1中Q表大小为n×m，n为离散化后的状态总数，m为离散化的动作总数；Q表使用变循环航空发动机状态参数s与燃油流量a作为索引，输出状态s下执行a的Q值。
进一步地，所述步骤2.1中变循环航空发动机当前时刻状态参数包括：目标推力、目标推力与实际推力差值、目标推力与实际推力差值的导数、高压转子转速、低压转子转速，经过离散化后获得当前时刻状态参数st。
进一步地，所述步骤2.2中利用的ε-贪婪策略如下：
Figure GDA0003623293430000023
其中，random a是在设定的动作集合中随机选择燃油流量控制指令，
Figure GDA0003623293430000024
是选择使Q(st，a)值最大的燃油流量a，rand是随机数，ε是随机因子，可通过改变ε大小来改变燃油流量指令的随机性。
进一步地，所述步骤4.1中延时奖励Rt+1由目标推力与实际推力差值决定，其值的大小遵循所述目标推力与实际推力差值的绝对值越小奖励越高的原则。
进一步地，所述步骤4.2中Q表的单点Q(st，at)更新规则具体如下：
Figure GDA0003623293430000031
其中，st是变循环航空发动机在当前时刻状态参数，at是当前时刻燃油流量，st+1是变循环航空发动机下一时刻状态参数，at+1是下一时刻燃油流量，Rt+1是变循环航空发动机推力控制器在st下执行at操作后，进入下一时刻状态st+1得到的延时奖励；α是学习率，γ是衰减因子，α决定了动作值函数更新时对当前时刻Q(st，at)值的保留程度，α和γ共同决定了动作值函数更新时对Q(st+1，at+1)的学习程度；is_end为更新停止标志，当反馈推力不在限定范围内、单轮仿真结束或发动机参数超过安全限制时触发更新停止条件。
进一步地，使用与Q-Learning控制器串联的加速和减速限制模块，用于限制发动机各安全参数的输出值，以确保变循环航空发动机安全运行。
进一步地，所述加速和减速限制模块包含高低压转子转速限制、涡轮前温度限制、风扇、核心机风扇与高压压气机风扇喘振裕度限制；若所述高低压转子转速、涡轮前温度、风扇、核心机风扇与高压压气机风扇喘振裕度超出安全限制，则控制器会获得较大负奖励并重新启动仿真训练Q表，避免Q表学习无效经验；在训练过程中该模块可限制控制器输出，使变循环航空发动机性能参数维持在安全范围内。
本发明的有益技术效果：
本发明提出将Q-Learning技术应用于变循环航空发动机推力控制，来解决传统控制技术对复杂系统难以满足控制精度要求、对于强非线性系统鲁棒性较差、响应速度慢、不具备或自主学习能力差等缺点。所述一种基于Q-Learning算法的变循环航空发动机推力控制方法具有经验积累和自主学习能力，使发动机动态、稳态性能随着训练次数的增加而不断提高，从而提高发动机的整体性能，并在变指令下，仍保证高水平的发动机整体控制性能。此外，Q-Learning控制器可不断累积经验，对不同的控制指令或推力要求，迅速调整燃油流量，实现具有自主学习能力的变循环航空发动机的快速、稳定控制。
附图说明
图1为本发明实施例提供的一种基于Q-Learning的变循环航空发动机推力控制方法流程图；
图2为传统PID变循环航空发动机推力控制架构；
图3为本发明实施例提供的基于Q-Learning的变循环航空发动机推力控制架构；
图4为本发明实施例提供的Q-Learning控制器整体结构图；
图5为本发明实施例提供的Q表结构图；
图6为本发明实施例提供的两种控制方法下的发动机推力稳态控制比较结果；
图7为本发明实施例提供的两种控制方法下的发动机推力变指令控制比较结果。
具体实施方式
对于现有传统控制技术对复杂系统难以满足控制精度要求、对于强非线性系统鲁棒性较差、响应速度慢、不具备或自主学习能力差等缺点，本发明的解决思路是将Q-Learning应用于变循环航空发动机推力控制，采用Q-Learning方法构建具有自主学习能力的推力控制器，使发动机随训练次数的增加，其动态、稳态特性不断提高，进一步提高发动机整体性能。
为易于公众理解，下面结合附图来对本发明的技术方案进行详细说明：
一种基于Q-Learning的变循环航空发动机推力控制方法，包括：
加速和减速限制模块，与Q-Learning控制器串联，用于限制发动机各安全参数的输出值，以确保变循环航空发动机安全运行。
所述加速和减速限制模块包含高低压转子转速限制、涡轮前温度限制、风扇、核心机风扇与高压压气机风扇喘振裕度限制；若所述高低压转子转速、涡轮前温度、风扇、核心机风扇与高压压气机风扇喘振裕度超出安全限制，则控制器会获得较大负奖励并重新启动仿真训练Q表，避免Q表学习无效经验；在训练过程中该模块可限制控制器输出，使变循环航空发动机性能参数维持在安全范围内。
Q-Learning控制器，用于根据反馈参数及控制指令，得到对应的变循环航空发动机的燃油流量输入。图4为本发明实施例提供的Q-Learning控制器整体结构图。
图1为Q-Learning控制方法流程图，环境将状态参数送至Q表，Q表输出当前状态对应的全部Q值，根据ε-贪婪策略输出动作，环境进入下一状态并返回奖励，更新Q表。图2和图3分别给出了基于传统PID控制方法的变循环发动机推力控制架构与本发明基于Q-Learning方法的变循环航空发动机推力控制架构。如图2所示，传统控制系统主要由PID控制器、加减速限制保护模块、执行机构三部分组成。如图3所示，本发明控制系统则是由Q-Learning控制器、限制模块与执行机构三部分组成。传统控制系统中，由于发动机受喘振裕度、温度、压力等条件影响，引入加减速限制确保发动机安全运行在包线内部。在本发明中，为避免超温、超压等影响发动机正常运行的现象发生，通过限制模块直接对燃油流量加以限值保护。在传统发动机控制系统中，常以PID作为主要控制器结构，但所设计的固定控制增益对变化的内外影响的适应性仍显不足，响应速度也受到影响。
为此，本发明一种基于Q-Learning的变循环航空发动机推力控制方法，具体实现步骤为：
步骤1：基于变循环航空发动机仿真模型建立Q-Learning推力控制器，以仿真模型作为训练环境，创建二维表(Q表)对动作值函数Q(s，a)进行表示，其中，s为变循环航空发动机状态参数，a为燃油流量。
本实施例中，变循环航空发动机仿真模型包括彭利方(2016)在《变循环发动机建模与非线性控制方法研究》中第3章构建的变循环航空发动机模型，具体包括第3.2节中构建的前段风扇叶根叶尖模型、模式选择活门与外涵流量关系、各部件静子叶片角度调节引起的特性曲线变化以及第3.3节中构建的部件模型，详见：彭利方.变循环发动机建模与非线性控制方法研究[D].南京航空航天大，2016。本实施例中，变循环航空发动机仿真模型输入包括大气环境参数、各静子导流叶片角度、模式选择活门开度、主燃油流量、尾喷口面积；输出包括推力、高低压转子转速(包括换算转速及实际转速)、各级压比、流量、压力。
所述步骤1中Q表大小为n×m，n为离散化后的状态总数，m为离散化的动作总数，在本发明实施例中n为27225，m为11；Q表使用变循环航空发动机状态参数s与燃油流量a作为索引，输出状态s下执行a的Q值。图5为本发明实施例提供的Q表结构图。
步骤2：确定变循环航空发动机推力控制器当前时刻燃油流量at；
步骤2.1：获取变循环航空发动机当前的状态，计算变循环航空发动机当前时刻状态参数st；
所述步骤2.1中变循环航空发动机当前时刻状态参数包括：目标推力、目标推力与实际推力差值、目标推力与实际推力差值的导数、高压转子转速、低压转子转速，经过离散化后获得当前时刻状态参数st。
由于算法本身限制，需将输入的状态参数st以及输出的燃油流量指令进行离散化处理，划分区间参考各变量示波器的显示范围，具体划分如下：
目标推力(标幺处理后)：(0，0.625]、(0.625，0.875]、(0.625，0.875]、(0.875，1.000]、(1.000，1.125]、(1.125，1.375]、(1.375，1.625]、(1.625，1.750]、(1.750，1.875]、(1.875，2.375]、(2.375，5]，共划分为以上11个状态区间。
目标推力与实际推力差值(标幺处理后)：(-5，-0.375]、(-0.375，-0.250]、(-0.250，-0.125]、(-0.125，-0.0625]、(-0.0625，-0.025]、(-0.025，0.025]、(0.025，0.0625]、(0.0625，0.125]、(0.125，0.250]、(0.250，0.375]、(0.375，5]，共划分为以上11个状态区间。
目标推力与实际推力差值的导数(标幺处理后)：(-10，-0.375]、(-0.375，-0.125]、(-0.125，-0.0625]、(-0.0625，-0.0125]、(-0.0125，0.0125]、(0.0125，0.0625]、(0.0625，0.125]、(0.125，0.375]、(0.375，10]，共划分为以上9个状态区间。
高压转子转速(标幺处理后)：(0，1.525]、(1.525，1.550]、(1.550，1.575]、(1.575，1.600]、(1.600，2]，共划分为以上5个状态区间。
低压转子转速(标幺处理后)：(0，1.0125]、(1.0125，1.0375]、(1.0375，1.0500]、(1.0500，1.0625]、(1.0625，2]，共划分为以上5个状态区间。
综上，五个参数变量共对应27225种可能出现的状态。
燃油流量指令离散化为0.30、0.34、0.38、0.42、0.44、0.46、0.50、0.54、0.58、0.62、0.65，共11个动作。
步骤2.2：将所述变循环航空发动机当前时刻状态参数st与燃油流量a作为Q表输入，查找所有可选择的燃油流量a的价值，即Q值，利用ε-贪婪策略计算控制器输出，即当前时刻燃油流量at；
所述步骤2.2中利用的ε-贪婪策略如下：
Figure GDA0003623293430000061
其中，random a是在设定的动作集合中随机选择燃油流量控制指令，即从离散化后的11个燃油流量指令中随机选取一个作为当前动作；
Figure GDA0003623293430000062
是选择使Q(st，a)值最大的燃油流量a；rand是值在0～1之间的随机数；ε是随机因子，可通过改变ε大小来改变燃油流量指令的随机性。
在训练初期，为增加控制器探索率，将所述随机因子ε置为一个稍大的值，本发明选取探索率初值为0.3，待控制器收敛至当前的正奖励误差范围内，减小随机因子至0.2，调整正奖励触发范围，继续训练至控制器收敛，依此类推。当控制器满足控制精度需求时，需将随机因子置0后投入使用，使发动机完全按照现有经验实现控制任务。
步骤3：将所述当前时刻燃油流量at分配至变循环航空发动机推力控制器，实现变循环航空发动机的推力控制；
步骤4：更新动作值函数Q(s，a)；
步骤4.1：获取变循环航空发动机下一时刻状态参数st+1，计算延时奖励Rt+1；
所述步骤4.1中延时奖励Rt+1由目标推力与实际推力差值决定，其值的大小遵循所述目标推力与实际推力差值的绝对值越小奖励越高的原则。
因此，所述延时奖励的设计直接关系到控制器的收敛效果与控制精度。在控制器训练初期，如果把正奖励的触发条件设置非常严格，将会导致控制器难收敛甚至不收敛，严重影响训练速度。所以，在训练初期，正奖励的触发条件为推力误差在0～0.25范围内(标幺处理后)，当控制器收敛于触发正奖励的误差范围内，保存当前Q表，并在此基础上规范正奖励触发条件，以此类推，逐步提高控制器精度，改善控制效果，最终规范正奖励触发条件为推力误差在0～0.05范围内(标幺处理后)，继续训练直到达到控制目标。
步骤4.2：根据所述延时奖励Rt+1对Q表在s＝st，a＝at处的值，即Q(st，at)进行更新；
所述步骤4.2中Q表的单点Q(st，at)更新规则具体如下：
Figure GDA0003623293430000071
其中，st是变循环航空发动机在当前时刻状态参数，at是当前时刻燃油流量，st+1是变循环航空发动机下一时刻状态参数，at+1是下一时刻燃油流量，Rt+1是变循环航空发动机推力控制器在st下执行at操作后，进入下一时刻状态st+1得到的延时奖励；α是学习率，取值为0.9；γ是衰减因子，取值为0.6；α决定了动作值函数更新时对当前时刻Q(st，at)值的保留程度，α和γ共同决定了动作值函数更新时对Q(st+1，at+1)的学习程度；is_end为更新停止标志，当反馈推力不在限定范围内、单轮仿真结束或发动机参数超过安全限制时触发更新停止条件。
步骤5：使用窗口平均方法计算控制获得的平均奖励值
Figure GDA0003623293430000072
若所述平均奖励值
Figure GDA0003623293430000073
小于设定的目标奖励值，令st＝st+1，跳转至步骤2，进行迭代；否则，迭代结束，完成变循环航空发动机推力控制器训练。
在实际应用中，将已训练完成的Q表输入到变循环航空发动机推力的控制程序中，以实现对变循环航空发动机推力的实际控制。
步骤6：仿真验证Q-Learning控制器效果。
将步骤5得到的Q表投入仿真测试中，并与传统PID控制方法进行比较，比较结果分别如图6、图7所示。图6为稳态工况下，推力要求为1.625(标幺化处理后)的对比结果，两种控制器有明显波动段为控制器介入段，经比较可发现Q-Learning控制器无论是从动态响应速度还是稳态精度均优于PID控制器，且超调量远小于PID控制器。
进一步地，对两种控制器在100s时进行如图7所示的变指令测试，将目标推力改为1.875，实验结果再次验证了Q-Learning控制器控制效果明显优于传统PID控制器。
由此可见，强化学习方法应用于发动机控制可以获得良好的控制性能。上述实验结果均验证了本发明优于传统PID控制方法的发动机动态、稳态特性，明显提高了控制器的快速性、稳定性，显著提高了发动机性能。

Claims (8)

1.一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：包括以下步骤：
步骤1：基于变循环航空发动机仿真模型建立Q-Learning推力控制器，以仿真模型作为训练环境，创建二维表Q表对动作值函数Q(s,a)进行表示，其中，s为变循环航空发动机状态参数，a为燃油流量；
步骤2：确定变循环航空发动机推力控制器当前时刻燃油流量at；
步骤2.1：获取变循环航空发动机当前的状态，计算变循环航空发动机当前时刻状态参数st；
步骤2.2：将所述变循环航空发动机当前时刻状态参数st与燃油流量a作为Q表输入，查找所有可选择的燃油流量a的价值，即Q值，利用ε-贪婪策略计算控制器输出，即当前时刻燃油流量at；
步骤3：将所述当前时刻燃油流量at分配至变循环航空发动机推力控制器，实现变循环航空发动机的推力控制；
步骤4：更新动作值函数Q(s,a)；
步骤4.1：获取变循环航空发动机下一时刻状态参数st+1，计算延时奖励Rt+1；
步骤4.2：根据所述延时奖励Rt+1对Q表在s＝st，a＝at处的值，即Q(st,at)进行更新；
步骤5：使用窗口平均方法计算控制获得的平均奖励值
Figure FDA0003623293420000011
若所述平均奖励值
Figure FDA0003623293420000012
小于设定的目标奖励值，令st＝st+1，跳转至步骤2，进行迭代；否则，迭代结束，完成变循环航空发动机推力控制器训练。
2.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤1中Q表大小为n×m，n为离散化后的状态总数，m为离散化的动作总数；Q表使用变循环航空发动机状态参数s与燃油流量a作为索引，输出状态s下执行a的Q值。
3.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤2.1中变循环航空发动机当前时刻状态参数包括：目标推力、目标推力与实际推力差值、目标推力与实际推力差值的导数、高压转子转速、低压转子转速，经过离散化后获得当前时刻状态参数st。
4.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤2.2中利用的ε-贪婪策略如下：
Figure FDA0003623293420000013
其中，random a是在设定的动作集合中随机选择燃油流量控制指令，
Figure FDA0003623293420000021
是选择使Q(st,a)值最大的燃油流量a，rand是随机数，ε是随机因子，可通过改变ε大小来改变燃油流量指令的随机性。
5.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤4.1中延时奖励Rt+1由目标推力与实际推力差值决定，其值的大小遵循所述目标推力与实际推力差值的绝对值越小奖励越高的原则。
6.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述步骤4.2中Q表的单点Q(st,at)更新规则具体如下：
Figure FDA0003623293420000022
其中，st是变循环航空发动机在当前时刻状态参数，at是当前时刻燃油流量，st+1是变循环航空发动机下一时刻状态参数，at+1是下一时刻燃油流量，Rt+1是变循环航空发动机推力控制器在st下执行at操作后，进入下一时刻状态st+1得到的延时奖励；α是学习率，γ是衰减因子，α决定了动作值函数更新时对当前时刻Q(st,at)值的保留程度，α和γ共同决定了动作值函数更新时对Q(st+1,at+1)的学习程度；is_end为更新停止标志，当反馈推力不在限定范围内、单轮仿真结束或发动机参数超过安全限制时触发更新停止条件。
7.根据权利要求1所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：使用与Q-Learning控制器串联的加速和减速限制模块，用于限制发动机各安全参数的输出值，以确保变循环航空发动机安全运行。
8.根据权利要求7所述的一种基于Q-Learning的变循环航空发动机推力控制方法，其特征在于：所述加速和减速限制模块包含高低压转子转速限制、涡轮前温度限制、风扇、核心机风扇与高压压气机风扇喘振裕度限制；若所述高低压转子转速、涡轮前温度、风扇、核心机风扇与高压压气机风扇喘振裕度超出安全限制，则控制器会获得较大负奖励并重新启动仿真训练Q表，避免Q表学习无效经验；在训练过程中该模块可限制控制器输出，使变循环航空发动机性能参数维持在安全范围内。
CN202010502785.8A 2020-06-05 2020-06-05 一种基于Q-Learning的变循环航空发动机推力控制方法 Active CN111594322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010502785.8A CN111594322B (zh) 2020-06-05 2020-06-05 一种基于Q-Learning的变循环航空发动机推力控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502785.8A CN111594322B (zh) 2020-06-05 2020-06-05 一种基于Q-Learning的变循环航空发动机推力控制方法

Publications (2)

Publication Number Publication Date
CN111594322A CN111594322A (zh) 2020-08-28
CN111594322B true CN111594322B (zh) 2022-06-03

Family

ID=72182157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502785.8A Active CN111594322B (zh) 2020-06-05 2020-06-05 一种基于Q-Learning的变循环航空发动机推力控制方法

Country Status (1)

Country Link
CN (1) CN111594322B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111965981B (zh) * 2020-09-07 2022-02-22 厦门大学 一种航空发动机强化学习控制方法及系统
CN112904715B (zh) * 2021-01-14 2023-04-07 西北工业大学 一种变循环发动机加速过程最优控制方法
CN113343592B (zh) * 2021-07-28 2023-11-17 辽宁锐翔通用飞机制造有限公司 一种新能源飞机的永磁同步电机dqn智能控制方法
EP4191463A1 (en) 2021-12-03 2023-06-07 The MathWorks, Inc. Systems and methods for rescaling executable simulation models
CN114620819B (zh) * 2022-03-01 2023-03-28 红云红河烟草(集团)有限责任公司 一种卷烟异味气体喷淋水洗循环水pH值调节方法
CN114876648A (zh) * 2022-04-18 2022-08-09 中国航发沈阳发动机研究所 一种航空发动机喷口面积控制的pid平衡位置补偿方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018059491A (ja) * 2016-10-03 2018-04-12 根本　勇 超高バイパス比可変サイクルターボファンの流量制御法
CN109472062A (zh) * 2018-10-18 2019-03-15 南京航空航天大学 一种变循环发动机自适应部件级仿真模型构建方法
CN110195660A (zh) * 2019-06-19 2019-09-03 南京航空航天大学 基于深度q学习的航空发动机控制装置
CN110259583A (zh) * 2019-07-19 2019-09-20 中国航发沈阳发动机研究所 双外涵变循环航空发动机及其功率的控制方法、控制器
CN110378439A (zh) * 2019-08-09 2019-10-25 重庆理工大学 基于Q-Learning算法的单机器人路径规划方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018059491A (ja) * 2016-10-03 2018-04-12 根本　勇 超高バイパス比可変サイクルターボファンの流量制御法
CN109472062A (zh) * 2018-10-18 2019-03-15 南京航空航天大学 一种变循环发动机自适应部件级仿真模型构建方法
CN110195660A (zh) * 2019-06-19 2019-09-03 南京航空航天大学 基于深度q学习的航空发动机控制装置
CN110259583A (zh) * 2019-07-19 2019-09-20 中国航发沈阳发动机研究所 双外涵变循环航空发动机及其功率的控制方法、控制器
CN110378439A (zh) * 2019-08-09 2019-10-25 重庆理工大学 基于Q-Learning算法的单机器人路径规划方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
变循环发动机模式转换调节计划仿真研究;张荣等;《测控技术》;20110218(第02期);第47-50页 *
变循环发动机部件级建模技术;苟学中等;《航空动力学报》;20130114(第01期);第104-111页 *
基于常规涡扇发动机发展变循环发动机的研究;陈仲光等;《沈阳航空航天大学学报》;20130625(第03期);第10-13页 *

Also Published As

Publication number Publication date
CN111594322A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111594322B (zh) 一种基于Q-Learning的变循环航空发动机推力控制方法
US10934944B2 (en) Method for optimization of transient control law of aero-engine
CN106527519B (zh) 一种大型直流暂冲式超声速风洞变速压流场控制方法
CN110219736B (zh) 基于非线性模型预测控制的航空发动机直接推力控制方法
CN110195660B (zh) 基于深度q学习的航空发动机控制装置
CN109611217B (zh) 一种航空发动机过渡态控制规律优化的设计方法
WO2021134887A1 (zh) 一种基于动态神经网络的变循环发动机智能控制方法
CN110647052B (zh) 一种变循环发动机模式切换自适应身份证模型构建方法
CN111006843B (zh) 一种暂冲式超声速风洞的连续变速压方法
CN106485064A (zh) 一种抽水蓄能机组水轮机工况智能开机方法
CN110221537A (zh) 控制方法、装置及航空发动机限制保护控制方法、装置
CN112131670B (zh) 一种基于混合自适应差分进化的航空发动机模型迭代算法
CN105676640A (zh) 基于贝塞尔曲线的涡扇发动机加速过程控制律设计方法
CN111486009A (zh) 一种基于深强化学习的航空发动机控制方法、装置
CN114237029B (zh) 基于主动切换逻辑的涡扇发动机加速过程控制方法及装置
CN111255574A (zh) 一种航空发动机进口畸变下推力衰退自主控制方法
CN112231835B (zh) 综合推力性能和偏转效率的矢量喷管出口面积优化方法
CN112594069B (zh) 基于功率需求预测的涡轴发动机抗扰控制方法及装置
Lengyel-Kampmann et al. Generalized optimization of counter-rotating and single-rotating fans
CN106354021A (zh) 基于pso的飞机纵向运动俯仰角控制系统pid优化方法
CN115217635A (zh) 一种涡扇发动机全包线自适应加速控制方法
CN114200828A (zh) 一种超音速大机动靶标持续大过载防失速方法
Jia et al. Multi-variable anti-disturbance controller with state-dependent switching law for adaptive cycle engine
Zhang et al. Optimization of adaptive cycle engine performance based on improved particle swarm optimization
CN113126498A (zh) 基于分布式强化学习的优化控制系统和控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231009

Address after: 215200 No. 158, Chengsi Road, Lili Town, Wujiang District, Suzhou City, Jiangsu Province

Patentee after: Aerospace Promotion (Suzhou) Aerospace Technology Co.,Ltd.

Address before: 110136, Liaoning, Shenyang moral and Economic Development Zone, No. 37 South Avenue moral

Patentee before: SHENYANG AEROSPACE University

TR01 Transfer of patent right