CN111624886B - 一种基于sarsa的变循环航空发动机推力控制方法 - Google Patents

Abstract

本发明涉及航空动力系统控制技术领域，提供一种基于SARSA的变循环航空发动机推力控制方法，包括：步骤1：基于变循环航空发动机仿真模型，设计用于变循环航空发动机推力控制的SARSA控制器：选择仿真模型的部分输出变量及推力相关参数、部分输入变量分别作为SARSA控制器的输入、输出，设定学习目标；步骤2：对SARSA控制器的输入参数、输出参数分别划分区间，设计奖励规则；步骤3：训练SARSA控制器，更新Q表；步骤4：对Q表进行仿真测试，若测试结果未满足学习目标，则转至步骤3；反之，保存Q表。本发明能够提高具有多控制变量、强非线性、变工况和系统参数大幅摄动等复杂特征的变循环航空发动机的控制精度与效率。

Description

一种基于SARSA的变循环航空发动机推力控制方法

技术领域

本发明涉及航空动力系统控制技术领域，特别是涉及一种基于SARSA的变循环航空发动机推力控制方法。

背景技术

变循环航空发动机是通过调节变几何部件适应当前飞行工况，改变热力循环性质的一类发动机。它兼具涡喷和涡扇两种工作模式：涡喷模式下超音速性能良好，单位推力大；涡扇模式下则具有良好的亚音速性能，耗油率低。变循环航空发动机集涡扇/涡喷性能优势于一身，比常规循环发动机具有更广的飞行包线，在军民领域都显示出巨大潜力。此外，大飞行包线对动力装置适应性要求很高，增加了可调部件，直接表现就是控制变量个数的增长，这是变循环发动机性能提高的内在控制因素。

变循环航空发动机是一个具有强非线性的复杂系统，其参数会随控制指令的改变发生变化。现有的变循环航空发动机推力控制方法中，仍采用变参数PID为基础的控制结构，虽然参数可变适应飞行工况，但是在解决具有强非线性、时变参数、多控制变量等复杂特征的变循环航空发动机的控制问题时仍存在回路间耦合等很大的局限性，且响应速度慢、超调量大，对航空发动机追求更高水平的性能发挥还很保守，存在瓶颈。

发明内容

针对现有技术存在的问题，本发明提供一种基于SARSA的变循环航空发动机推力控制方法，能够提高具有多控制变量、强非线性、变工况和系统参数大幅摄动等复杂特征的变循环航空发动机的控制精度与效率。

本发明的技术方案为：

一种基于SARSA的变循环航空发动机推力控制方法，其特征在于，包括下述步骤：

步骤1：基于变循环航空发动机仿真模型，设计用于变循环航空发动机推力控制的SARSA控制器：

步骤1.1：选择所述变循环航空发动机仿真模型的部分输出变量以及推力相关参数作为SARSA控制器的输入；其中，所述推力相关参数包括推力偏差、推力偏差导数、目标推力，所述推力偏差为反馈推力与目标推力间的偏差；

步骤1.2：选择所述变循环航空发动机仿真模型的部分输入变量作为SARSA控制器的输出；

步骤1.3：设定学习目标为推力偏差≤预设的偏差阈值；

步骤2：对所述SARSA控制器的输入参数也即状态参数、输出参数也即动作指令分别进行区间划分，并设计奖励规则；

步骤3：使用变循环航空发动机仿真模型对SARSA控制器进行训练，更新SARSA控制器内部的Q表；

步骤4：将贪婪因子置0，对Q表进行仿真测试，验证测试结果是否满足学习目标，若未满足，则转至步骤3；反之，保存Q表。

进一步的，所述步骤1中，所述部分输出变量包括高压转子转速、低压转子转速，所述部分输入变量包括燃油流量。

进一步的，所述步骤2包括下述步骤：

步骤2.1：对SARSA控制器的输入参数进行区间划分：将推力偏差划分为a₁个区间、推力偏差导数划分为a₂个区间、目标推力划分为a₃个区间、高压转子转速划分为a₄个区间、低压转子转速划分为a₅个区间；

步骤2.2：对SARSA控制器的输出参数进行区间划分：将燃油流量离散为d个动作指令；

步骤2.3：设计奖励规则：以推力偏差、当前推力为奖励依据，若当前推力小于预设的推力阈值，则给出奖励为-b；若当前推力大于或等于预设的推力阈值，则将推力偏差的绝对值划分为c个区间，对推力偏差的绝对值的每个区间设定相应的奖励，推力偏差的绝对值越小奖励越高；其中，b、c均为正值。

进一步的，所述步骤3包括下述步骤：

步骤3.1：初始化Q表：将Q表中的数据全部置零；

步骤3.2：初始化S为变循环航空发动机的当前状态，使用ε-贪婪法在状态S下选取动作A：

其中，random A表示从动作集合中随机选取动作A，

表示选择使Q(S,A)值最大的动作A，Q(S,A)为在状态S下执行动作A的动作价值函数，rand为随机数，ε为贪婪因子；

步骤3.3：在状态S下执行动作A，变循环航空发动机进入下一状态S'，得到奖励R；

步骤3.4：使用ε-贪婪法在状态S'下选取动作A'，并在状态S'下执行动作A'；

步骤3.5：更新Q表中状态S和动作A对应的Q(S,A)，更新规则为

Q(S,A)＝Q(S,A)+α(R+γQ(S',A')-Q(S,A))

其中，R+γQ(S',A')-Q(S,A)为TD误差，α为学习率，γ为衰减因子；

步骤3.6：若S'为终止状态或仿真时间达到预设的最大仿真时间，则迭代结束；反之，令S＝S'，A＝A'，转至步骤3.3，进入下一次迭代；其中，所述终止状态为推力偏差大于预设的偏差阈值的状态。

本发明的有益效果为：

本发明通过设计用于变循环航空发动机推力自适应控制的SARSA控制器，并利用SARSA强化学习算法的在线自学习能力，通过不断“试错”来实现变循环航空发动机燃油流量的智能自适应调节，提高了响应速度，减少了超调量和调节时间，能够提高具有多控制变量、强非线性、变工况和系统参数大幅摄动等复杂特征的变循环航空发动机的控制性能。

本发明同时考虑到状态、动作、奖励的空间划分对控制器训练效果的直接影响——划分不当会导致控制器难收敛甚至不收敛，通过实验，设计了一套可以达到推力控制误差在0.06(标幺化后)之内的预期训练效果的状态、动作、奖励划分方式，使基于SARSA强化学习算法的变循环航空发动机推力智能控制器满足稳态误差在5％以内的控制要求，为实现变循环航空发动机推力控制提供了一种新的技术途径。

附图说明

图1为传统变循环航空发动机控制方法的控制结构图；

图2为本发明的基于SARSA的变循环航空发动机推力控制方法的控制结构图；

图3为本发明的基于SARSA的变循环航空发动机推力控制方法的流程图；

图4为本发明的基于SARSA的变循环航空发动机推力控制方法中SARSA控制器内部Q表的更新流程图；

图5为具体实施方式中固定推力指令下SARSA控制器与PID控制器的响应曲线对比图；

图6为具体实施方式中变推力指令下SARSA控制器与PID控制器的响应曲线对比图。

具体实施方式

下面将结合附图和具体实施方式，对本发明作进一步描述。

如图1所示，为传统变循环航空发动机控制方法的控制结构图。由图1可以看出，传统变循环航空发动机控制结构是使用加减速限制模块和最大、最小选择模块配合控制器对燃油流量进行控制。在基于变参数PID的控制结构中，虽然参数可变适应飞行工况，但针对强非线性、时变参数、多控制变量等复杂特征的有效解决仍存在回路间耦合等很大的局限性，响应速度慢、超调量大，对变循环航空发动机追求更高水平的性能发挥还很保守，存在瓶颈。

相比之下，智能控制技术可很好地驾驭复杂多变量系统，为变循环航空发动机的高性能控制设计提供了重要的实现途径。近年来，随着信息技术和硬件技术的发展，智能控制技术已成为热门研究领域，智能算法被应用于各种复杂对象的稳态、动态控制中。其中，强化学习作为一类具有自主学习能力的智能算法也被广泛应用。强化学习强调如何基于环境选取动作，以取得最大的预期利益。其机制为，考虑智能体如何在环境给予的奖励或惩罚刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。这种机制决定了强化学习具有不完全依靠模型，而是依赖于其所作用环境的特点。这也使得基于强化学习算法设计的控制器具有良好的非线性逼近能力，对于时变、多变量的复杂系统亦能起到良好的控制效果。同时，在工作过程中还可实时根据其所处环境进行参数的自调整，具有强大的自学习能力。SARSA作为强化学习中的一种成熟算法，可实现在线学习，具有的易训练性可使网络快速收敛，能快速部署，有效提升最优的性能收益。

在变循环航空发动机推力控制领域，还未有将SARSA强化学习算法应用于变循环航空发动机推力控制的方法。为了提高变循环航空发动机的响应速度及控制效能，本发明创造性地将SARSA强化学习算法应用于变循环航空发动机推力控制中。如图2所示，为本发明的基于SARSA的变循环航空发动机推力控制方法的控制结构图。由图2可以看出，本发明的控制结构与传统控制结构不同的是，本发明控制系统中加减速限制模块及最大、最小选择模块的作用是为SARSA控制器的训练进行边界限定，而非直接对速度进行限制。

本发明的基于SARSA的变循环航空发动机推力控制方法可依据发动机的状态和发动机外界环境的变化自主学习并调节发动机的各控制参数，保证发动机运行稳定、不超限和高性能。如图3所示，本发明的具体实现过程如下：

步骤1：基于变循环航空发动机仿真模型，根据预期控制性能要求，设计用于变循环航空发动机推力自适应控制的SARSA控制器：

步骤1.1：选择所述变循环航空发动机仿真模型的部分输出变量以及推力相关参数作为SARSA控制器的输入；其中，所述推力相关参数包括推力偏差、推力偏差导数、目标推力，所述推力偏差为反馈推力与目标推力间的偏差；

步骤1.2：选择所述变循环航空发动机仿真模型的部分输入变量作为SARSA控制器的输出；

步骤1.3：设定学习目标为推力偏差≤预设的偏差阈值。

本实施例中，所述部分输出变量包括高压转子转速、低压转子转速，所述部分输入变量包括燃油流量。

本实施例中，变循环航空发动机仿真模型包括彭利方(2016)在《变循环发动机建模与非线性控制方法研究》中第3章构建的变循环航空发动机模型，具体包括第3.2节中构建的前段风扇叶根叶尖模型、模式选择活门与外涵流量关系、各部件静子叶片角度调节引起的特性曲线变化以及第3.3节中构建的部件模型，详见：彭利方.变循环发动机建模与非线性控制方法研究[D].南京航空航天大学,2016。本实施例中，变循环航空发动机仿真模型的输入包括大气压力和温度等大气环境参数、各静子导流叶片角度、模式选择活门开度、主燃油流量、尾喷口面积等，输出包括推力、高低压转子转速(包括换算转速及实际转速)、各级压比、流量、压力。

通过步骤1的设计，构建了多输入、单输出变量的基于SARSA强化学习算法的变循环航空发动机推力控制器。

步骤2：对所述SARSA控制器的输入参数也即状态参数、输出参数也即动作指令分别进行区间划分，并设计奖励规则，具体包括下述步骤：

步骤2.1：对SARSA控制器的输入参数进行区间划分：

将推力偏差(标幺处理后)划分为a₁＝16个区间：(-∞，-0.015]，(-0.015，-0.014]，(-0.014，-0.012]，(-0.012，-0.01]，(-0.01，-0.007]，(-0.007，-0.004]，(-0.004，-0.002]，(-0.002，0]，(0，0.002]，(0.002，0.004]，(0.004，0.007]，(0.007，0.01]，(0.01，0.012]，(0.012，0.014]，(0.014，0.015]，(0.015，+∞]；

将推力偏差导数(标幺处理后)划分为a₂＝15个区间：(-∞，-0.45]，(-0.45，-0.39]，(-0.39，-0.35]，(-0.35，-0.28]，(-0.28，-0.22]，(-0.22，-0.15]，(-0.15，-0.07]，(-0.07，0.07]，(0.07，0.15]，(0.15，0.22]，(0.22，0.28]，(0.28，0.35]，(0.35，0.39]，(0.39，0.45]，(0.45，+∞]；

将目标推力(标幺处理后)划分为a₃＝16个区间：(-∞，0.38]，(0.38，0.46]，(0.46，0.54]，(0.54，0.62]，(0.62，0.69]，(0.69，0.77]，(0.77，0.85]，(0.85，0.92]，(0.92，1]，(1，1.07]，(1.07，1.15]，(1.15，1.23]，(1.23，1.31]，(1.31，1.38]，(1.38，1.46]，(1.46，+∞]；

将高压转子转速(标幺处理后)划分为a₄＝14个区间：(-∞，1.54]，(1.541，1.542]，(1.542，1.543]，(1.543，1.545]，(1.545，1.546]，(1.546，1.547]，(1.547，1.548]，(1.548，1.55]，(1.55，1.551]，(1.551，1.552]，(1.552，1.553]，(1.553，1.555]，(1.555，1.556]，(1.556，+∞]；

将低压转子转速(标幺处理后)划分为a₅＝11个区间：(-∞，1.045]，(1.045，1.046]，(1.046，1.051]，(1.051，1.052]，(1.053，1.054]，(1.054，1.055]，(1.055，1.056]，(1.056，1.058]，(1.058，1.061]，(1.061，1.062]，(1.062，+∞]。

将上述状态划分合成一个可表征变循环航空发动机系统全部状态的状态空间，此状态空间中含有591360个状态。

步骤2.2：对SARSA控制器的输出参数进行区间划分：

将燃油流量(标幺处理后)离散为d＝11个动作指令：[0.25，0.29，0.33，0.37，0.39，0.41，0.45，0.49，0.53，0.57，0.6]。

步骤2.3：设计奖励规则：

以推力偏差、当前推力为奖励依据，若当前推力小于预设的推力阈值即0.38，则给出奖励为-b＝-100；若当前推力大于或等于预设的推力阈值即0.38，则将推力偏差的绝对值划分为c＝5个区间：[0.05，+∞)，(0.04，0.05)，[0.02，0.04)，[0.01，0.02)，[0，0.01)，对推力偏差的绝对值的每个区间设定相应的奖励：[-100，-1，1，3，5]，推力偏差的绝对值越小奖励越高。

步骤3：使用变循环航空发动机仿真模型对SARSA控制器进行训练，更新SARSA控制器内部的Q表，如图4所示，具体包括下述步骤：

步骤3.1：初始化Q表：将Q表中的数据全部置零；

步骤3.2：初始化S为变循环航空发动机的当前状态，使用ε-贪婪法在状态S下选取动作A：

其中，random A表示从动作集合中随机选取动作A，

表示选择使Q(S,A)值最大的动作A，Q(S,A)为在状态S下执行动作A的动作价值函数，rand为随机数，ε为贪婪因子；

步骤3.3：在状态S下执行动作A，变循环航空发动机进入下一状态S'，得到奖励R；

步骤3.4：使用ε-贪婪法在状态S'下选取动作A'，并在状态S'下执行动作A'；

步骤3.5：更新Q表中状态S和动作A对应的Q(S,A)，更新规则为

Q(S,A)＝Q(S,A)+α(R+γQ(S',A')-Q(S,A))

其中，R+γQ(S',A')-Q(S,A)为TD误差，α为学习率，γ为衰减因子；

步骤3.6：若S'为终止状态或仿真时间达到预设的最大仿真时间，则迭代结束；反之，令S＝S'，A＝A'，转至步骤3.3，进入下一次迭代；其中，所述终止状态为推力偏差大于预设的偏差阈值的状态。

步骤4：将贪婪因子置0，对Q表进行仿真测试，验证测试结果是否满足学习目标，若未满足，则转至步骤3；反之，保存Q表。

本实施例中，使用达到学习目标的SARSA控制器对变循环航空发动机进行仿真控制，并与PID控制器进行比较，得到如图5所示的固定推力指令下SARSA控制器与PID控制器的响应曲线对比图、如图6所示的变推力指令下SARSA控制器与PID控制器的响应曲线对比图。由图5可以看出，对于固定推力指令控制，SARSA控制器的稳态误差在5％以内，且SARSA控制器的超调远小于PID控制器，响应速度较PID控制器相比也有所提升，从而SARSA控制器对于固定指令能达到更好的控制性能。由图6可以看出，对于变推力指令控制，SARSA控制器的响应速度也快于PID控制器，故SARSA控制器对变指令控制也能实现更高的控制性能。

显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (1)

1.一种基于SARSA的变循环航空发动机推力控制方法，其特征在于，包括下述步骤：

步骤1：基于变循环航空发动机仿真模型，设计用于变循环航空发动机推力控制的SARSA控制器：

步骤1.1：选择所述变循环航空发动机仿真模型的部分输出变量以及推力相关参数作为SARSA控制器的输入；其中，所述推力相关参数包括推力偏差、推力偏差导数、目标推力，所述推力偏差为反馈推力与目标推力间的偏差；

步骤1.2：选择所述变循环航空发动机仿真模型的部分输入变量作为SARSA控制器的输出；

步骤1.3：设定学习目标为推力偏差≤预设的偏差阈值；

步骤2：对所述SARSA控制器的输入参数也即状态参数、输出参数也即动作指令分别进行区间划分，并设计奖励规则；

步骤3：使用变循环航空发动机仿真模型对SARSA控制器进行训练，更新SARSA控制器内部的Q表；

步骤4：将贪婪因子置0，对Q表进行仿真测试，验证测试结果是否满足学习目标，若未满足，则转至步骤3；反之，保存Q表；

所述步骤1中，所述部分输出变量包括高压转子转速、低压转子转速，所述部分输入变量包括燃油流量；

所述步骤2包括下述步骤：

步骤2.1：对SARSA控制器的输入参数进行区间划分：将推力偏差划分为a₁个区间、推力偏差导数划分为a₂个区间、目标推力划分为a₃个区间、高压转子转速划分为a₄个区间、低压转子转速划分为a₅个区间；

步骤2.2：对SARSA控制器的输出参数进行区间划分：将燃油流量离散为d个动作指令；

步骤2.3：设计奖励规则：以推力偏差、当前推力为奖励依据，若当前推力小于预设的推力阈值，则给出奖励为-b；若当前推力大于或等于预设的推力阈值，则将推力偏差的绝对值划分为c个区间，对推力偏差的绝对值的每个区间设定相应的奖励，推力偏差的绝对值越小奖励越高；其中，b、c均为正值；

所述步骤3包括下述步骤：

步骤3.1：初始化Q表：将Q表中的数据全部置零；

步骤3.2：初始化S为变循环航空发动机的当前状态，使用ε-贪婪法在状态S下选取动作A：

其中，random A表示从动作集合中随机选取动作A，

表示选择使Q(S,A)值最大的动作A，Q(S,A)为在状态S下执行动作A的动作价值函数，rand为随机数，ε为贪婪因子；

步骤3.3：在状态S下执行动作A，变循环航空发动机进入下一状态S'，得到奖励R；

步骤3.4：使用ε-贪婪法在状态S'下选取动作A'，并在状态S'下执行动作A'；

步骤3.5：更新Q表中状态S和动作A对应的Q(S,A)，更新规则为

Q(S,A)＝Q(S,A)+α(R+γQ(S',A')-Q(S,A))

其中，R+γQ(S',A')-Q(S,A)为TD误差，α为学习率，γ为衰减因子；

步骤3.6：若S'为终止状态或仿真时间达到预设的最大仿真时间，则迭代结束；反之，令S＝S'，A＝A'，转至步骤3.3，进入下一次迭代；其中，所述终止状态为推力偏差大于预设的偏差阈值的状态。

Images