CN102787915A - 基于强化学习pid控制器的柴油机电子调速方法 - Google Patents

Abstract

本发明的目的在于提供基于强化学习PID控制器的柴油机电子调速方法，包括以下步骤：针对柴油机目标调节转速，设定PID控制器的比例、积分和微分的初始值，形成决策单元的初始控制策略，计算PID控制器的输出控制量；电磁执行器根据PID控制器输出的控制量驱动高压燃油泵齿条，改变燃油泵循环供油量调节柴油机转速；计算当前调速策略的值函数，在V^*(t)＝maxV(t)时，当前调速策略达到最优，当V(t)≠maxV(t)时，更新控制策略，选择不同的PID参数值；循环更新上述步骤，最终使得不同目标转速n1、n2、…所对应的控制策略的值函数V^*(t)＝maxV(t)。本发明通过实时评价和更新PID参数，实现在线学习最优调速控制策略，提高柴油机电子调速适应能力、改善柴油机运行指标。

Description

基于强化学习PID控制器的柴油机电子调速方法

技术领域

本发明涉及的是一种柴油机控制方法，具体地说是柴油机调速方法。

背景技术

具有百年历史的柴油机具有热效率高、功率范围宽、适应性好等突出优点，是目前世界上应用最为广泛的动力机械之一。柴油机稳定运行的基本条件是输出力矩与外界负荷力矩相互平衡，而其输出力矩主要是通过改变循环供油量（该功能由柴油机调速系统实现）来加以调整的。柴油机的速度特性是输出扭矩相对转速的变化关系较为平坦，适应性系数比较低，因而，柴油机的转速受外界负荷的影响很大。当负荷升高使得转速下降时，由于反馈的作用，柴油机调速系统增大输出，即增加循环供油量，使转速上升重新回到给定转速，以保证柴油机按给定转速稳定运行。反映柴油机性能的主要运行指标，如调速性能、油耗、排放、功率等，在很大程度上，均取决于其调速技术的先进程度。

目前柴油机电子调速技术应用最普遍和效果较好的控制方法为PID控制，它对系统内部参数变化有一定的适应能力，设计也简单。但是，由于柴油机的非线性及时变性问题突出，随着转速、负荷以及其他动行条件的变化，使其内部参数发生较大的变化，这时PID控制器性能将不足义补偿参数的变化，必然使系统性能下降，甚至导致系统不稳定运行。因此，发明一种动态性能优良、适应环境强的智能PID控制方法对于提高柴油机电子调速性能、改善柴油机运行指标具有重要意义。

经对现有技术的文献检索发现，公开文件“基于单神经元智能PID控制的柴油机数字式电子调速系统”（大连铁道学院学报，1999）提出了一种柴油机智能PID调速系统，该公开文件自述为：“提出一种以经典PID为基础，用单神经元加以实现的智能PID控制算法，该算法既保了神经网络控制的优点，又简单易行。将其应用于柴油机数字式电子调速系统，仿真结果表明：该控制算法不仅动态性能优良，而且具有较好的适应性和鲁棒性，为研究柴油机数字式电子调速系统的智能控制提供了一条新途径。”，其不足之处是采用监督学习进行参数优化，而监督学习的教师信号难以获取，此外，该控制方法没有在线学习能力，因而其适应性较差。

发明内容

本发明的目的在于提供提高柴油机电子调速适应能力、改善柴油机运行指标的基于强化学习PID控制器的柴油机电子调速方法。

本发明的目的是这样实现的：

本发明基于强化学习PID控制器的柴油机电子调速方法，其特征是：

（1）针对柴油机目标调节转速，根据PID控制参数表设定PID控制器的比例、积分和微分三个参数的初始值K_P(t₀)、K_I(t₀)、K_D(t₀)，形成决策单元的初始控制策略，

PID控制参数表

目标调节转速（r/min）	PID参数初始值及允许取值范围
		n1	(KP,KP-minKP-max)、(KI,KI-minKI-max)、(KD,KD-minKD-max)
n2	(KP,KP-minKP-max)、(KI,KI-minKI-max)、(KD,KD-minKD-max)
		......	......

计算PID控制器的输出控制量U(t)：

$U\left(t\right)=K_{P}e\left(t\right)+K_I{\∫}_0^{t}e\left(t\right)\mathrm{dt}+K_D\frac{\mathrm{de}\left(t\right)}{\mathrm{dt}},$ 式中e(t)为控制误差；

（2）电磁执行器根据PID控制器输出的控制量驱动高压燃油泵齿条，改变燃油泵循环供油量调节柴油机转速；

（3）实时检测柴油机转速，采用转速上升时间、转速超调量和转速振幅三个性能指标定义转速控制回报函数r(x)：

$r\left(x\right)=\exp (-{\left(\frac{x_r-x_r^d}{{\mathrm{\β}}_1}\right)}^2-{\left(\frac{x_o-x_o^d}{{\mathrm{\β}}_2}\right)}^2-\left(\frac{x_a-x_a^d}{{\mathrm{\β}}_3}\right)),r\∈(\mathrm{0,1}]$

β₁、β₂和β₃确定评价函数的宽度，x_o、x_r和x_a分别为阶跃响应实际的上升时间、超调量和振幅，

和

分别为期望的上升时间、超调量和振幅，转速控制回报函数r(x)∈(0,1]是对当前调速策略<K_P(t₀)、K_I(t₀)、K_D(t₀)>执行效果的回报值；

定义调速策略的值函数V(t)：

V^*(t)＝maxV(t)，其中n值大于1，

计算当前调速策略<K_P(t₀)、K_I(t₀)、K_D(t₀)>的值函数，在V^*(t)＝maxV(t)时，当前调速策略达到最优，当V(t)≠maxV(t)时，根据PID控制参数表更新控制策略，选择不同的PID参数值；

（4）基于更新后的控制策略即重新选择PID控制参数<K_P(t)、K_I(t)、K_D(t)>，实施转速控制；

（5）循环更新上述步骤，最终使得不同目标转速n₁、n₂、…所对应的控制策略的值函数V^*(t)＝maxV(t)，此时PID控制器输出的控制量U(t)逼近期望输出，柴油机转速以最优调速指标趋近于目标调节转速。

本发明的优势在于：本发明通过实时评价和更新PID参数，实现在线学习最优调速控制策略，提高柴油机电子调速适应能力、改善柴油机运行指标。

附图说明

图1为本发明的实现框图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合图1，本发明的方法具体包括以下步骤：

1、利用转速传感器实时检测柴油机转速，根据设定转速（目标调节转速）和当前控制策略给出PID控制器的控制参数，PID控制器输出相应的PWM波形式的控制量。

2、电磁执行器根据PID控制器输出的控制量驱动油泵齿条，改变油泵循环供油量调节柴油机转速。

3、引入转速上升时间、转速超调量和转速振幅三个性能指标来定义转速控制评价函数，基于柴油机转速信息反馈，评价转速控制动作的执行效果，更新当前的控制策略，控制策略更新原则是：检测转速趋近于设定转速，且使评价值函数获得最大值。

4、基于更新后的控制策略选择转速控制动作。

5、循环更新控制策略，完成柴油机的转速稳定控制，并固化该控制策略。

根据设定转速和当前控制策略确定PID控制参数、PID控制器输出相应的PWM信号、执行器驱动油泵齿条调节柴油机转速、评价控制动作执行效果和更新控制策略、应用新的控制策略进行柴油机的转速稳定控制。具体如下：

1、针对柴油机目标调节转速，根据表一设定PID控制器的比例、积分和微分三个参数的初始值<K_P(t₀)、K_I(t₀)、K_D(t₀)>，形成决策单元的初始控制策略。根据公式（1）计算PID控制器的输出控制量U(t)。

表一PID控制参数表

目标调节转速（r/min）	PID参数初始值及允许取值范围
		n1	(KP,KP-minKP-max)、(KI,KI-minKI-max)、(KD,KD-minKD-max)
n2	(KP,KP-minKP-max)、(KI,KI-minKI-max)、(KD,KD-minKD-max)
		......	......

$U\left(t\right)=K_{P}e\left(t\right)+K_I{\&Integral;}_0^{t}e\left(t\right)\mathrm{dt}+K_D\frac{\mathrm{de}\left(t\right)}{\mathrm{dt}}---\left(1\right)$

2、电磁执行器根据PID控制器输出的控制量驱动高压燃油泵齿条，改变燃油泵循环供油量调节柴油机转速。

3、利用光电、磁电等转速传感器实时检测柴油机转速。采用转速上升时间、转速超调量和转速振幅三个性能指标定义转速控制回报函数，如公式（2）。

$r\left(x\right)=\exp (-{\left(\frac{x_r-x_r^d}{{\mathrm{\&beta;}}_1}\right)}^2-{\left(\frac{x_o-x_o^d}{{\mathrm{\&beta;}}_2}\right)}^2-\left(\frac{x_a-x_a^d}{{\mathrm{\&beta;}}_3}\right)),r\&Element;(\mathrm{0,1}]---\left(2\right)$

上式中，β₁、β₂和β₃确定评价函数的宽度，x_o、x_r和x_a分别为阶跃响应实际的上升时间、超调量和振幅，

和

分别为期望的上升时间、超调量和振幅，评价函数r(x)∈(0,1]是对当前调速策略（<K_P(t₀)、K_I(t₀)、K_D(t₀)>）执行效果的回报值。

定义调速策略的值函数如公式（3）所示，n值大于1，且可以根据实际情况选定，n值越大，经过在线学习后，调速指标也越优异。采用公式（3）计算当前调速策略（<K_P(t₀)、K_I(t₀)、K_D(t₀)>）的值函数，在V^*(t)＝maxV(t)时，当前调速策略达到最优。当V(t)≠maxV(t)时，可根据表一更新控制策略（选择不同的PID参数值）。

V^*(t)＝maxV(t)    （3）

4、基于更新后的控制策略（重新选择PID控制参数<K_P(t)、K_I(t)、K_D(t)>），实施转速控制。

5、循环更新控制策略，最终使得不同目标转速n₁、n₂、…所对应的控制策略的值函数V^*(t)＝maxV(t)，此时PID控制器输出的控制量U(t)逼近期望输出，柴油机转速以最优调速指标趋近于设定转速（目标调节转速）。

Claims (1)

1.基于强化学习PID控制器的柴油机电子调速方法，其特征是：

（1）针对柴油机目标调节转速，根据PID控制参数表设定PID控制器的比例、积分和微分三个参数的初始值K_P(t₀)、K_I(t₀)、K_D(t₀)，形成决策单元的初始控制策略，

PID控制参数表

  目标调节转速（r/min）   PID参数初始值及允许取值范围   n₁   (K_P,K_P-minK_P-max)、(K_I,K_I-minK_I-max)、(K_D,K_D-minK_D-max)   n₂   (K_P,K_P-minK_P-max)、(K_I,K_I-minK_I-max)、(K_D,K_D-minK_D-max)   ......    ......

计算PID控制器的输出控制量U(t)：

$U\left(t\right)=K_{P}e\left(t\right)+K_I{\&Integral;}_0^{t}e\left(t\right)\mathrm{dt}+K_D\frac{\mathrm{de}\left(t\right)}{\mathrm{dt}},$ 式中e(t)为控制误差；

（2）电磁执行器根据PID控制器输出的控制量驱动高压燃油泵齿条，改变燃油泵循环供油量调节柴油机转速；

（3）实时检测柴油机转速，采用转速上升时间、转速超调量和转速振幅三个性能指标定义转速控制回报函数r(x)：

$r\left(x\right)=\exp (-{\left(\frac{x_r-x_r^d}{{\mathrm{\&beta;}}_1}\right)}^2-{\left(\frac{x_o-x_o^d}{{\mathrm{\&beta;}}_2}\right)}^2-\left(\frac{x_a-x_a^d}{{\mathrm{\&beta;}}_3}\right)),r\&Element;(\mathrm{0,1}]$

β₁、β₂和β₃确定评价函数的宽度，x_o、x_r和x_a分别为阶跃响应实际的上升时间、超调量和振幅，

和

分别为期望的上升时间、超调量和振幅，转速控制回报函数r(x)∈(0,1]是对当前调速策略<K_P(t₀)、K_I(t₀)、K_D(t₀)>执行效果的回报值；

定义调速策略的值函数V(t)：

V^*(t)＝maxV(t)，其中n值大于1，

计算当前调速策略<K_P(t₀)、K_I(t₀)、K_D(t₀)>的值函数，在V^*(t)＝maxV(t)时，当前调速策略达到最优，当V(t)≠maxV(t)时，根据PID控制参数表更新控制策略，选择不同的PID参数值；

（4）基于更新后的控制策略即重新选择PID控制参数<K_P(t)、K_I(t)、K_D(t)>，实施转速控制；

（5）循环更新上述步骤，最终使得不同目标转速n₁、n₂、…所对应的控制策略的值函数V^*(t)＝maxV(t)，此时PID控制器输出的控制量U(t)逼近期望输出，柴油机转速以最优调速指标趋近于目标调节转速。

Images