CN103529699B - 一种煤气化炉系统的炉温自学习控制方法 - Google Patents

Abstract

本发明公开了一种煤气化炉系统的炉温自学习控制方法，其包括：构建一个基于数据的煤气化炉系统炉温自学习系统模型，用于确定煤气化炉炉温变化；利用三层BP神经网络构建输入煤中元素含量比例的煤质模型，用于确定煤质；利用三层BP神经网络构建输入量参考控制模型，用于确定煤气化炉系统输入参考量；将构建的煤气化炉系统炉温自学习系统模型误差、煤质模型误差和输入量参考控制模型误差与系统外部扰动转化为煤气化炉系统炉温自学习系统控制模型的扰动控制变量；基于迭代自适应动态规划自学习最优控制方法，在所述扰动控制变量对所述系统温度控制误差影响最大的情况下建立求解最优控制的函数，最终获得系统控制。

Description

一种煤气化炉系统的炉温自学习控制方法

技术领域

本发明属于煤气化炉技术领域，具体涉及煤气化炉的炉温控制方法，特别是一种通过气化炉系统的运行数据对气化炉炉温进行自学习最优控制的方法。

背景技术

煤气化炉亦称水煤浆煤气化炉，是一种以煤或焦炭为原料，以氧气和水蒸气为气化剂，在固定床内进行氧化还原反应产生混合煤气的专用设备，可广泛应用于冶金、机械、化工、建材、陶瓷等各类行业。其工作过程：水煤浆被泵压入喷嘴，在此处被高压、高速的氧气流破碎雾化进入煤气化炉。在煤气化炉内，雾状水煤浆和氧气在加温加压后，经过预热、水分蒸发、煤的干馏与热解以及气化物的裂解燃烧等一系列的复杂物理化学过程，最终形成以氢气、一氧化碳、二氧化碳和水蒸气为主要成分的粗煤气以及煤渣。粗煤气经过洗剂、冷却和净化得到精煤气，煤渣则在炉内反应结束后进入气化炉底部渣池，经过水浴、淬冷、固化后运往渣仓，定期处理排放。

煤气化炉是一种用煤制取煤气的重要设备，是煤气化制甲醇、甲醛等煤基化工过程中非常重要的基础环节，具有工艺流程复杂、设备庞大、反应滞后等特点。一方面通过煤气化的主要工作机理分析煤气化炉的工作动态，另一方面要根据煤气化炉运行特性对气化炉温度等重要参数进行最优调控，优化气化炉运行，提高煤气化炉系统运行效率并避免不必要的事故发生。然而在实际生产过程中，煤气化炉设备庞大，炉内温度高，反应剧烈以及时滞现象严重等使得气化炉的数学机理模型难以建立，这给气化炉系统优化与控制带来极大的困难。在气化炉系统每日运行过程中都会存储大量的数据，因此基于气化炉系统的运行数据，设计一套有效的最优控制方案，使得煤气化炉系统能够智能调控在最优工作状态是煤气化炉控制技术发展亟需解决的问题。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是利用气化炉系统运行数据与神经网络，构建煤气化炉系统控制神经网络模型，煤质神经网络模型以及参考控制神经网络模型，采用基于自适应动态规划自学习方法，最优化控制煤气化炉的炉温工作状态。

(二)技术方案

基于煤气化系统生产过程的运行数据，利用自适应动态规划理论，构建煤气化炉系统炉温控制神经网络模型、煤中元素含量比例的模型(煤质神经网络模型)以及参考控制神经网络模型，综合考虑建模误差以及外部扰动，采用迭代自适应动态规划方法在扰动控制对系统性能影响最大情况下获得系统最优控制方案并获得容许误差上界，实现气化炉系统温度最优化运行。

具体来说，本发明提出一种煤气化炉系统的炉温自学习控制方法，其包括：

S1、构建一个基于数据的煤气化炉系统炉温自学习系统模型，用于确定煤气化炉炉温变化；

S2、基于系统运行数据，利用三层BP神经网络构建输入煤中元素含量比例的煤质模型，用于确定煤质；

S3、基于系统运行数据，利用三层BP神经网络构建输入量参考控制模型，用于确定煤气化炉系统输入参考量；

S4、将构建的煤气化炉系统炉温自学习系统模型误差、煤质模型误差和输入量参考控制模型误差与系统外部扰动转化为煤气化炉系统炉温自学习系统控制模型的扰动控制变量；

S5、基于迭代自适应动态规划自学习最优控制方法，在所述扰动控制变量对所述系统温度控制误差影响最大的情况下建立求解最优控制的函数，最终获得系统的最优控制；其中所述最优控制表示使得煤气化炉炉温达到设定温度的煤气化炉的输入量。

(三)有益效果

本发明根据煤气化炉系统运行数据，构建气化炉系统的神经网络模型，综合考虑建模误差以及外部扰动，采用迭代自适应动态规划方法在扰动控制对系统性能影响最大情况下获得系统最优控制方案，从而能够高效、实时、最优化控制气化炉温度，实现气化炉系统最优化运行。

附图说明

图1是本发明实施例中煤气化炉的结构示意图；

图2是本发明实施例中一种煤气化炉系统的炉温自学习控制方法流程图；

图3是本发明实施例中迭代自适应动态规划自学习最优控制方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1是本发明中煤气化炉的结构示意图。如图1所示，煤气化炉1包括进料口2、煤气出口3和煤渣出口4，其中水煤浆和氧气经过进料口2进入煤气化炉1后，在一定温度和压力下，发生一系列复杂的物理化学反应，生成以CO(一氧化碳)、CO₂(二氧化碳)、H₂(氢气)为主要成分的粗煤气，经过煤气出口3输出，反应后的煤渣从出口4排出。需要说明的是，该图1只是示意性的简图，实际的煤气化炉还包括其他各工作部件，例如调节阀及压力杆等，但其皆为本领域的技术人员熟知，并且不影响本发明的控制方法，因而在此不加赘述。

图2示出了本发明中煤气化炉系统的炉温自学习控制方法流程图。如图2所示，该方法包括依次执行的如下步骤：

S1、构建一个基于数据的煤气化炉系统炉温自学习系统模型，用于确定煤气化炉炉温变化；

S2、基于系统运行数据，利用三层BP神经网络构建输入煤中元素含量比例的煤质模型，用于确定煤质；

S3、基于系统运行数据，利用三层BP神经网络构建输入量参考控制模型，用于确定煤气化炉系统输入参考量；

S4、将构建的煤气化炉系统炉温自学习系统模型误差、煤质模型误差和输入量参考控制模型误差与系统外部扰动转化为煤气化炉系统炉温自学习系统控制模型的扰动控制变量，即误差函数；

S5、基于迭代自适应动态规划自学习最优控制方法，在所述扰动控制变量对所述系统温度控制误差影响最大的情况下建立求解最优控制的方程，所述最优控制表示使得煤气化炉炉温达到设定温度的煤气化炉的输入量。

下面分别介绍上述各个步骤。

S1、构建一个基于数据的煤气化炉系统炉温自学习系统模型，该模型利用神经网络构建煤气化炉系统炉温动态特性，无需煤气化炉系统炉温具体数学模型。

本发明的煤气化炉系统控制模型基于煤气化炉前期运行积累的数据利用人工神经网络进行构建，无需煤气化炉的具体反应机理模型。

根据煤气化炉系统内部的反应原理，按照前期煤气化炉运行时得到的相关历史数据，包括系统输入变量、输出变量以及系统状态变量，利用人工神经网络构建煤气化炉系统的控制模型。稳态建模具体描述如下：假定煤气化炉进料口2的原料为O₂(氧气)、H₂O(水)和煤，其中煤的主要成分为C(碳)、H(氢)、O(氧)，要求构建相应的控制模型，预测未来煤气化炉内的温度变化，计算出料口3生成气中的CO(一氧化碳)、CO₂(二氧化碳)、H₂(氢气)、H₂O(水)的量以及出口4排放煤渣的量。

煤气化过程中，煤气化炉1的进料口2的进料为水煤浆和氧气，煤气出口3输出粗煤气，煤渣出口4输出煤渣。水煤浆和氧气进入煤气化炉1后，在一定的温度和压力下，经过一系列复杂的物理化学反应，生成以一氧化碳、二氧化碳、氢气为主要成分的粗煤气。

煤气化炉中主要考虑的化学反应如下：

(1)氧化反应

(2)变换反应

C+H₂O＝CO+H₂

CO+H₂O＝CO₂+H₂

注：因为在实际生产中所采用的工艺条件下，原料中含有的其他一些元素如氮(N)、硫(S)、氯(C1)等属于微量元素并且对整个变换反应的影响较小，所以可以只选择考虑氧化反应和变换反应。根据煤气化炉中反应的化学方程式，可逆变换反应的平衡条件只与温度有关，利用人工神经网络理论，在获得一段时间内煤气化炉输入输出物料的数据以及气化炉内状态变量的基础上，不需要具体的机理模型，即可构建煤气化炉系统的控制模型。

所构建的煤气化炉系统的系统控制模型的输入数据为当前k时刻煤、水、氧气的输入流量其中u_coal(k)为煤的流量(千克/小时)，为水的流量(千克/小时)，为氧气的流量(千克/小时)。定义煤气化炉内当前时刻温度为x(k)(摄氏度℃)，当前时刻煤质组分Θ(k)＝[θ_C(k)，θ_H(k)，θ_O(k)，θ_Char(k)]，θ_C(k)为煤中碳的质量百分比，θ_H(k)为煤中氢的质量百分比，θ_O(k)为煤中氧的质量百分比，θ_Char(k)为煤中煤焦的质量百分比；输出数据为下一时刻k+1煤气化炉内温度x(k+1)(摄氏度℃)以及当前时刻气化炉各组分输出流量

$y\left(k\right)=[y_{\mathrm{CO}}\left(k\right),y_{{\mathrm{Co}}_2}\left(k\right),y_{H_2}\left(k\right),y_{H_{2}O}\left(k\right),y_{\mathrm{Char}}\left(k\right)],$

其中y_CO(k)为一氧化碳输出流量(千克/小时)，为二氧化碳输出流量(千克/小时)，为氢气输出流量(千克/小时)，为水蒸气输出流量(千克/小时)，y_Char(k)为煤焦输出流量(千克/小时)。煤气化炉系统的炉温控制模型的函数表示为：

$\left\{\begin{array}{c}x(k+1)=F(x\left(k\right),u\left(k\right),\mathrm{\Θ}\left(k\right))\\ y\left(k\right)=G(x\left(k\right),u\left(k\right),\mathrm{\Θ}\left(k\right))\end{array}\right.,$

其中F，G为未知气化炉系统函数。煤气化炉系统的系统控制模型构建采用三层反向传播(BP)神经网络进行构建。

BP神经网络的结构包括输入层、隐层和输出层三层结构，激活函数为双极S型函数。令隐含层神经元个数为L。令输入层与隐含层权值矩阵为Y。令隐含层与输出层权值矩阵为W。令神经网络的输入为X，那么神经网络的输出可以表示为

${\hat{F}}_N(X,Y,W)=\mathrm{W\σ}\left(\mathrm{YX}\right)$

其中

$\mathrm{\σ}\left(\mathrm{YX}\right)\∈R^L,\mathrm{\σ}\left(z_i\right)=\frac{e^{z_i}-e^{-z_i}}{e^{z_i}+e^{-z_i}},i=1,...L.$

为了加快神经网络的训练速度，令输入层与隐含层权值矩阵Y为任意随机权值矩阵。当Y给定后其值固定不变，其权值不进行更新，只调节隐含层与输出层权值矩阵W。因此，神经网络的可以简化成如下形式

${\hat{F}}_N(X,W)=\mathrm{W\σ}\left(X\right).$

本发明中所有的神经网络均采用此结构。后文中关于利用神经网络结构构建煤质模型和输入量参考控制模型中将不再赘述。

根据上述神经网络原理，利用一段时间内煤气化炉运行的积累数据，即得到了相应的输入输出数据，可以训练相应的神经网络使其学习收敛，最后得到成熟的网络模型，然后即可根据该训练得到的网络模型和输入数据获得下一时刻的温度值。煤气化炉系统的炉温控制模型可以进一步表示为：

$\left\{\begin{array}{c}\hat{x}(k+1)=\hat{F}(x\left(k\right),u\left(k\right),\mathrm{\Θ}\left(k\right))={\hat{W}}_{m1}^T\left(k\right)\mathrm{\σ}\left(z\left(k\right)\right)\\ \hat{y}\left(k\right)=\hat{G}(x\left(k\right),u\left(k\right),\mathrm{\Θ}\left(k\right))={\hat{W}}_{m2}^T\left(k\right)\mathrm{\σ}\left(z\left(k\right)\right)\end{array}\right.$

其中，为神经网络近似函数。为煤气化炉系统炉温的神经网络权值，为煤气化炉系统输出的神经网络权值，z(k)＝[x^T(k)，u^T(k)，Θ^T(k)]^T为神经网络输入，σ(·)为神经网络双极S型激活函数，表示为

$\mathrm{\σ}\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}.$

神经网络训练采用单层权值训练方法，具体权值更新如下

$\left\{\begin{array}{c}{\hat{W}}_{m1}(k+1)={\hat{W}}_{m1}\left(k\right)-l_{m1}\mathrm{\σ}\left(z\left(k\right)\right){\tilde{x}}^T(k+1),\\ {\hat{W}}_{m2}(k+1)={\hat{W}}_{m2}\left(k\right)-l_{m2}\mathrm{\σ}\left(z\left(k\right)\right){\tilde{y}}^T\left(k\right).\end{array}\right.$

其中l_m1＞0，l_m2＞0为神经网络的学习率，为测量到的温度数据x(k+1)与神经网络输出的差值，为测量到的输出数据y(k)与神经网络输出的差值。本网络的权值调整特点为只调整隐层与输出层之间的权值，输入层和隐层之间的权值随机初始化后不再调整。可以证明，只调整隐层与输出层之间的权值可以使神经网络权值收敛，即有同时该方法能够大幅提高神经网络的收敛速度，缩短神经网络的训练时间，提高运算效率。

S2、基于系统运行数据，利用三层BP神经网络构建输入煤中元素含量比例的煤质模型，确定煤质，使得煤质可以在线辨识。

煤质为煤中元素含量比例的简称，不同品质煤的含碳量也不同，在煤气化过程中直接影响到煤气化炉生成水煤气各组分的量。因此测定煤质在煤气化过程中十分必要。然而传统煤质测定过程耗时长(一般为48小时，需要离线获得)，基于上述特点，本发明可利用系统运行所记录的历史数据(系统运行的历史数据可以保存在数据库中)，采用神经网络离线构建煤质模型，构建神经网络煤质模型后，即可应用此模型快速确定煤质。

煤质模型的输入数据包括当前k时刻的温度x(k)，下一时刻的温度x(k+1)，当前时刻煤气化炉的输出组分流量y(k)，当前时刻煤气化炉的输入各组分流量u(k)；输出数据为当前时刻煤质Θ(k)。其煤质模型函数表示为：

Θ(k)＝F_Θ(x(k)，x(k+1)，y(k)，u(k))。

其中F_Θ为未知煤质函数。上式中的变量数据均可以采用离线数据，因此上式中的变量数据可以从数据库中获取。煤质模型网络的构建采用反向传播(BP)神经网络，激活函数为双极S型函数。根据一段时间内煤气化炉运行得到的数据，即相应的输入输出数据，可以训练相应的神经网络使其学习收敛。然后应用训练后的煤质模型网络即可根据输入数据获得现在的煤质数据。煤质神经网络模型可以表示为：

$\widehat{\mathrm{\Θ}}\left(k\right)={\hat{F}}_{\mathrm{\Θ}}(x\left(k\right),x(k+1),y\left(k\right),u\left(k\right))={\hat{W}}_{\mathrm{\Θ}}^T\left(k\right)\mathrm{\σ}\left(z_{\mathrm{\Θ}}\left(k\right)\right)$

其中，表示煤质神经网络输出，表示煤质模型的神经网络近似函数，为煤质神经网络模型的权值，z_Θ(k)＝[x^T(k)，x^T(k+1)，y^T(k)，u^T(k)]^T为煤质神经网络模型输入。煤质神经网络模型具体权值更新如下：

${\hat{W}}_{\mathrm{\Θ}}^{j+1}\left(k\right)={\hat{W}}_{\mathrm{\Θ}}^j\left(k\right)-l_{\mathrm{\Θ}}\mathrm{\σ}\left(z_{\mathrm{\Θ}}\left(k\right)\right){\widetilde{\mathrm{\Θ}}}^j\left(k\right),$

其中，l_Θ＞0是学习率，为测量煤质Θ(k)与煤质神经网络输出的差值。j＝0，1，…，为迭代指标。本网络权值调整特点为只调整隐层与输出层之间的权值，输入层和隐层之间的权值随机初始化后不再调整。可以证明，只调整隐层与输出层之间的权值可以使神经网络权值收敛，即有同时该方法能够大幅提高神经网络的收敛速度，缩短神经网络的训练时间，提高运算效率。

S3、基于系统运行数据，利用三层BP神经网络构建输入量参考控制模型，该输入量参考控制模型用于确定煤气化炉系统输入参考量。

根据S1煤气化炉炉温自学习系统模型的温度模型可知，煤气化炉工作状态即温度与进料口输入物料量和煤质有直接关系，在煤质确定情况下，输入物料O₂、H₂O和煤将直接影响到下一时刻的工作状态。由于气化炉炉温需要在设定温度下进行工作以保证炉内煤气化反应的正常运行，因此针对不同输入物料的相关运行数据，需要建立相应的参考控制模型(采用神经网络建立)，确定进料口物料输入量值。

参考控制神经网络的输入数据为当前时刻温度x(k)，下一时刻温度x(k+1)，当前时刻煤质Θ(k)；输出数据为当前时刻煤气化炉的输入各组分流量u_f(k)。其网络的函数表示为：

u_f(k)＝F_u(x(k)，x(k+1)，Θ(k))。

其中，F_u为未知参考控制函数。参考控制网络采用BP神经网络进行构建，激活函数为双极S型。利用煤气化炉系统运行数据，训练相应的神经网络使其收敛，即可获得相应的参考控制神经网络模型。参考控制神经网络模型如下：

${\hat{u}}_f\left(k\right)={\hat{F}}_u(x\left(k\right),x(k+1),\mathrm{\Θ}\left(k\right))={\hat{W}}_u^T\left(k\right)\mathrm{\σ}\left(z_u\left(k\right)\right)$

其中，表示参考控制神经网络输出，为参考控制神经网络权值，z_u(k)＝[x^T(k)，x^T(k+1)，Θ^T(k)]^T为参考控制神经网络输入。参考控制神经网络权值更新为

${\hat{W}}_u^{j+1}\left(k\right)={\hat{W}}_u^j\left(k\right)-l_u\mathrm{\σ}\left(z_u\left(k\right)\right){\tilde{u}}_f^j\left(k\right),$

其中，l_u＞0为神经网络学习率，为当前时刻的输入控制量与参考控制神经网络输出的输入量的差值，当前时刻输入控制量可以通过仪表直接读取。本神经网络只调整隐层与输出层之间的权值，输入层和隐层之间的权值随机初始化后不再调整。可以证明，只调整隐层与输出层之间的权值可以使神经网络权值收敛，即而且该方法能够大幅提高神经网络的收敛速度，缩短神经网络的训练时间，提高运算效率。

S4、综合考虑神经网络建模误差与系统扰动，利用系统变换，将带有误差的气化炉系统炉温最优控制转换成为一个多控制器二人零和博弈最优控制，其中将煤气化炉系统炉温控制模型误差、煤质模型误差和参考控制模型误差与系统外部扰动Δu(k)转化为煤气化炉系统炉温自学习系统控制模型的一个未知有界控制变量w(k)，所述系统外部扰动包括操作工人的误操作，控制仪表不精确引起的控制误差等。

在S1、S2和S3中，利用神经网络构建了煤气化炉系统炉温自学习系统模型、煤质模型和输入量参考控制模型，然而神经网络建模必然存在建模误差。考虑煤气化炉系统炉温自学习系统模型神经网络的建模误差，其神经网络模型可以分别表示为：

$\left\{\begin{array}{c}x(k+1)=F(x\left(k\right),u\left(k\right),\mathrm{\Θ}\left(k\right))+{\mathrm{\ϵ}}_{m1}\left(k\right)={\hat{W}}_{m1}^{*T}\left(k\right)\mathrm{\σ}\left(z\left(k\right)\right)+{\mathrm{\ϵ}}_{m1}\left(k\right)\\ y\left(k\right)=\hat{G}(x\left(k\right),u\left(k\right),\mathrm{\Θ}\left(k\right))+{\mathrm{\ϵ}}_{m2}\left(k\right)={\hat{W}}_{m2}^{*T}\left(k\right)\mathrm{\σ}\left(z\left(k\right)\right)+{\mathrm{\ϵ}}_{m2}\left(k\right)\end{array}\right..$

考虑煤质模型神经网络的建模误差，其煤质模型可以分别表示为

$\mathrm{\Θ}\left(k\right)={\hat{F}}_{\mathrm{\Θ}}(x\left(k\right),x(k+1),y\left(k\right),u\left(k\right))+{\mathrm{\ϵ}}_{\mathrm{\Θ}}\left(k\right)=W_{\mathrm{\Θ}}^{*T}\mathrm{\σ}\left(z_{\mathrm{\Θ}}\left(k\right)\right)+{\mathrm{\ϵ}}_{\mathrm{\Θ}}\left(k\right).$

给出设定炉温η，令将带入输入量参考控制模型神经网络即可获得在设定炉温情况下的输入量参考控制。定义在额定炉温η下的参考输入量为额定输入量，表示为u_d(k)，其神经网络模型可以分别表示为：

$u_d\left(k\right)={\hat{F}}_u(\mathrm{\η},\mathrm{\η},\mathrm{\Θ}\left(k\right))+{\mathrm{\ϵ}}_u\left(k\right)=W_u^{*T}\mathrm{\σ}\left(z_u^{\mathrm{\η}}\left(k\right)\right)+{\mathrm{\ϵ}}_u\left(k\right).$

可以看到，建模误差ε_m1(k)，ε_m2(k)，ε_Θ(k)，ε_u(k)是未知的。由于神经网络具有全局逼近性，因此建模误差的上界可以获得，其上界即为神经网络的训练精度。因此有 $\left|\right|{\mathrm{\ϵ}}_{m1}\left(k\right)\left|\right|\≤{\stackrel{\‾}{\mathrm{\ϵ}}}_{m1},$ $\left|\right|{\mathrm{\ϵ}}_{m2}\left(k\right)\left|\right|\≤{\stackrel{\‾}{\mathrm{\ϵ}}}_{m2},$ $\left|\right|{\mathrm{\ϵ}}_{\mathrm{\Θ}}\left(k\right)\left|\right|\≤{\stackrel{\‾}{\mathrm{\ϵ}}}_{\mathrm{\Θ}},$ 根据中值定理可以获得：

$x(k+1)=\hat{F}(x\left(k\right),u\left(k\right),\mathrm{\Θ}\left(k\right))+{\mathrm{\ϵ}}_{m1}\left(k\right)$

$=\hat{F}(x\left(k\right),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)+{\mathrm{\ϵ}}_u\left(k\right)),(\mathrm{\Θ}\left(k\right)+{\mathrm{\ϵ}}_{\mathrm{\Θ}}\left(k\right)))+{\mathrm{\ϵ}}_{m1}\left(k\right)$

$=\hat{F}(x\left(k\right),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)),\mathrm{\Θ}\left(k\right))+\▿\left({\mathrm{\ξ}}_u\right){\mathrm{\ϵ}}_u\left(k\right)+\▿\left({\mathrm{\ξ}}_{\mathrm{\Θ}}\right){\mathrm{\ϵ}}_{\mathrm{\Θ}}\left(k\right)+{\mathrm{\ϵ}}_{m1}\left(k\right)$

其中， $\▿\left({\mathrm{\ξ}}_u\right)=\frac{\∂\hat{F}(x\left(k\right),{\mathrm{\ξ}}_u,\mathrm{\Θ}\left(k\right))}{{\∂\mathrm{\ξ}}_u},$ $\▿\left({\mathrm{\ξ}}_{\mathrm{\Θ}}\right)=\frac{\∂\hat{F}(x\left(k\right),u\left(k\right),{\mathrm{\ξ}}_{\mathrm{\Θ}})}{{\∂\mathrm{\ξ}}_{\mathrm{\Θ}}},$ u_e(k)＝u(k)-u_d(k)为k时刻煤气化炉系统运行过程中测量得到的实际输入量与额定输入量的差值。

$\left\{\begin{array}{c}{\mathrm{\ξ}}_u=c_{u}u\left(k\right)+(1-c_u)(u_e\left(k\right)+{\hat{u}}_d\left(k\right)+{\mathrm{\ϵ}}_u\left(k\right))\\ {\mathrm{\ξ}}_{\mathrm{\Θ}}=c_{\mathrm{\Θ}}\mathrm{\Θ}\left(k\right)+(1-c_{\mathrm{\Θ}})\widehat{\mathrm{\Θ}}\left(k\right)\end{array}\right.,$

其中，0≤c_u≤1，0≤c_Θ≤1为常数。由于ε_u(k)，ε_Θ(k)，ε_m1(k)与ε_m2(k)的上界均可获得，因此▽(ζ_u)ε_u(k)，▽(ζ_Θ)ε_Θ(k)的上界可以获得，即有 再令e(k)＝x(k)-η，为炉温误差，其中η为设定炉温，那么即可得到转换后的系统炉温误差函数：

$e(k+1)=\stackrel{\‾}{F}(e\left(k\right),u_e\left(k\right),\widehat{\mathrm{\Θ}}\left(k\right))+w\left(k\right)$

其中 $\stackrel{\‾}{F}(e\left(k\right),u_e\left(k\right),\widehat{\mathrm{\Θ}}\left(k\right))=\hat{F}((e\left(k\right)+\mathrm{\η}),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)),\widehat{\mathrm{\Θ}}\left(k\right))-\mathrm{\η},$ $w\left(k\right)=\▿\left({\mathrm{\ξ}}_u\right){\mathrm{\ϵ}}_u\left(k\right)+\▿\left({\mathrm{\ξ}}_{\mathrm{\Θ}}\right){\mathrm{\ϵ}}_{\mathrm{\Θ}}\left(k\right)+{\mathrm{\ϵ}}_{m1}\left(k\right)+\mathrm{\Δu}\left(k\right),$ Δu(k)为系统外部扰动。

可以看到已将原单控制器系统有效地转换成多控制器系统，其中u_e(k)为系统控制，w(k)为系统扰动。将w(k)当作系统的一个控制，定义为扰动控制。本发明的目标是在系统扰动w(k)对系统影响达到最大的情况下获得有效的最优系统控制u_e(k)使得误差系统稳定，e(k)趋向于0，则炉温x(k)趋向于设定目标温度η。

S5、基于迭代自适应动态规划自学习最优控制方法，在系统扰动控制变量w(k)对系统温度控制误差影响最大的情况下有效地建立求解出最优的系统控制u_e(k)的函数，最优的系统控制表示最优的煤气化炉输入量(以下简称最优控制)，包括煤、水、氧气，使得煤气化炉炉温达到设定炉温。

根据最优控制和相关的设计问题，定义了以下二次性能指标函数：

$J(e\left(0\right),{\underset{\‾}{u}}_e\left(0\right),\underset{\‾}{w}\left(0\right))=\underset{k=0}{\overset{\∞}{\mathrm{\Σ}}}(e^T\left(k\right)\mathrm{Ae}\left(k\right)+u_e^T\left(k\right){\mathrm{Bu}}_e\left(k\right)-w^T\left(k\right)\mathrm{Cw}\left(k\right)).$

其中，u _e(k)＝(u_e(k)，u_e(k+1)，…)，w(k)＝(w(k)，w(k+1)，…)，A，B，C＞0，均为正定矩阵。所述二次性能指标函数J(e(0)，u _e(0)，w(0))用于表示系统扰动对系统性能影响的大小。最优控制是指在系统扰动对系统的性能影响达到最大的条件下，能够使得系统性能指标函数达到最小并且能够使得系统稳定(即e(k)趋向于0)的系统控制。最优性能指标函数满足以下离散时间Hamilton-Jacobi-Isaacs(HJI)方程：

$J^{*}\left(e\left(k\right)\right)=\underset{u_e\left(k\right)}{\min }\underset{w\left(k\right)}{\max }\{U(e\left(k\right),u_e\left(k\right),w\left(k\right))+J^{*}\left(e(k+1)\right)\}.$

其中 $U(e\left(k\right),u_e\left(k\right),w\left(k\right))=e^T\left(k\right)\mathrm{Ae}\left(k\right)+u_e^T\left(k\right){\mathrm{Bu}}_e\left(k\right)-w^T\left(k\right)\mathrm{Cw}\left(k\right)$ 为效用函数，是系统性能指标函数在k时刻单步的性能。根据HJI方程，定义最优控制律和w^*(e(k))为

$\left\{\begin{array}{c}{w}^{*}\left(e\left(k\right)\right)=\arg \underset{w\left(k\right)}{\max }\left\{U(e\left(k\right),u_e\left(k\right),w\left(k\right)){+J}^{*}\left(e(k+1)\right)\right\},\\ u_e^{*}\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U(e\left(k\right),u_e\left(k\right),w^{*}\left(e\left(k\right)\right))+J^{*}\left(e(k+1)\right)\}.\end{array}\right.$

为了获得和w^*(e(k))，必须获得最优性能指标函数J^*(e(k))；要获得J^*(e(k))则必须先获得J^*(e(k+1))并考虑所有的系统控制u_e(k)和系统控制扰动变量w(k)，这些因素使HJI方程无法直接求解。因此，本发明提出了一种新型迭代自适应动态规划自学习最优控制方法获得和w^*(e(k))以及J^*(e(k))，使其满足HJI方程。

图3示出了本发明中迭代自适应动态规划自学习最优控制方法流程图。如图3所示，迭代自适应动态规划自学习最优控制方法是通过神经网络函数对最优性能指标函数J^*(e(k))进行逼近，具体步骤表示如下：

步骤1、令i＝0，对定义初始迭代性能指标函数：

${\hat{V}}_0\left(e\left(k\right)\right)\≡0.$

步骤2、根据初始迭代性能指标函数计算初始迭代扰动控制变量及初始迭代最优控制：

$w_0\left(e\left(k\right)\right)=\arg \underset{w\left(k\right)}{\max }\{U(e\left(k\right),u_e\left(k\right),w\left(k\right))+{\hat{V}}_0\left(e(k+1)\right)\},$

${\hat{u}}_0\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U(e\left(k\right),u_e\left(k\right),w_0\left(e\left(k\right)\right))+{\hat{V}}_0\left(e(k+1)\right)\}+{\mathrm{\ρ}}_0\left(e\left(k\right)\right).$

其中迭代控制律公式中ρ₀(e(k))为迭代初始情况下的有界控制迭代误差。

步骤3、更新下一迭代性能指标函数，采用神经网络获得更新后的性能指标函数表达式为：

${\hat{V}}_1\left(e\left(k\right)\right)=U\left(e\left(k\right)\right),{\hat{u}}_0\left(e\left(k\right)\right),w_0\left(e\left(k\right)\right)+{\hat{V}}_0\left(e(k+1)\right)+{\mathrm{\π}}_0\left(e\left(k\right)\right).$

公式中π₀(e(k))为初始有界性能指标函数迭代误差。

步骤4、令i＝i+1，计算第i次迭代的扰动控制变量：

$w_i\left(e\left(k\right)\right)=\arg \underset{w\left(k\right)}{\max }\{U(e\left(k\right),u_e\left(k\right),w\left(k\right))+{\hat{V}}_i\left(e(k+1)\right)\};$

迭代控制律具体求解过程如下：

对于迭代扰动控制w_i(e(k))，根据求导法则可以通过

$\frac{\∂(U(e\left(k\right),u_e\left(k\right),w\left(k\right))+{\hat{V}}_i\left(e(k+1)\right))}{\∂w\left(k\right)}=0$

来获得w_i(e(k))的表达式，w_i(e(k))具体可以表示为：

$w_i\left(e\left(k\right)\right)=\frac{1}{2}{C}^{-1}\frac{d{\hat{V}}_i\left(e(k+1)\right)}{\mathrm{de}(k+1)}.$

可以看到，当获得迭代性能指标函数后，w_i(e(k)即可直接获得。

步骤5、获得第i次迭代的系统控制，表达式为：

${\hat{u}}_i\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U(e\left(k\right),u_e\left(k\right),w_i\left(e\left(k\right)\right))+{\hat{V}}_i\left(e(k+1)\right)\}+{\mathrm{\ρ}}_i\left(e\left(k\right)\right).$

迭代控制律公式中ρ_i(e(k))为有界控制迭代误差。

迭代控制具体求解方法如下：

将w_i(e(k))带入到

${\hat{u}}_i\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U(e\left(k\right),u_e\left(k\right),w_i\left(e\left(k\right)\right))+{\hat{V}}_i\left(e(k+1)\right)\}+{\mathrm{\ρ}}_i\left(e\left(k\right)\right)$

表达式中，由于 $e(k+1)=\stackrel{\‾}{F}(e\left(k\right),u_e\left(k\right),\widehat{\mathrm{\Θ}}\left(k\right))+w\left(k\right)$ 系统对于u_e(k)是非线性的，一般情况下不能写出解析解的形式，只能获得数值解，因此需要对进行神经网络逼近获得。的求解方法如下：令的目标函数表示为：

${\stackrel{\‾}{u}}_i\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U(e\left(k\right),u_e\left(k\right),w_i\left(e\left(k\right)\right))+{\hat{V}}_i\left(e(k+1)\right)\}$

那么的数值解可以通过下式获得

$\frac{\∂(U(e\left(k\right),{\stackrel{\‾}{u}}_i\left(e\left(k\right)\right),w_i\left(e\left(k\right)\right))+{\hat{V}}_i\left(e(k+1)\right))}{\∂{\stackrel{\‾}{u}}_i\left(e\left(k\right)\right)}=0.$

由于是数值解，我们采用神经网络逼近即可获得神经网络逼近后的是一个函数。这样即可获得在扰动控制w_i(e(k))对系统性能影响最大(即使得迭代性能指标函数达到最大)情况下的迭代控制律

步骤6、使用神经网络函数逼近目标值获得下一迭代性能指标函数，表达式如下：

${\hat{V}}_{i+1}\left(e\left(k\right)\right)=U\left(e\left(k\right)\right),{\hat{u}}_i\left(e\left(k\right)\right),w_i\left(e\left(k\right)\right)+{\hat{V}}_i\left(e(k+1)\right)+{\mathrm{\π}}_i\left(e\left(k\right)\right).$

上式中π_i(e(k))为有界性能指标函数迭代误差。

随着i的增加，迭代性能指标函数变得越来越复杂，使得函数不能获得解析解而一般只能获得数值解(即离散值)。必须采用数值逼近的方法逼近函数本发明采用神经网络逼近将与w_i(e(k))带入到V_i+1(e(k))表达式中，可以获得性能指标函数的目标值：

$V_{i+1}\left(e\left(k\right)\right)=U(e\left(k\right),{\stackrel{\‾}{u}}_i\left(e\left(k\right)\right),w_i\left(e\left(k\right)\right))+{\hat{V}}_i\left(e(k+1)\right).$

步骤7、将(通过神经网络逼近得到)与w_i(e(k))带入到表达式中获得(通过神经网络逼近得到)。

由于因此V_i+1(e(k))也是数值解。通过数值比较的方式可以获得迭代性能指标函数与目标性能指标函数V_i+1(e(k))之间的误差σ≥1，满足

${\hat{V}}_{i+1}\left(e\left(k\right)\right)\≤\mathrm{\σ}{V}_{i+1}\left(e\left(k\right)\right).$

可以看到，σ是由有界控制迭代误差ρ_i(e(k))与有界性能指标函数迭代误差π_i(e(k))引起的。

步骤8、效用函数U(e(k)，u_e(k)，w(k))是已知函数而且V_i+1(e(k))数值解已获得，因此，可以通过数值比较的方式获得求解出参数γ，满足：

V_i+1(e(k+1))≤γU(e(k)，u_e(k)，w(k))。

步骤9、判断迭代性能指标函数的收敛性。如果不等式

$1\&le;\mathrm{\&sigma;}<\frac{\mathrm{\&gamma;}+1}{\mathrm{\&gamma;}}$

成立，那么性能指标函数收敛。转到步骤4继续计算，直到则算法停止。否则，减小控制迭代误差ρ_i(e(k))与性能指标函数迭代误差π_i(e(k))使得计算精度增加，转到步骤5重新求解迭代控制与迭代性能指标函数。

算法描述完毕。

如果对于均满足收敛条件那么可以证明当迭代指标i增大到∞时，迭代性能指标函数将收敛到最优性能指标函数的有界临域之内，即有

$\underset{i\&RightArrow;\&infin;}{\lim }{\hat{V}}_i\left(e\left(k\right)\right)={\hat{V}}_{\&infin;}\left(e\left(k\right)\right)\&le;\mathrm{\&sigma;}(1+\frac{\mathrm{\&gamma;}(\mathrm{\&sigma;}-1)}{1-\mathrm{\&gamma;}(\mathrm{\&sigma;}-1)})J^{*}\left(e\left(k\right)\right),$

其中，即是所获得的收敛域上界。因此，即为误差上界。根据令

$\left\{\begin{array}{c}{w}_{\&infin;}\left(e\left(k\right)\right)=\arg \underset{w\left(k\right)}{\max }\{U(e\left(k\right),u_e\left(k\right),w\left(k\right))+{\hat{V}}_{\&infin;}\left(e(k+1)\right)\},\\ {\hat{u}}_{\&infin;}\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U(e\left(k\right),u_e\left(k\right),w_{\&infin;}\left(e\left(k\right)\right))+{\hat{V}}_{\&infin;}\left(e(k+1)\right)\}+{\mathrm{\&rho;}}_{\&infin;}\left(e\left(k\right)\right).\end{array}\right.$

其中，w_∞代表了对系统的性能影响达到最大的条件下，也即为使得性能指标函数J(e(0)，u _e(0)，w(0))达到最大的条件下的系统扰动(这时系统性能最坏)，而表示在系统扰动最坏的情况下获得的系统最优控制律；ρ_∞(e(k))无穷是算法运算到无穷时的迭代误差。即可获得有效最优控制即为所求的最优控制律。

可以看到，本发明给出的迭代自适应动态规划自学习最优控制方法在系统扰动对系统影响最大的情况下仍然可以获得系统的最优控制律，因此本发明提出的方法具有很好的抗干扰性，在实际应用中具有很重要的意义。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种煤气化炉系统的炉温自学习控制方法，其包括：

S1、构建一个基于数据的煤气化炉系统炉温自学习系统模型，用于确定煤气化炉炉温变化；

S2、基于系统运行数据，利用三层BP神经网络构建输入煤中元素含量比例的煤质模型，用于确定煤质；

S3、基于系统运行数据，利用三层BP神经网络构建输入量参考控制模型，用于确定煤气化炉系统输入参考量；

S4、将构建的煤气化炉系统炉温自学习系统模型误差、煤质模型误差和输入量参考控制模型误差与系统外部扰动转化为煤气化炉系统炉温自学习系统控制模型的扰动控制变量；

S5、基于迭代自适应动态规划自学习最优控制方法，在所述扰动控制变量对所述系统温度控制误差影响最大的情况下建立求解最优控制的函数，最终获得系统的最优控制；其中所述最优控制表示使得煤气化炉炉温达到设定温度的煤气化炉的输入量；

其中，在步骤S1中构建的煤气化炉系统炉温自学习系统模型表示为：

$\left\{\begin{array}{c}\hat{x}(k+1)=\hat{F}(x\left(k\right),u\left(k\right),\mathrm{\&Theta;}\left(k\right))={\hat{W}}_{m1}^T\left(k\right)\mathrm{\&sigma;}\left(z\left(k\right)\right)\\ \hat{y}\left(k\right)=\hat{G}(x\left(k\right),u\left(k\right),\mathrm{\&Theta;}\left(k\right))={\hat{W}}_{m2}^T\left(k\right)\mathrm{\&sigma;}\left(z\left(k\right)\right)\end{array}\right.$

其中，为构建所述煤气化炉系统炉温自学习系统模型使用的神经网络近似函数，为煤气化炉系统炉温自学习系统模型中炉温的神经网络权值，为煤气化炉系统炉温自学习系统模型中输出的神经网络权值，z(k)＝[x^T(k),u^T(k),Θ^T(k)]^T为构建所述煤气化炉系统炉温自学习系统模型使用的神经网络的输入，为k+1时刻煤气化炉系统炉温自学习系统模型的炉温值，为k时刻煤气化炉系统炉温自学习系统模型的输出，x(k)为k时刻实际的炉温，u(k)为k时刻实际的各组分输入流量，Θ(k)为k时刻的实际煤质，σ(·)为训练系统控制模型使用的神经网络双极S型激活函数，如下表示：

$\mathrm{\&sigma;}\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}};$

所述煤质模型如下表示：

$\widehat{\mathrm{\&Theta;}}\left(k\right)={\hat{F}}_{\mathrm{\&Theta;}}\left(x\right(k),x(k+1),y(k),u(k\left)\right)={\hat{W}}_{\mathrm{\&Theta;}}^T\left(k\right)\mathrm{\&sigma;}\left(z_{\mathrm{\&Theta;}}\right(k\left)\right)$

其中，表示煤质模型输出，表示煤质模型的神经网络近似函数，为煤质模型神经网络权值，z_Θ(k)＝[x^T(k),x^T(k+1),y^T(k),u^T(k)]^T为煤质模型输入，x(k)为k时刻的实际炉温，u(k)为k时刻的实际各组分输入流量，y(k)为k时刻煤气化炉的实际输出组分流量，σ(·)为训练煤质模型使用的神经网络双极S型激活函数，如下表示：

$\mathrm{\&sigma;}\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$

所述煤质模型的具体权值如下更新得到：

${\hat{W}}_{\mathrm{\&Theta;}}^{j+1}\left(k\right)={\hat{W}}_{\mathrm{\&Theta;}}^j\left(k\right)-l_{\mathrm{\&Theta;}}\mathrm{\&sigma;}\left(z_{\mathrm{\&Theta;}}\right(k\left)\right){\widetilde{\mathrm{\&Theta;}}}^j\left(k\right),$

其中，l_Θ>0是学习率，为k时刻煤气化炉系统运行过程中测量得到的实际煤质Θ(k)和根据所述煤质模型输出的煤质的差值；j＝0,1,…，为迭代指标；

所述输入量参考控制模型如下所示：

${\hat{u}}_f\left(k\right){\hat{F}}_u\left(x\right(k),x(k+1),\mathrm{\&Theta;}(k\left)\right)={\hat{W}}_u^T\left(k\right)\mathrm{\&sigma;}\left(z_u\right(k\left)\right)$

其中，表示输入量参考控制模型的输出，表示参考控制函数，为输入量参考控制模型神经网络权值，z_u(k)＝[x^T(k),x^T(k+1),Θ^T(k)]^T为输入量参考控制模型输入，x(k)为k时刻的实际炉温，Θ(k)为k时刻的实际煤质，σ(·)为训练输入量参考控制模型使用的神经网络双极S型激活函数，如下表示：

$\mathrm{\&sigma;}\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$

所述输入量参考控制模型权值更新如下：

${\hat{W}}_u^{j+1}\left(k\right)={\hat{W}}_u^j\left(k\right)-l_u\mathrm{\&sigma;}\left(z_u\right(k\left)\right){\tilde{u}}_f^j\left(k\right),$

其中，l_u>0为神经网络学习率，为k时刻煤气化炉系统运行过程中测量得到的实际输入量u(k)和所述输入量参考控制模型输出的输入量的差值；

在步骤S4中转化后的煤气化炉系统炉温自学习系统的扰动控制变量使用如下所示的误差函数e(k)表示：

$e(k+1)=\stackrel{\&OverBar;}{F}\left(e\right(k),u_e(k),\widehat{\mathrm{\&Theta;}}(k\left)\right)+w\left(k\right)$

其中 $\stackrel{\&OverBar;}{F}\left(e\right(k),u_e(k),\widehat{\mathrm{\&Theta;}}(k\left)\right)=\hat{F}\left(\right(e\left(k\right)+\mathrm{\&eta;}),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)),\widehat{\mathrm{\&Theta;}}(k\left)\right)-\mathrm{\&eta;},$ $w\left(k\right)=\&dtri;\left({\mathrm{\&xi;}}_u\right){\mathrm{\&epsiv;}}_u\left(k\right)+\&dtri;\left({\mathrm{\&xi;}}_{\mathrm{\&Theta;}}\right){\mathrm{\&epsiv;}}_{\mathrm{\&Theta;}}\left(k\right)+{\mathrm{\&epsiv;}}_{m1}\left(k\right)+\mathrm{\&Delta;}u\left(k\right),$ 为所述扰动控制变量，Δu(k)为系统外部扰动，η为设定炉温，e(k)＝x(k)-η，为k时刻的炉温误差，x(k)为k时刻的炉温，u_e(k)为k时刻煤气化炉系统运行过程中测量得到的实际输入量u(k)与额定输入量u_d(k)的差值，表示输入量参考控制模型输出值，表示煤质模型的输出，Θ(k)为k时刻煤气化炉系统运行过程中测量得到的实际煤质，ε_m1(k)为系统控制模型建模误差，ε_Θ(k)为煤质模型建模误差，ε_u(k)为输入量参考控制模型建模误差；其中，

$\&dtri;\left({\mathrm{\&xi;}}_u\right)=\frac{\&part;\hat{F}\left(x\right(k),{\mathrm{\&xi;}}_u,\mathrm{\&Theta;}(k\left)\right)}{\&part;{\mathrm{\&xi;}}_u},\&dtri;\left({\mathrm{\&xi;}}_{\mathrm{\&Theta;}}\right)=\frac{\&part;\hat{F}\left(x\right(k),u(k\left){\mathrm{\&xi;}}_{\mathrm{\&Theta;}}\right)}{\&part;{\mathrm{\&xi;}}_{\mathrm{\&Theta;}}}$

$\left\{\begin{array}{c}{\mathrm{\&xi;}}_u=c_{u}u\left(k\right)+(1+c_u)\left(u_e\right(k)+{\hat{u}}_d(k)+{\mathrm{\&epsiv;}}_u(k\left)\right)\\ {\mathrm{\&xi;}}_{\mathrm{\&Theta;}}=c_{\mathrm{\&Theta;}}\mathrm{\&Theta;}\left(k\right)+(1-c_{\mathrm{\&Theta;}})\widehat{\mathrm{\&Theta;}}\left(k\right)\end{array}\right.$

其中，0≤c_u≤1，0≤c_Θ≤1为常数，为输入参考控制模型；

在步骤S5中所建立的求解最优控制的函数如下所示：

$\left\{\begin{array}{c}{w}^{*}\left(e\left(k\right)\right)=\arg \underset{w\left(k\right)}{max}\left\{U\right(e\left(k\right),u_e\left(k\right),w\left(k\right))+J*(e(k+1)\left)\right\},\\ u_e^{*}\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{min}\left\{U\right(e\left(k\right),u_e\left(k\right),w^{*}\left(e\left(k\right)\right))+J*(e\left(k+1\right)\left)\right\}\&CenterDot;\end{array}\right.$

$U\left(e\right(k),u_e(k),w\left(k\right))=e^T\left(k\right)Ae\left(k\right)+u_e^T\left(k\right){\mathrm{Bu}}_e\left(k\right)-w^T\left(k\right)Cw\left(k\right)$

$J^{*}\left(e\right(k\left)\right)=\underset{u_e\left(k\right)}{min}\underset{w\left(k\right)}{max}\{U\left(e\right(k),u_e(k),w(k\left)\right)+J^{*}\left(e\right(k+1\left)\right)\}$

其中，w^*(e(k))为对系统性能影响达到最大时的系统扰动值；为系统扰动取w^*(e(k))时使得性能指标函数取得最小值时的煤气化炉系统炉温自学习系统输入；U(e(k),u_e(k),w(k))为效用函数，e(k)为表示扰动控制变量的系统误差函数；u_e(k)为系统输入；w(k)为扰动控制变量，J^*(e(k))为离散时间HJI方程定义的最优性能指标函数，A、B、C为正定矩阵；k表示当前时刻k。

2.如权利要求1所述的煤气化炉系统的炉温自学习控制方法，其特征在于，所述神经网络权值和如下训练更新得到：

$\left\{\begin{array}{c}{\hat{W}}_{m1}(k+1)={\hat{W}}_{m1}\left(k\right)-l_{m1}\mathrm{\&sigma;}\left(z\left(k\right)\right){\tilde{x}}^T(k+1),\\ {\hat{W}}_{m2}(k+1)={\hat{W}}_{m2}\left(k\right)-l_{m2}\mathrm{\&sigma;}\left(z\left(k\right)\right){\tilde{y}}^T\left(k\right).\end{array}\right.$

其中,l_m1>0，l_m2>0为神经网络的学习率，为k+1时刻煤气化炉系统运行过程中测量得到的实际炉温和根据所述煤气化炉系统炉温自学习系统模型得到的炉温的差值，为k+1时刻煤气化炉系统运行过程中测量得到的实际输出y(k)和根据所述煤气化炉系统炉温自学习系统模型得到的输出的差值。

3.如权利要求1所述的煤气化炉系统的炉温自学习控制方法，其特征在于，所建立的最优控制的函数如下求解：

步骤1、令i＝0，对定义初始迭代性能指标函数：

${\hat{V}}_0\left(e\right(k\left)\right)\&equiv;0;$

步骤2、根据初始迭代性能指标函数计算初始迭代扰动控制变量及初始迭代最优控制：

${\hat{u}}_0\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{min}\{U\left(e\right(k),u_e(k),w_0(e\left(k\right)\left)\right)+{\hat{V}}_0\left(e\right(k+1\left)\right)\}+{\mathrm{\&rho;}}_0\left(e\right(k\left)\right),$

$w_0\left(e\right(k\left)\right)=\arg \underset{w\left(k\right)}{max}\{U\left(e\right(k),u_e(k),w(k\left)\right)+{\hat{V}}_0\left(e\right(k+1\left)\right)\},$

${\hat{V}}_0\left(e\right(k+1\left)\right)\&equiv;0;$

其中，ρ₀(e(k))为初始迭代有界控制迭代误差；

步骤3、更新下一迭代性能指标函数：

${\hat{V}}_1\left(e\right(k\left)\right)=U\left(e\right(k),{\hat{u}}_0(e\left(k\right)),w_0(e\left(k\right))+{\hat{V}}_0(e\left(k+1\right))+{\mathrm{\&pi;}}_0(e\left(k\right));$

步骤4、令i＝i+1，计算第i次迭代的扰动控制变量：

$w_i\left(e\right(k\left)\right)=\frac{1}{2}{C}^{-1}\frac{d{\hat{V}}_i\left(e\right(k+1\left)\right)}{de(k+1)};$

步骤5、使用神经网络逼近其目标值获得第i次迭代的系统控制，系统控制的表达式为：

${\hat{u}}_i\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{min}\{U\left(e\right(k),u_e(k),w_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k\left)\right)\}+{\mathrm{\&rho;}}_i\left(e\right(k\left)\right);$

其中，ρ_i(e(k))为第i次迭代的有界控制迭代误差；其目标值通过下式如下获得：

${\stackrel{\&OverBar;}{u}}_i\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{min}\{U\left(e\right(k),u_e(k),w_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)\};$

步骤6、使用神经网络函数逼近其目标值获得下一迭代性能指标函数，下一迭代性能指标函数表达式如下：

${\hat{V}}_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\hat{u}}_i(e\left(k\right)),w_i(e\left(k\right))+{\hat{V}}_i(e\left(k+1\right))+{\mathrm{\&pi;}}_i(e\left(k\right)),$

其中，π_i(e(k))为有界性能指标函数迭代误差；其目标值如下获得：

$V_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\stackrel{\&OverBar;}{u}}_i(e\left(k\right)),w_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right);$

步骤7、将与w_i(e(k))带入到表达式中获得并通过数值比较的方式获得迭代性能指标函数与性能指标函数目标值V_i+1(e(k))之间的误差σ≥1，满足：

${\hat{V}}_{i+1}\left(e\right(k\left)\right)\&le;{\mathrm{\&sigma;V}}_{i+1}\left(e\right(k\left)\right);$

步骤8、根据下式获得参数γ，满足：

V_i+1(e(k+1))≤γU(e(k),u_e(k),w(k))；

步骤9、判断神经网络函数逼近得到的的收敛性，若收敛则转步骤4继续计算，直到否则减小有界控制迭代误差ρ_i(e(k))与性能指标函数迭代误差π_i(e(k))，并转步骤5重新求解。