CN103645633B - 一种变换炉系统的炉温自学习控制方法 - Google Patents

Abstract

本发明公开了一种变换炉系统的炉温控制方法，该方法包括依次执行的如下步骤：采集变换炉在某段时间内的输入数据和输出数据，构建一个基于数据的变换炉系统炉温控制模型，该模型利用神经网络构建变换炉系统动态特性，用于确定变换炉炉温变化情况；根据所采集的数据，利用三层BP神经网络构建参考控制模型，用于确定变换炉系统输入参考量；将构建的带有变换炉系统炉温控制模型误差和参考控制模型误差的最优跟踪控制问题，利用系统变换转化为最优调节器问题；基于迭代自适应动态规划最优控制方法，求解最优控制的函数，最终获得系统的最优控制。本发明能够高效、实时、最优化控制变换炉温度，实现变换炉系统最优化运行。

Description

一种变换炉系统的炉温自学习控制方法

技术领域

本发明属于变换炉技术领域，具体涉及变换炉的炉温控制方法，特别是一种通过变换炉系统的运行数据对变换炉炉温进行自学习最优控制的方法。

背景技术

变换炉是一种重要的化工设备，是煤气化制甲醇、煤变换联合循环发电等系统中变换工序的核心设备。变换炉以来自水煤浆制气工序的水煤气为原料，利用催化剂提高变换反应速率将水煤气中的CO和H₂O转化为CO₂和H₂。其工作过程简述如下：来自气化工序的水煤气分为两股进入变换炉，一股是经中温换热器，预热后进入变换炉上段，另一股是作为激冷气直接进入变换炉中段，气体在变换炉内发生变换反应，COS水解反应等一系列复杂物理化学过程，最终生成甲醇合成工序所需的具有合适氢碳比的生成气。

变换炉具有工艺流程复杂、设备庞大、反应滞后、耦合严重等特点。一方面通过变换的主要工作机理分析变换炉的工作动态，另一方面要根据变换炉运行特性对变换炉温度等重要参数进行最优调控，优化变换炉运行，提高变换炉系统运行效率并避免不必要的事故发生。然而在实际生产过程中，变换炉设备庞大，炉内温度高，反应剧烈以及时滞现象严重等使得变换炉的数学机理模型难以建立，这给变换炉系统优化与控制带来极大的困难。在变换炉系统每日运行过程中都会存储大量的数据，因此基于变换炉系统的运行数据，设计一套有效的最优控制方案，使得变换炉系统能够智能调控在最优工作状态是变换炉控制技术发展亟需解决的问题。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是利用变换炉系统运行数据与神经网络，构建变换炉系统神经网络模型以及参考控制神经网络模型，采用基于自适应动态规划的方法，最优化控制变换炉的炉温工作状态。

(二)技术方案

基于变换系统生产过程的运行数据，利用自适应动态规划理论，构建变换炉系统炉温控制神经网络模型、以及参考控制神经网络模型，综合考虑建模误差，采用迭代自适应动态规划方法获得系统最优控制方案，实现变换炉系统温度最优化运行。

具体来说，本发明提出一种变换炉系统的炉温自学习控制方法，其包括：

S1、根据变换炉系统实际运行数据构建一个三层反向传播神经网络炉温控制模型，该炉温控制模型的输入为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量，输出为当前时刻生成物中CO、CO₂、H₂和H₂O的输出流量，状态参数为当前时刻与下一时刻变换炉的炉温；

S2、根据所述变换炉系统实际运行数据构建一个三层反向传播神经网络参考控制模型，该参考控制模型的输入为当前时刻炉温和下一时刻的炉温，输出为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量；

S3、将当前实际炉温与额定炉温之间的差作为系统状态误差，将当前实际输入流量和额定输入流量之间的差作为输入流量控制误差，根据所述炉温控制模型和参考控制模型，得到与输入流量控制误差相关的炉温误差函数；

S4、基于迭代自适应动态规划最优控制方法，根据所述炉温误差函数求解出最优输入流量控制误差函数，获得最优的变换炉炉温控制输入量。

根据本发明的具体实施方式，在步骤S1中构建的所述炉温控制模型表示为：

$\left\{\begin{array}{c}\hat{x}(k+1)=\hat{F}(x\left(k\right),u\left(k\right))={\hat{W}}_{m1}^T\left(k\right){\mathrm{\σ}}_1\left(z\left(k\right)\right)\\ \hat{y}\left(k\right)=\hat{G}(x\left(k\right),u\left(k\right))={\hat{W}}_{m2}^T\left(k\right){\mathrm{\σ}}_2\left(z\left(k\right)\right)\end{array}\right.,$

其中，为神经网络系统函数，为变换炉系统炉温控制模型的神经网络权值，为变换炉系统输出模型的神经网络权值，z(k)＝[x^T(k),u^T(k)]^T为构建所述变换炉炉温控制模型使用的神经网络的输入，为k+1时刻变换炉炉温控制模型的炉温值，为k时刻变换炉炉温控制模型的输出，x(k)为k时刻实际的炉温，u(k)为k时刻实际的组分输入流量，σ(·)为训练炉温控制模型使用的神经网络双极S型激活函数，如下表示：

${\[\mathrm{\σ}\left(z\right)\]}_i=\frac{e^{z_i}-e^{-z_i}}{e^{z_i}+e^{-z_i}}.$

根据本发明的具体实施方式，在步骤S1中所述神经网络权值和通过如下训练更新得到：

$\left\{\begin{array}{c}{\hat{W}}_{m1}^{j+1}(k+1)={\hat{W}}_{m1}^j\left(k\right)-l_{m1}{\mathrm{\σ}}_1\left(z\left(k\right)\right){\tilde{x}}^{jT}(k+1)\\ {\hat{W}}_{m2}^{j+1}(k+1)={\hat{W}}_{m2}^j\left(k\right)-l_{m2}{\mathrm{\σ}}_2\left(z\left(k\right)\right){\tilde{y}}^{jT}\left(k\right)\end{array}\right.,$

其中，l_m1>0，l_m2>0为神经网络的学习率，为k+1时刻根据所述变换炉炉温控制模型得到的炉温和变换炉系统运行过程中测量得到的实际炉温的差值，为k+1时刻根据所述变换炉炉温控制模型得到的输出和变换炉系统运行过程中测量得到的实际输出y(k)的差值。

根据本发明的具体实施方式，在步骤S2中所述参考控制模型如下所示：

${\hat{u}}_f\left(k\right)={\hat{F}}_u\left(x\right(k),x(k+1\left)\right)={\hat{W}}_u^T\left(k\right){\mathrm{\σ}}_u\left(z_u\right(k\left)\right),$

其中，表示参考控制模型的输出，表示参考控制函数，为参考控制模型神经网络权值，z_u(k)＝[x^T(k),x^T(k+1)]^T为参考控制模型输入，x(k)为k时刻的实际炉温，x(k+1)为k+1时刻的实际炉温，σ_u(·)为训练参考控制模型使用的神经网络双极S型激活函数，如下表示：

${\mathrm{\σ}}_u\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}.$

根据本发明的具体实施方式，在步骤S2中所述参考控制模型权值更新如下：

${\hat{W}}_u^{j+1}\left(k\right)={\hat{W}}_u^j\left(k\right)-l_u{\mathrm{\σ}}_u\left(z_u\right(k\left)\right){\tilde{u}}_f^j\left(k\right),$

其中，l_u>0为神经网络学习率，为k时刻所述参考控制模型的输出和变换炉系统运行过程中测量得到的实际输入量u(k)的差值。

根据本发明的具体实施方式，在步骤S3中转化后的变换炉炉温使用如下所示的误差函数e(k)表示：

$\begin{array}{c}e(k+1)=\stackrel{\‾}{F}\left(e\right(k),u_e(k\left)\right)\\ =\hat{F}\left(\right(e\left(k\right)+\mathrm{\τ}),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)\left)\right)-\mathrm{\τ}+\▿\hat{F}\left({\mathrm{\ξ}}_u\right){\mathrm{\ϵ}}_u\left(k\right)+{\mathrm{\ϵ}}_m\left(k\right)\end{array},$

其中，为变换后的系统模型，为神经网络系统模型；令τ为设定炉温，e(k)＝x(k)-τ为k时刻的炉温误差，x(k)为k时刻的炉温；u_e(k)＝u(k)-u_d(k)为k时刻变换炉系统运行过程中测量得到的实际输入量u(k)与额定输入量u_d(k)的差值；令表示参考控制模型输出值，ε_m(k)为炉温控制模型建模误差，ε_u(k)为参考控制模型建模误差；令与ξ_u分别表示为

$\▿\hat{F}\left({\mathrm{\ξ}}_u\right)=\frac{\∂\hat{F}\left(\right(e\left(k\right)+\mathrm{\τ}),{\mathrm{\ξ}}_u)}{\∂{\mathrm{\ξ}}_u},$

${\mathrm{\ξ}}_u=c_u\left(u_e\right(k)+{\hat{u}}_d(k\left)\right)+(1-c_u)\left(u_e\right(k)+{\hat{u}}_d(k)+{\mathrm{\ϵ}}_u(k\left)\right),$

其中0≤c_u≤1为常数。

根据本发明的具体实施方式，在步骤S4中所建立的求解最优控制的函数如下所示：

$\left\{\begin{array}{c}U(e\left(k\right),u_e\left(k\right))=e^T\left(k\right)Qe\left(k\right)+u_e^T\left(k\right)R{u}_e\left(k\right)\\ J^{*}\left(e\left(k\right)\right)=\underset{u_e\left(k\right)}{\inf }\left\{U\right(e\left(k\right),u_e\left(k\right))+J^{*}(e\left(k+1\right)\left)\right\}\\ u_e^{*}\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\inf }\left\{U\right(e\left(k\right),u_e\left(k\right))+J^{*}(e\left(k+1\right)\left)\right\}\end{array}\right.,$

其中，U(e(k),u_e(k))为效用函数，e(k)为系统状态误差，u_e(k)为系统输入误差，Q、R为正定矩阵，J^*(e(k))为最优性能指标函数，为最优控制律。

根据本发明的具体实施方式，在步骤S4中所建立的最优控制的函数如下求解：

步骤S4-1、令i＝0，对给定容许控制μ(e(k))，定义初始迭代性能指标函数：

V₀(e(k))＝P(e(k))，

其中P(e(k))＝U(e(k),μ(e(k)))+P(e(k+1))；

步骤S4-2、根据初始迭代性能指标函数计算初始控制：

${\hat{u}}_0\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U\left(e\right(k),u_e(k\left)\right)+{\hat{V}}_0\left(e\right(k+1\left)\right)\}+{\mathrm{\ρ}}_0\left(e\right(k\left)\right),$

其中迭代控制律公式中ρ₀(e(k))为初始情况下的有界控制迭代误差；

步骤S4-3、更新下一迭代性能指标函数，采用神经网络获得更新后的性能指标函数表达式为：

${\hat{V}}_1\left(e\right(k\left)\right)=U\left(e\right(k),{\hat{u}}_0(e\left(k\right)\left)\right)+{\hat{V}}_0\left(e\right(k+1\left)\right)+{\mathrm{\π}}_0\left(e\right(k\left)\right),$

公式中π₀(e(k))为初始有界性能指标函数迭代误差；

步骤S4-4、获得第i次迭代的系统控制，表达式为：

${\hat{u}}_i\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U\left(e\right(k),u_e(k\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)\}+{\mathrm{\ρ}}_i\left(e\right(k\left)\right),$

迭代控制律公式中ρ_i(e(k))为有界控制迭代误差；

步骤S4-5、使用神经网络函数逼近目标值获得下一迭代性能指标函数，表达式如下：

${\hat{V}}_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\hat{u}}_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)+{\mathrm{\π}}_i\left(e\right(k\left)\right),$

上式中π_i(e(k))为有界性能指标函数迭代误差；

可按下式获得性能指标函数的目标值：

$V_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\stackrel{\‾}{u}}_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right),$

其中 ${\stackrel{\‾}{u}}_i\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U\left(e\right(k),u_e(k\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)\}$ 为控制目标函数；

步骤S4-6、将带入到表达式中获得并通过数值比较的方式获得迭代性能指标函数与性能指标函数目标值V_i+1(e(k))之间的误差σ≥1，满足：

${\hat{V}}_{i+1}\left(e\right(k\left)\right)\≤{\mathrm{\σV}}_{i+1}\left(e\right(k\left)\right);$

步骤S4-7、通过数值比较的方式获得求解出参数γ、δ，其中0<γ<∞、1≤δ<∞满足：

$P\left(\stackrel{\&OverBar;}{F}\right(e\left(k\right),u_e\left(k\right)\left)\right)\&le;\mathrm{\&gamma;}U\left(e\right(k),u_e(k\left)\right),$

V₀(e(k))≤δP(e(k))；

步骤S4-8、判断迭代性能指标函数的收敛性；如果不等式

$\mathrm{\&sigma;}\&le;1+\frac{\mathrm{\&delta;}-1}{\mathrm{\&gamma;}\mathrm{\&delta;}}$

成立，那么性能指标函数收敛，并且迭代控制为稳定控制，转到步骤S4-4继续计算，直到则算法停止；否则，减小控制迭代误差ρ_i(e(k))与性能指标函数迭代误差π_i(e(k))使得计算精度增加，转到步骤S4-2重新求解迭代控制与迭代性能指标函数。

(三)有益效果

本发明根据变换炉系统运行数据，构建变换炉系统的神经网络模型，综合考虑建模误差，采用迭代自适应动态规划方法获得系统最优控制方案，从而能够高效、实时、最优化控制变换炉温度，实现变换炉系统最优化运行。

附图说明

图1是本发明的变换炉系统的炉温控制方法所使用的变换炉的结构示意图；

图2是本发明的变换炉系统的炉温控制方法流程图；

图3是本发明的变换炉系统的炉温控制方法所使用的迭代自适应动态规划最优控制方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1是本发明中变换炉的结构示意图。如图1所示，变换炉1包括进料口2、出料口3。需要说明的是，该图1只是示意性的简图，实际的变换炉还包括其他各工作部件，但其皆为本领域的技术人员熟知，并且不影响本发明的控制方法，因而在此不加赘述。

图2示出了本发明中变换炉系统的炉温控制方法流程图。该方法包括依次执行的如下步骤：

S1、根据变换炉系统实际运行数据构建一个三层反向传播神经网络炉温控制模型，该炉温控制模型的输入为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量，输出为当前时刻生成物中CO、CO₂、H₂和H₂O的输出流量，状态参数为当前时刻与下一时刻变换炉的炉温；

S2、根据所述变换炉系统实际运行数据构建一个三层反向传播神经网络参考控制模型，该参考控制模型的输入为当前时刻炉温和下一时刻的炉温，输出为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量；

S3、将当前实际炉温与额定炉温之间的差作为系统状态误差，将当前实际输入流量和额定输入流量之间的差作为输入流量控制误差，根据所述炉温控制模型和参考控制模型，得到与输入流量控制误差相关的炉温误差函数；

S4、基于迭代自适应动态规划最优控制方法，根据所述炉温误差函数求解出最优输入流量控制误差函数，获得最优的变换炉炉温控制输入量。

下面分别介绍上述各个步骤。

S1、根据变换炉系统实际运行数据构建一个三层反向传播神经网络炉温控制模型，该炉温控制模型的输入为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量，输出为当前时刻生成物中CO、CO₂、H₂和H₂O的输出流量，状态参数为当前时刻与下一时刻变换炉的炉温。

本发明的变换炉系统炉温控制模型基于变换炉运行期间积累的数据，利用人工神经网络进行构建，无需变换炉的具体反应机理模型。根据变换炉系统内部的反应原理，按照变换炉运行时得到的相关历史数据，包括系统输入变量、输出变量以及系统状态变量，利用人工神经网络构建变换炉系统的控制模型。

稳态建模具体描述如下：变换炉进料口2的原料为CO(一氧化碳)、CO₂(二氧化碳)、H₂(氢气)、H₂O(水)，要求构建相应的控制模型，预测未来变换炉内的温度变化情况并计算出料口3生成物中的CO(一氧化碳)、CO₂(二氧化碳)、H₂(氢气)、H₂O(水)的量。

变换炉中主要考虑的化学反应如下：

注：根据变换炉中反应的化学方程式，可逆变换反应的平衡条件只与温度有关，利用人工神经网络理论，在获得一段时间内变换炉输入输出物料的数据以及变换炉内状态变量的基础上，不需要具体的机理模型，即可构建变换炉系统的控制模型。

所构建的变换炉系统的炉温控制模型的输入数据为当前k时刻CO、CO₂、H₂、H₂O的输入流量

$P\left(k\right)={\&lsqb;P_{CO}\left(k\right),P_{{\mathrm{CO}}_2}\left(k\right),P_{H_2}\left(k\right),P_{H_{2}O}\left(k\right)\&rsqb;}^T,$

其中P_CO(k)为一氧化碳输入流量(立方米/秒)，为二氧化碳输入流量(立方米/秒)，为氢气输入流量(立方米/秒)，为水蒸气输入流量(立方米/秒)。定义变换炉内当前时刻温度为x(k)(摄氏度℃)，下一时刻k+1变换炉内温度x(k+1)(摄氏度℃)。

当前k时刻变换炉各组分输出流量为

$y\left(k\right)={\&lsqb;R_{CO}\left(k\right),R_{{\mathrm{CO}}_2}\left(k\right),R_{H_2}\left(k\right),R_{H_{2}O}\left(k\right)\&rsqb;}^T,$

其中R_CO(k)为一氧化碳输出流量(立方米/秒)，为二氧化碳输出流量(立方米/秒)，为氢气输出流量(立方米/秒)，为水蒸气输出流量(立方米/秒)。则变换炉系统的炉温控制模型的函数表达式为

$\left\{\begin{array}{c}x(k+1)=F(x\left(k\right),P\left(k\right))\\ y\left(k\right)=G(x\left(k\right),P\left(k\right))\end{array}\right.,$

其中F，G为未知的变换炉系统函数。对于变换炉系统，输入为CO、CO₂、H₂、H₂O的混合气体，该气体一般来源于前一化学反应过程，每一组分的比例是无法控制的，但可以通过测量得到。所以，用分别表示CO、CO₂、H₂、H₂O组分的含量百分比，则控制输入可表示为其中u(k)表示控制输入量的流速。

由此，变换炉系统的炉温控制模型的函数表示为：

$\{\begin{array}{c}x(k+1)=F\left(x\right(k),u(k\left)\right)\\ y\left(k\right)=G\left(x\right(k),u(k\left)\right)\end{array}.$

变换炉系统的炉温控制模型采用三层反向传播(BP)神经网络进行构建。BP神经网络的结构包括输入层、隐层和输出层三层结构，激活函数为双极S型函数。令隐含层神经元个数为L，输入层与隐含层间权值矩阵为Y，隐含层与输出层间权值矩阵为W，神经网络的输入为X，那么神经网络可以表示为

${\hat{F}}_N(X,Y,W)=W\mathrm{\&sigma;}\left(YX\right),$

其中σ(YX)∈R^L， ${\&lsqb;\mathrm{\&sigma;}\left(z\right)\&rsqb;}_i=\frac{e^{z_i}-e^{-z_i}}{e^{z_i}+e^{-z_i}},i=1,\mathrm{...}L.$

为了加快神经网络的训练速度，令输入层与隐含层间权值矩阵Y为任意随机权值矩阵。当Y给定后其值固定不变，其值不进行更新，只调节隐含层与输出层权值矩阵W。因此，神经网络的可以简化成如下形式

${\hat{F}}_N(X,W)=W\mathrm{\&sigma;}\left(X\right).$

本发明中所有的神经网络均采用此结构，后文中关于利用神经网络结构构建参考控制模型中将不再赘述。

根据上述神经网络原理，利用一段时间内变换炉运行所积累的数据，即得到了相应的输入输出数据，可以训练相应的神经网络使其收敛，最后得到成熟的网络模型，然后即可根据该训练得到的网络模型和输入数据获得下一时刻的温度值。变换炉系统的炉温控制模型可以用神经网络进一步表示为：

$\left\{\begin{array}{c}\hat{x}(k+1)=\hat{F}(x\left(k\right),u\left(k\right))={\hat{W}}_{m1}^T\left(k\right){\mathrm{\&sigma;}}_1\left(z\left(k\right)\right)\\ \hat{y}\left(k\right)=\hat{G}(x\left(k\right),u\left(k\right))={\hat{W}}_{m2}^T\left(k\right){\mathrm{\&sigma;}}_2\left(z\left(k\right)\right)\end{array}\right.,$

其中，为神经网络系统函数，为变换炉系统状态(炉温)的估计值，为变换炉系统输出的估计值，为变换炉系统炉温的神经网络权值，为变换炉系统输出的神经网络权值，z(k)＝[x^T(k),u^T(k)]^T为神经网络输入，σ(·)为神经网络双极S型激活函数。

若理想的变换炉系统炉温的神经网络权值与变换炉系统输出的神经网络权值分别表示为和则用理想神经网络表示变换炉系统的炉温控制模型为

$\left\{\begin{array}{c}x(k+1)=F(x\left(k\right),u\left(k\right))=W_{m1}^{*T}{\mathrm{\&sigma;}}_1\left(z\left(k\right)\right)\\ y\left(k\right)=G(x\left(k\right),u\left(k\right))=W_{m2}^{*T}{\mathrm{\&sigma;}}_2\left(z\left(k\right)\right)\end{array}\right..$

神经网络训练采用单层权值训练方法，具体权值更新如下：

$\left\{\begin{array}{c}{\hat{W}}_{m1}^{j+1}\left(k\right)={\hat{W}}_{m1}^j\left(k\right)-l_{m1}{\mathrm{\&sigma;}}_1\left(z\left(k\right)\right){\tilde{x}}^T(k+1)\\ {\hat{W}}_{m2}^{j+1}\left(k\right)={\hat{W}}_{m2}^j\left(k\right)-l_{m2}{\mathrm{\&sigma;}}_2\left(z\left(k\right)\right){\tilde{y}}^T\left(k\right)\end{array}\right.,$

其中l_m1>0，l_m2>0为神经网络的学习率，为神经网络输出与测量到的温度数据x(k+1)的差值，为神经网络输出与测量到的输出数据y(k)的差值。本网络的权值调整特点为只调整隐层与输出层之间的权值，输入层和隐层之间的权值随机初始化后不再调整。可以证明，只调整隐层与输出层之间的权值就可以使神经网络权值收敛，即有同时该方法能够大幅提高神经网络的收敛速度，缩短神经网络的训练时间，提高运算效率。

S2、根据所述变换炉系统实际运行数据构建一个三层反向传播神经网络参考控制模型，该参考控制模型的输入为当前时刻炉温和下一时刻的炉温，输出为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量。

根据S1构建的变换炉系统炉温控制模型可知，变换炉工作状态即变换炉炉温与进料口输入物料量有直接关系，其将直接影响到下一时刻的工作状态。由于变换炉炉温需要在设定温度下进行工作以保证炉内变换反应的正常运行，因此针对不同输入物料的相关运行数据，需要建立相应的参考控制模型(采用神经网络建立)，确定进料口物料输入量值。

参考控制模型的输入数据为当前时刻温度x(k)，下一时刻温度x(k+1)，输出数据为当前时刻变换炉的原料输入流量u_f(k)。其神经网络的函数表示为：u_f(k)＝F_u(x(k),x(k+1))。其中，F_u为未知参考控制函数。参考控制网络采用BP神经网络进行构建，激活函数为双极S型。用神经网络表示为

$u_f\left(k\right)=F_u\left(x\right(k),x(k+1\left)\right)={W^{*}}_u^T{\mathrm{\&sigma;}}_u\left(z_u\right(k\left)\right),$

其中，为参考控制神经网络理想权值，z_u(k)＝[x^T(k),x^T(k+1)]^T为参考控制模型的输入量。利用变换炉系统运行数据，训练相应的神经网络使其收敛，即可获得相应的参考控制神经网络模型。参考控制神经网络模型如下：

${\hat{u}}_f\left(k\right)={\hat{F}}_u\left(x\right(k),x(k+1\left)\right)={\hat{W}}_u^T\left(k\right){\mathrm{\&sigma;}}_u\left(z_u\right(k\left)\right),$

其中，表示参考控制模型的输出，为参考控制神经网络权值，z_u(k)＝[x^T(k),x^T(k+1)]^T为参考控制模型的输入。参考控制神经网络权值更新为

${\hat{W}}_u^{j+1}\left(k\right)={\hat{W}}_u^j\left(k\right)-l_u{\mathrm{\&sigma;}}_u\left(z_u\right(k\left)\right){\tilde{u}}_f^j\left(k\right),$

其中，l_u>0为神经网络学习率，为参考控制神经网络的输出量与当前时刻的输入控制量的差值，当前时刻输入控制量可以通过仪表直接读取。本神经网络只调整隐层与输出层之间的权值，输入层和隐层之间的权值随机初始化后不再调整。可以证明，只调整隐层与输出层之间的权值可以使神经网络权值收敛，即而且该方法能够大幅提高神经网络的收敛速度，缩短神经网络的训练时间，提高运算效率。

S3、将当前实际炉温与额定炉温之间的差作为系统状态误差，将当前实际输入流量和额定输入流量之间的差作为输入流量控制误差，根据所述炉温控制模型和参考控制模型，得到与输入流量控制误差相关的炉温误差函数。

额定炉温(所要调节到的炉温)若为τ，则系统状态误差即当前炉温与额定炉温的差，可表示为e(k)＝x(k)-τ。

定义在额定炉温τ下的参考输入量为额定输入流量，表示为u_d(k)，用u^e(k)＝u(k)-u_d(k)表示k时刻变换炉系统运行过程中测量得到的实际输入流量与额定输入流量的差值，即输入流量控制误差。其中u_d(k)＝F_u(τ,τ)，其神经网络模型可以表示为：

${\hat{u}}_d\left(s\right)={\hat{F}}_u(\mathrm{\&tau;},\mathrm{\&tau;})={\hat{W}}_u^T\left(k\right){\mathrm{\&sigma;}}_u(\mathrm{\&tau;},\mathrm{\&tau;}).$

若用ε_u(k)表示参考控制模型神经网络的建模误差，则有输入流量控制误差可表示为

$u_e\left(k\right)=u\left(k\right)-{\hat{u}}_d\left(k\right)-{\mathrm{\&epsiv;}}_u\left(k\right).$

另一方面，ε_m(k)表示炉温控制模型神经网络的建模误差，则系统状态可表示为

$x(k+1)=\hat{F}\left(z\right(k\left)\right)+{\mathrm{\&epsiv;}}_m\left(k\right)={\hat{W}}_{m1}^T{\mathrm{\&sigma;}}_1\left(z\right(k\left)\right)+{\mathrm{\&epsiv;}}_m\left(k\right),$

由于神经网络具有全局逼近性，因此建模误差的上界可以获得，其上界即为神经网络的训练精度。因此有根据中值定理可以获得：

$\begin{array}{c}x(k+1)=\hat{F}\left(x\right(k),u(k\left)\right)+{\mathrm{\&epsiv;}}_m\left(k\right)\\ =\hat{F}\left(x\right(k),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)+{\mathrm{\&epsiv;}}_u\left(k\right)\left)\right)+{\mathrm{\&epsiv;}}_m\left(k\right)\\ =\hat{F}\left(\right(e\left(k\right)+\mathrm{\&tau;}),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)\left)\right)+\&dtri;\hat{F}\left({\mathrm{\&xi;}}_u\right){\mathrm{\&epsiv;}}_u\left(k\right)+{\mathrm{\&epsiv;}}_m\left(k\right)\end{array}$

其中， $\&dtri;\hat{F}\left({\mathrm{\&xi;}}_u\right)=\frac{\&part;\hat{F}\left(\right(e\left(k\right)+\mathrm{\&tau;}),{\mathrm{\&xi;}}_u)}{\&part;{\mathrm{\&xi;}}_u},$

${\mathrm{\&xi;}}_u=c_u\left(u_e\right(k)+{\hat{u}}_d(k\left)\right)+(1-c_u)\left(u_e\right(k)+{\hat{u}}_d(k)+{\mathrm{\&epsiv;}}_u(k\left)\right),$ 0≤c_u≤1为常数。由于ε_u(k)与ε_m(k)的上界均可获得，因此的上界可以获得，即有那么可得到转换后的系统炉温误差函数：

$\begin{array}{c}e(k+1)=\stackrel{\&OverBar;}{F}\left(e\right(k),u_e(k\left)\right)\\ =\hat{F}\left(\right(e\left(k\right)+\mathrm{\&tau;}),(u_e\left(k\right)+{\hat{u}}_d\left(k\right)\left)\right)-\mathrm{\&tau;}+\&dtri;\hat{F}\left({\mathrm{\&xi;}}_u\right){\mathrm{\&epsiv;}}_u\left(k\right)+{\mathrm{\&epsiv;}}_m\left(k\right)\end{array}.$

可以看到已将原跟踪控制系统有效地转换成调节器控制系统。本发明的目标是获得有效的最优输入流量控制误差u_e(k)，使得系统误差稳定，e(k)趋向于0，则炉温x(k)趋向于设定目标温度τ。

S4、基于迭代自适应动态规划最优控制方法，根据所述炉温误差函数求解出最优输入流量控制误差函数，获得最优的变换炉输入量的函数。最优的系统控制表示最优的变换炉输入量(以下简称最优控制)，使得变换炉炉温达到设定炉温。

根据最优控制和相关的设计问题，定义了以下二次性能指标函数：

$J\left(e\right(0),{\underset{\&OverBar;}{u}}_e(0\left)\right)=\underset{k=0}{\overset{\mathrm{\&infin;}}{\&Sigma;}}\left(e^T\right(k\left)Qe\right(k)+u_e^T(k\left){\mathrm{Ru}}_e\right(k\left)\right),$

其中，Q、R>0，均为正定矩阵。所述二次性能指标函数用于表示系统控制对系统性能影响的大小。最优控制是指能够使得系统性能指标函数达到最小并且能够使得系统稳定(即e(k)趋向于0)的系统控制。最优性能指标函数可表示为

$J^{*}\left(e\right(k\left)\right)=\underset{{\underset{\&OverBar;}{u}}_e\left(k\right)}{\inf }\left\{J\left(e\right(k),{\underset{\&OverBar;}{u}}_e(k\left)\right)\right\},$

且满足以下离散时间Hamilton-Jacobi-Bellman(HJB)方程：

$J^{*}\left(e\right(k\left)\right)=\underset{u_e\left(k\right)}{\inf }\{U\left(e\right(k),u_e(k\left)\right)+J^{*}\left(e\right(k+1\left)\right)\},$

其中 $U\left(e\right(k),u_e(k\left)\right)=e^T\left(k\right)Qe\left(k\right)+u_e^T\left(k\right){\mathrm{Ru}}_e\left(k\right)$ 为效用函数，是系统性能指标函数在k时刻单步的性能。根据HJB方程，定义最优控制律为

$u_e^{*}\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{\inf }\{U\left(e\right(k),u_e(k\left)\right)+J^{*}\left(e\right(k+1\left)\right)\}.$

因此，HJB方程可表示为

$J^{*}\left(e\right(k\left)\right)=U\left(e\right(k),u_e^{*}(k\left)\right)+J^{*}\left(e\right(k+1\left)\right).$

为了获得必须获得最优性能指标函数J^*(e(k))。要获得J^*(e(k))则必须先获得J^*(e(k+1))并考虑所有的系统控制u_e(k)，这些因素使HJB方程无法直接求解。因此，本发明提出了一种新型迭代自适应动态规划最优控制方法获得以及J^*(e(k))，使其满足HJB方程。

图3示出了本发明中迭代自适应动态规划最优控制方法流程图。迭代自适应动态规划最优控制方法是通过神经网络函数对最优性能指标函数J^*(e(k))进行逼近，具体步骤表示如下：

步骤S4-1、令i＝0，对给定容许控制μ(e(k))，定义初始迭代性能指函数：

V₀(e(k))＝P(e(k))，

其中P(e(k))＝U(e(k),μ(e(k)))+P(e(k+1))。

步骤S4-2、根据初始迭代性能指标函数计算初始控制：

${\hat{u}}_0\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U\left(e\right(k),u_e(k\left)\right)+{\hat{V}}_0\left(e\right(k+1\left)\right)\}+{\mathrm{\&rho;}}_0\left(e\right(k\left)\right).$

其中迭代控制律公式中ρ₀(e(k))为迭代初始情况下的有界控制迭代误差。

步骤S4-3、更新下一迭代性能指标函数，采用神经网络获得更新后的性能指标函数表达式为：

${\hat{V}}_1\left(e\right(k\left)\right)=U\left(e\right(k),{\hat{u}}_0(e\left(k\right)\left)\right)+{\hat{V}}_0\left(e\right(k+1\left)\right)+{\mathrm{\&pi;}}_0\left(e\right(k\left)\right).$

公式中π₀(e(k))为初始有界性能指标函数迭代误差。

步骤S4-4、获得第i次迭代的系统控制，表达式为：

${\hat{u}}_i\left(e\right(k\left)\right)\arg \underset{u_e\left(k\right)}{\min }\{U\left(e\right(k),u_e(k\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)\}+{\mathrm{\&rho;}}_i\left(e\right(k\left)\right).$

迭代控制律公式中ρ_i(e(k))为有界控制迭代误差。

迭代控制具体求解方法如下：由于系统对于u_e(k)是非线性的，一般情况下不能写出解析解的形式，只能获得数值解，因此需要对进行神经网络逼近获得。的求解方法如下：令的目标函数表示为：

${\stackrel{\&OverBar;}{u}}_i\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{\min }\{U\left(e\right(k),u_e(k\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)\}.$

那么的数值解可以通过下式获得

$\frac{\&part;\left(U\right(e\left(k\right),{\stackrel{\&OverBar;}{u}}_i\left(e\left(k\right)\right))+{\hat{V}}_i(e\left(k+1\right)\left)\right)}{\&part;{\stackrel{\&OverBar;}{u}}_i\left(e\right(k\left)\right)}=0.$

由于是数值解，我们采用神经网络逼近即可获得神经网络逼近后的是一个函数。这样即可获得迭代控制律

步骤S4-5、使用神经网络函数逼近目标值获得下一迭代性能指标函数，表达式如下：

${\hat{V}}_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\hat{u}}_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)+{\mathrm{\&pi;}}_i\left(e\right(k\left)\right).$

上式中π_i(e(k))为有界性能指标函数迭代误差。

随着i的增加，迭代性能指标函数变得越来越复杂，使得函数不能获得解析解而一般只能获得数值解(即离散值)。必须采用数值逼近的方法逼近函数本发明采用神经网络逼近将带入到V_i+1(e(k))表达式中，可以获得性能指标函数的目标值：

$V_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\stackrel{\&OverBar;}{u}}_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right).$

步骤S4-6、将(通过神经网络逼近得到)带入到表达式中获得(通过神经网络逼近得到)。

由于是数值解，因此V_i+1(e(k))也是数值解。通过数值比较的方式可以获得迭代性能指标函数与目标性能指标函数V_i+1(e(k))之间的误差σ≥1，满足

${\hat{V}}_{i+1}\left(e\right(k\left)\right)\&le;{\mathrm{\&sigma;V}}_{i+1}\left(e\right(k\left)\right).$

可以看到，σ是由有界控制迭代误差ρ_i(e(k))与有界性能指标函数迭代误差π_i(e(k))引起的。

步骤S4-7、效用函数U(e(k),u_e(k))是已知函数而且V_i+1(e(k))数值解已获得，因此，可以通过数值比较的方式获得求解出参数γ、δ，其中0<γ<∞、1≤δ<∞满足：

$P\left(\stackrel{\&OverBar;}{F}\right(e\left(k\right),u_e\left(k\right)\left)\right)\&le;\mathrm{\&gamma;}U\left(e\right(k),u_e(k\left)\right)$

V₀(e(k))≤δP(e(k))。

步骤S4-8、判断迭代性能指标函数的收敛性。如果不等式

$\mathrm{\&sigma;}\&le;1+\frac{\mathrm{\&delta;}-1}{\mathrm{\&gamma;}\mathrm{\&delta;}}$

成立，那么性能指标函数收敛，并且迭代控制为稳定控制(即是说k→∞时，迭代控制可以使得系统状态误差e(k)达到0)。然后转到步骤S4-4继续计算，直到则算法停止，即可获得最优性能值指标函数与最优控制。否则，减小控制迭代误差ρ_i(e(k))与性能指标函数迭代误差π_i(e(k))使得计算精度增加，转到步骤S4-2重新求解迭代控制与迭代性能指标函数。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种变换炉系统的炉温控制方法，所述变换炉用于将原料中的CO和H₂O转化为CO₂和H₂，其中所述方法包括：

S1、根据变换炉系统实际运行数据构建一个三层反向传播神经网络炉温控制模型，该炉温控制模型的输入为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量，输出为当前时刻生成物中CO、CO₂、H₂和H₂O的输出流量，状态参数为当前时刻实际炉温与下一时刻变换炉的炉温；

S2、根据所述变换炉系统实际运行数据构建一个三层反向传播神经网络参考控制模型，该参考控制模型的输入为当前时刻实际炉温和下一时刻的炉温，输出为当前时刻原料中CO、CO₂、H₂和H₂O的输入流量；

S3、将当前时刻实际炉温与额定炉温之间的差作为系统状态误差，将当前实际输入流量和额定输入流量之间的差作为输入流量控制误差，根据所述炉温控制模型和参考控制模型，得到与输入流量控制误差相关的炉温误差函数；

S4、基于迭代自适应动态规划最优控制方法，根据所述炉温误差函数求解出最优输入流量控制误差函数，获得最优的变换炉炉温控制输入量。

2.如权利要求1所述的变换炉系统的炉温控制方法，其特征在于，在步骤S1中构建的所述炉温控制模型表示为：

$\left\{\begin{array}{c}\hat{x}(k+1)=\hat{F}\left(x\right(k),u(k\left)\right)={\hat{W}}_{m1}^T\left(k\right){\mathrm{\&sigma;}}_1\left(z\right(k\left)\right)\\ \hat{y}\left(k\right)=\hat{G}\left(x\right(k),u(k\left)\right)={\hat{W}}_{m2}^T\left(k\right){\mathrm{\&sigma;}}_2\left(z\right(k\left)\right)\end{array}\right.,$

其中，为神经网络系统函数，为变换炉系统炉温控制模型的神经网络权值，为变换炉系统输出模型的神经网络权值，z(k)＝[x^T(k),u^T(k)]^T为构建所述变换炉炉温控制模型使用的神经网络的输入，为k+1时刻变换炉炉温控制模型的炉温值，为k时刻变换炉炉温控制模型的输出，x(k)为k时刻实际的炉温，u(k)为k时刻实际的组分输入流量，σ_i(·)为训练炉温控制模型使用的神经网络双极S型激活函数，如下表示：

L为隐含层神经元个数。

3.如权利要求2所述的变换炉系统的炉温控制方法，其特征在于，在步骤S1中所述神经网络权值的转置和通过如下训练更新得到：

$\left\{\begin{array}{c}{\hat{W}}_{m1}^{j+1}(k+1)={\hat{W}}_{m1}^j\left(k\right)-l_{m1}{\mathrm{\&sigma;}}_1\left(z\right(k\left)\right){\tilde{x}}^{jT}(k+1)\\ {\hat{W}}_{m2}^{j+1}(k+1)={\hat{W}}_{m2}^j\left(k\right)-l_{m2}{\mathrm{\&sigma;}}_2\left(z\right(k\left)\right){\tilde{y}}^{jT}\left(k\right)\end{array}\right.,$

其中，l_m1>0，l_m2>0为神经网络的学习率，为k+1时刻根据所述变换炉炉温控制模型得到的炉温和变换炉系统运行过程中k+1时刻测量得到的实际炉温的差值，为k+1时刻根据所述变换炉炉温控制模型得到的输出和变换炉系统运行过程中k时刻测量得到的实际输出y(k)的差值。

4.如权利要求1所述的变换炉系统的炉温控制方法，其特征在于，在步骤S2中所述参考控制模型如下所示：

${\hat{u}}_f\left(k\right)={\hat{F}}_u\left(x\right(k),x(k+1\left)\right)={\hat{W}}_u^T\left(k\right){\mathrm{\&sigma;}}_u\left(z_u\right(k\left)\right),$

其中，表示k时刻参考控制模型的输出，表示参考控制函数，为参考控制模型神经网络权值，z_u(k)＝[x^T(k),x^T(k+1)]^T为参考控制模型输入，x(k)为k时刻的实际炉温，x(k+1)为k+1时刻的实际炉温，σ_u(·)为训练参考控制模型使用的神经网络双极S型激活函数，如下表示：

${\mathrm{\&sigma;}}_u\left(z\right)=\frac{e^z-e^{-z}}{e^z+e^{-z}}.$

5.如权利要求4所述的变换炉系统的炉温控制方法，其特征在于，在步骤S2中所述参考控制模型神经网络权值更新如下：

${\hat{W}}_u^{j+1}\left(k\right)={\hat{W}}_u^j\left(k\right)-l_u{\mathrm{\&sigma;}}_u\left(z_u\right(k\left)\right){\tilde{u}}_f^j\left(k\right),$

其中，l_u>0为神经网络学习率，为k时刻所述参考控制模型的输出和变换炉系统运行过程中k时刻测量得到的实际输入量u _f (k)的差值。

6.如权利要求1所述的变换炉系统的炉温控制方法，其特征在于，在步骤S4中所建立的求解最优输入流量控制的误差函数如下所示：

$\left\{\begin{array}{c}U\left(e\right(k),u_e(k\left)\right)=e^T\left(k\right)Qe\left(k\right)+u_e^T\left(k\right){\mathrm{Ru}}_e\left(k\right)\\ J^{*}\left(e\right(k\left)\right)=\underset{u_e\left(k\right)}{inf}\{U\left(e\right(k),u_e(k\left)\right)+J^{*}(e\left(k+1\right)\left)\right\}\\ u_e^{*}\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{inf}\{U\left(e\right(k),u_e(k\left)\right)+J^{*}\left(e\right(k+1\left)\right)\}\end{array}\right.,$

其中，U(e(k),u_e(k))为效用函数，e(k)为系统状态误差，u_e(k)为系统输入误差，Q、R为正定矩阵，J^*(e(k))为最优性能指标函数，为最优控制律。

7.如权利要求6所述的变换炉系统的炉温控制方法，其特征在于，在步骤S4中所建立的最优控制的函数如下求解：

步骤S4-1、令i＝0，对给定容许控制μ(e(k))，定义初始迭代性能指标函数：

V₀(e(k))＝P(e(k))，

其中P(e(k))＝U(e(k),μ(e(k)))+P(e(k+1))；

步骤S4-2、根据初始迭代性能指标函数计算初始控制：

${\hat{u}}_0\left(e\left(k\right)\right)=\arg \underset{u_e\left(k\right)}{\min }\left\{U\left(e\left(k\right),u_e\left(k\right)\right)+{\hat{V}}_0\left(e\left(k+1\right)\right)\right\}+{\mathrm{\&rho;}}_0\left(e\left(k\right)\right),$

其中ρ₀(e(k))为初始情况下的有界控制迭代误差；

步骤S4-3、更新下一迭代性能指标函数，采用神经网络获得更新后的迭代性能指标函数表达式为：

${\hat{V}}_1\left(e\left(k\right)\right)=U\left(e\left(k\right),{\hat{u}}_0\left(e\left(k\right)\right)\right)+{\hat{V}}_0\left(e\left(k+1\right)\right)+{\mathrm{\&pi;}}_0\left(e\left(k\right)\right),$

公式中π₀(e(k))为初始有界性能指标函数迭代误差；

步骤S4-4、获得第i次迭代控制，表达式为：

${\hat{u}}_i\left(e\right(k\left)\right)=\arg \underset{u_e\left(k\right)}{min}\{U\left(e\right(k),u_e(k\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)\}+{\mathrm{\&rho;}}_i\left(e\right(k\left)\right),$

其中，ρ_i(e(k))为有界控制迭代误差；

步骤S4-5、使用神经网络函数逼近目标值获得下一迭代性能指标函数，表达式如下：

${\hat{V}}_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\hat{u}}_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right)+{\mathrm{\&pi;}}_i\left(e\right(k\left)\right),$

上式中π_i(e(k))为有界性能指标函数迭代误差；

可按下式获得性能指标函数目标值：

$V_{i+1}\left(e\right(k\left)\right)=U\left(e\right(k),{\stackrel{\&OverBar;}{u}}_i(e\left(k\right)\left)\right)+{\hat{V}}_i\left(e\right(k+1\left)\right),$

其中为控制目标函数；

步骤S4-6、将带入到表达式中获得并通过数值比较的方式获得迭代性能指标函数与性能指标函数目标值V_i+1(e(k))之间的误差σ≥1，满足：

${\hat{V}}_{i+1}\left(e\right(k\left)\right)\&le;{\mathrm{\&sigma;V}}_{i+1}\left(e\right(k\left)\right);$

步骤S4-7、通过数值比较的方式获得求解出参数γ、δ，其中0<γ<∞、1≤δ<∞满足：

$P\left(\stackrel{\&OverBar;}{F}\right(e\left(k\right),u_e\left(k\right)\left)\right)\&le;\mathrm{\&gamma;}U\left(e\right(k),u_e(k\left)\right),$

V₀(e(k))≤δP(e(k))；

步骤S4-8、判断迭代性能指标函数的收敛性；如果不等式

$\mathrm{\&sigma;}\&le;1+\frac{\mathrm{\&delta;}-1}{\mathrm{\&gamma;}\mathrm{\&delta;}}$

成立，那么性能指标函数收敛，并且迭代控制为稳定控制，转到步骤S4-4继续计算，直到则算法停止；否则，减小有界控制迭代误差ρ_i(e(k))与有界性能指标函数迭代误差π_i(e(k))，使得计算精度增加，转到步骤S4-2重新求解迭代控制与迭代性能指标函数。