CN1916792A - 一种工业生产过程小样本条件下的软测量方法 - Google Patents

Abstract

本发明公开了一种工业生产过程小样本条件下的软测量方法，用支持向最机构建输入与输出的映射关系，可测变量、对象的控制输入以及对象可测输出变量作为软测量模型的输入变量，被估计变量的最优估计作为输出；用遗传算法确定支持向量机的最优参数，并引入贝叶斯准则，加快遗传算法的收敛速度。本发明在解决小样本建模问题的同时，给出了模型参数的选取方法，具有严格的理论基础，可以简洁、方便的用于工业实际。

Description

一种工业生产过程小样本条件下的软测量方法

技术领域

本发明涉及工业过程控制领域的软测量技术领域，特别地，涉及一种工业生产过程小样本条件下的软测量方法。

背景技术

在现代流程工业中，大量关键性过程状态、产品质量等参数缺乏在线直接测量手段。这已成为制约生产安全、产品质量、产量及生产效益进一步提高的瓶颈。软测量技术正是解决此类问题的有效途径。

软测量技术是当前控制领域的一个重要工具，其核心技术是建立软测量模型。目前软测量建模方法主要有机理建模、多元统计方法、卡尔曼滤波方法、人工神经网络等等。这些方法在应用中取得了一定的效果，但是这些方法都是基于样本数目趋于无穷大时的渐近理论，而在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。

小样本、非线性及要求模型泛化能力强是软测量建模中急需解决的问题。支持向量机SVM是在统计学习理论体系下产生的一种新的、非常有力的通用机器学习方法。它较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等问题，具有很强的泛化能力。In-Su Han等(Melt indexmodeling with support vector machines，partial least squares，andartificial neural networks，Journal of Applied Polymer Science，2005，95，967-974)的文献成果说明了这一点，但是对模型性能有着决定性作用的模型参数，却只能通过经验选取。

发明内容

本发明的目的是针对现有软测量方法的以上不足，提供一种工业生产过程小样本条件下的软测量方法，给出了支持向量机最优模型的选择方法，使其克服了支持向量机在应用中存在的模型确定困难的问题，为支持向量机建模建立了可靠的基础和依据。

本发明是通过以下技术方案实现的：

(1)对来自工业实际的数据进行标准化处理，使得各变量的均值为0，方差为1；

(2)随机初始化正规化参数和核参数值，用样本数据对支持向量机进行训练，建立支持向量机软测量模型；

(3)对待优化参数进行二进制编码，用选择、交叉、变异等遗传算子进行全局寻优，并引入贝叶斯推断理论进行局部寻优，得到模型的最优参数。

本发明避免了经验方法中过多的依赖于设计者的经验以及交叉验证方法中计算量太大的缺点；本发明中的参数确定方法有严格的理论基础，且简洁、方便、易用，非常适合于实际应用。

附图说明

图1是Hypol连续搅拌釜(CSTR)法生产聚丙烯的工艺流程图；

图2是软测量模型用于聚丙烯生产控制的基本结构示意图。

具体实施方式

下面详细说明本发明，本发明的目的和效果将更加明显：

1、对样本数据进行标准化处理

计算均值： $\stackrel{\‾}{\mathrm{TX}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}T{X}_i,$ $\stackrel{\‾}{\mathrm{TY}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{TY}$

计算方差： ${\mathrm{\σ}}_x^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(T{X}_i-\stackrel{\‾}{\mathrm{TX}}),$ ${\mathrm{\σ}}_y^2=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(\mathrm{TY}-\stackrel{\‾}{\mathrm{TY}})$

标准化： $X=\frac{\mathrm{TX}-\stackrel{\‾}{\mathrm{TX}}}{{\mathrm{\σ}}_x},$ $Y=\frac{\mathrm{TY}-\stackrel{\‾}{\mathrm{TY}}}{{\mathrm{\σ}}_Y}$

其中N为训练样本数。

新数据X，Y的均值为0，方差为1。

标准化处理能消除各变量因为量纲不同造成的影响。

2、随机初始化正规化参数和核参数值，用样本数据对支持向量机进行训练，建立支持向量机软测量模型。

选择径向基函数K(x_i，x)＝exp(-‖x-x_i‖/σ²)为支持向量机的核函数。

求解如下二次规划问题：

$\underset{\mathrm{\α},{\mathrm{\α}}^{*}}{\max }\{L_D=-\frac{1}{2}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})({\mathrm{\α}}_j-{\mathrm{\α}}_j^{*})K(x_i,x_j)-\mathrm{\ϵ}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\α}}_i+{\mathrm{\α}}_i^{*})+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{y}_i({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})\}...\left(1\right)$

$s.t.\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})=0$

$0\≤{\mathrm{\α}}_i^{*}\≤\mathrm{\γ}$

由此可得w和待估计函数f(x)：

支持向量机具有很强的泛化能力和非线性逼近能力。

3、模型参数的优化

在进行支持向量机软测量建模时，模型参数的选择是非常关键的工作，模型的好坏直接影响着软测量模型的性能。支持向量机模型中有两个参数，即正规化参数和核参数，是非常重要的参数。

遗传算法(GA)是一种模拟生命进化过程的并行的全局的解空间搜索方法。它可以解决传统辨识方法难于解决的非线性的参数辨识问题，而不需要先验知识。但是GA仍有许多缺陷，如无法保证收敛到全局最优解，群体中最好的染色体的丢失，进化过程的过早收敛等。

贝叶斯推断理论的基本思想是最大化参数分布的后验，而最佳参数值或模型是在参数分布后验最大化的情况下得到的。贝叶斯推断分为三个准则，其中贝叶斯第一准则可以看成是式(1)所示的优化问题。在贝叶斯第二准则下，利用贝叶斯参数推断模型对正规化参数进行推断。在贝叶斯第三准则下，支持向量机估计算法的最优核参数选择可以看作为贝叶斯参数估计理论对核参数的推断估计，这可以看作模型比较的过程。

正规化参数λ的最佳值λ_MP通过下式获得：

$2{\mathrm{\λ}}_{\mathrm{MP}}{E}_W^{\mathrm{MP}}=\mathrm{\γ}...\left(3\right)$

其中 $E_W=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω},$ $E_D=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}l(y_i,f\left(x_i\right)),$ γ＝l-λtraceA^-1被称为参数的有效数，ω_MP表示最优的ω， $A=\frac{{\∂}^2(\mathrm{\λ}{E}_W+E_D)}{\∂\mathrm{\ω}}={\mathrm{\Δ}}^2[\mathrm{\λ}{E}_W+\mathrm{\ΣL}(y_i,f\left(x_i\right))].$

有效数λ按如下方法计算：

损失函数分别取L(y_i，f(x_i))＝ξ_i， $L(f\left(x_i\right),y_i)={\mathrm{\ξ}}_i^{*},$ 计算中ξ_i和ξ_i ^*由下面的函数代替：

ξ_i＝(y_i-f(x_i)-ξ)·s(y_i-f(x_i)-ξ)                                  (4)

${\mathrm{\ξ}}_i^{*}=(f\left(x_i\right)-y_i-\mathrm{\ζ})\·s(f\left(x_i\right)-y_i-\mathrm{\ζ})...\left(5\right)$

其中 $s\left(u\right)=\frac{1}{1+e^{-u}}.$

因此，A＝λI+B， $B=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{r}_i\mathrm{\φ}\left(x_i\right)\mathrm{\φ}{\left(x_i\right)}^T,$ 其中

r＝r(y_i-f(x_i)-ξ)+r(f(x_i)-y_i-ξ)，                                        (6)

r(y_i-f(x_i)-ξ)＝(y_i-f(x_i)-ξ)·s″(y_i-f(x_i)-ξ)+2s(y_i-f(x_i)-ξ)，    (7)

r^*(f(x_i)-y_i-ξ)＝(f(x_i)-y_i-ξ)·s″(f(x_i)-y_i-ξ)+2s(f(x_i)-y_i-ξ)。  (8)

核参数优化公式：

$\mathrm{\σ}=\left|{\left[\frac{{\mathrm{\λ}}_{\mathrm{MP}}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_j)({\mathrm{\α}}_i^{*}-{\mathrm{\α}}_j^{*})\exp [-\frac{{(x_i-x_j)}^2}{2{\mathrm{\σ}}^2}]{(x_i-x_j)}^2}{\frac{{\mathrm{\λ}}_{\mathrm{MP}}}{l-{\mathrm{\λ}}_{\mathrm{MP}}{\mathrm{traceA}}^{-1}}\mathrm{trace}\left(A^{-2}\frac{\∂\stackrel{\‾}{K}}{\∂\mathrm{\σ}}\right)+\mathrm{trace}\left(A^{-1}\frac{\∂\stackrel{\·\·}{K}}{\∂\mathrm{\σ}}\right)}\right]}^{\frac{1}{3}}\right|...\left(9\right)$

综合运用遗传算法和贝叶斯准则，将遗传算法的全局搜索能力和贝叶斯推断的局部优化特点相结合，在全局优化中加入局部优化，可以加快收敛速度和提高寻优效果。

其流程如下：

步骤0  对待优化参数进行二进制编码，生成初始群体，计算每个个体的适应度值；

步骤1  根据选择概率pi＝fi/∑ifi(fi为个体适应值)按规定的种群规模选择个体进入下一代；

步骤2  以交叉概率按适当的交叉方式对选中的多对个体交叉；

步骤3  以变异概率pm按适当的变异方式对选中的个体变异。计算机验算表明：若算法迭代次数不多(50次以内)，有了混沌扰动，此步骤可以省略，从而可节约大量的时间；

步骤4  解码，以解码后的参数值为初值分别由式(3-8)和式(9)计算正规化参数和核参数的局部最优值，重新编码后取代原来个体，并计算各个体适应度值；

步骤5  重复步骤1至步骤4，直到终止条件得以满足。

下面结合实施例对本发明作进一步的阐述。

聚内烯是是塑料工业中的重要产品，在目前我国的聚烯烃树脂中，是仅次于聚乙烯和聚氯乙烯的第三大塑料。熔融指数(MI)是反映聚丙烯产品质量的关键性指标，生产过程中常以MI为指标控制生产，但是实验室中分析产品的MI一般2-4小时一次，不仅增加成本，同时使得聚丙烯生产控制滞后，影响产品质量、产量，甚至危及生产安全。

以聚丙烯生产HYPOL工艺实际工业生产为例。图1给出了典型的Hypol连续搅拌釜(CSTR)法生产聚丙烯的工艺流程图，前2釜是CSTR反应器、后2釜是流化床反应器(FBR)。选取主催化剂流率、辅催化剂流率、三股丙稀进料流率、釜内流体温度、釜内流体压强、釜内液位、釜内氢气体积浓度九个易测操作变量作为模型的输入量，对应时刻样本的MI离线分析值作为模型输出变量。从生产过程的DCS系统中获取九个主要操作参数和对应的熔融指数离线分析值作为建模数据。其中，五十个样本点来自同一批次，作为训练集数据(TX，TY)，另二十个样本点来自另一不同批次，作为测试集数据(GX，GY)验证模型效果。

本发明应用于该过程MI软测量，可以实现MI的实时在线测量(见图2)，提高产品质量和产量，提高生产效益。如图2所示，实时传感器从聚合过程获取τ时刻的过程变量数据，作为模型输入数据，对应时刻的MI离线分析值作为模型输出数据；数据实时传入采用本发明方法所建立的MI软测量模型，模型预测出τ+t时刻(t为聚合过程平均时间)MI值，控制系统根据该MI预测值进行生产过程实时厂际控制。

实施步骤如下：

1、对样本数据进行标准化处理得到输入矩阵X和输出矩阵Y；

2、随机初始化正规化参数和核参数值，用样本数据对支持向量机进行训练，建立支持向量机软测量模型：

3、用遗传算法优选支持向量机正规化参数和核参数，其中初始种群大小选为50，最佳个体的选中概率为0.15，交叉概率0.6，变异概率0.002，并对每个个体用贝叶斯准则进行局部优化。

按前述步骤建立熔融指数的GA-Bayesian-SVM模型后，将泛化集数据(GX，GY)标准化处理后代入模型，得到泛化集对应的熔融指数预测值

这里以预测值 和分析值GY的均方根误差(RMSE)作为衡量模型符合实际程度的指标。

软测量方法	RMSE
		SVM	0.0275
GA-Bayesian-SVM	0.0185

                     表1泛化效果比较

如表1所示，加入GA和Bayesian对模型参数进行优化后，泛化集的均方根误差从0.0275减小到0.0185，说明模型的预测能力明显提高。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种工业生产过程小样本条件下的软测量方法，其特征在于，包括以下步骤：

(1)对来自工业实际的数据进行标准化处理，使得各变量的均值为0，方差为1。

(2)随机初始化正规化参数和核参数值，用样本数据对支持向量机进行训练，建立支持向量机软测量模型。

(3)对待优化参数进行二进制编码，用选择、交叉、变异等遗传算子进行全局寻优，并引入贝叶斯推断理论进行局部寻优，得到模型的最优参数。

2.根据权利要求1所述的工业生产过程小样本条件下的软测量方法，其特征在于，所述支持向量机的核函数为径向基函数K(x_i，x)＝exp(-‖x-x_i‖/σ²)，引入线性不敏感损失函数 $L_{\mathrm{\ϵ}}(y_i,f\left(x_i\right))=\left\{\begin{array}{cc}0,& |y-f\left(x\right)|\≤\mathrm{\ϵ}\\ |y-f\left(x\right)|-\mathrm{\ϵ},& \mathrm{otherwise}\end{array}\right.,$ 训练过程即为求解如下二次规划问题：

$\underset{\mathrm{\α},{\mathrm{\α}}^{*}}{\max }\{L_D=-\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})({\mathrm{\α}}_j-{\mathrm{\α}}_j^{*})K(x_i,x_j)-\mathrm{\ϵ}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\α}}_i+{\mathrm{\α}}_i^{*})+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{y}_i({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})\}$

$s.t.\underset{i=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})=0$

0≤α_i≤γ

$0\≤{\mathrm{\α}}_i^{*}\≤\mathrm{\γ}.$

3.根据权利要求1所述的工业生产过程小样本条件下的软测量方法，其特征在于，所述遗传算法的种群大小为50-100，最大代数100-300，选择方式采用正态分布概率选择，最佳个体选择概率为0.07-0.1；交叉方式为单点线性交叉，交叉概率为0.5-0.9；变异方式为均匀变异，变异概率为0.001-0.01；个体适应度选择模型的泛化均方根误差；终止条件为达到最大迭代代数或者连续五代最佳适应度不变。

4.根据权利要求1所述的工业生产过程小样本条件下的软测量方法，其特征在于，所述在用遗传算法进行全局寻优的同时用贝叶斯准则对正规化参数进行局部优化过程如下：

正规化参数λ的最件值λ_MP通过下式获得。

$2{\mathrm{\λ}}_{\mathrm{MP}}{E}_W^{\mathrm{MP}}=\mathrm{\γ}$

其中 $E_w=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω},E_D=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}l(y_i,f\left(x_i\right)),$ γ＝l-λtraceA^-1被称为参数的有效数，ω_MP表示最优的ω， $A=\frac{{\∂}^2({\mathrm{\λE}}_W+E_D)}{\∂\mathrm{\ω}}={\mathrm{\Δ}}^2[{\mathrm{\λE}}_W+\mathrm{\ΣL}(y_i,f\left(x_i\right))];$

有效数λ按如下方法计算：

损失函数分别取L(y_i，f(x_i))＝ξ_i， $L(f\left(x_i\right),y_i)={\mathrm{\ξ}}_i^{*},$ 计算中ξ_i和ξ_i ^*由下面的函数代替：

ξ_i＝(y_i-f(x_i)-ξ)·s(y_i-f(x_i)-ξ)

${\mathrm{\ξ}}_i^{*}=(f\left(x_i\right)-y_i-\mathrm{\ξ})\·s(f\left(x_i\right)-y_i-\mathrm{\ξ})$

其中 $s\left(u\right)=\frac{1}{1+e^{-u}};$

因此，A＝λI+B， $B=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{r}_i\mathrm{\φ}\left(x_i\right)\mathrm{\φ}{\left(x_i\right)}^T,$ 其中

r＝r(y_i-f(x_i)-ξ)+r(f(x_i)-y_i-ξ)，

r(y_i-f(x_i)-ξ)＝(y_i-f(x_i)-ξ)·s″(y_i-f(x_i)-ξ)+2s(y_i-f(x_i)-ξ)，

r^*(f(x_i)-y_i-ξ)＝(f(x_i)-y_i-ξ)·s″(f(x_i)-y_i-ξ)+2s(f(x_i)-y_i-ξ)。

5.根据权利要求1所述的工业生产过程小样本条件下的软测量方法，其特征在于，所述在用遗传算法进行全局寻优的同时用贝叶斯准则对核参数进行局部优化过程如下：

$\mathrm{\σ}=\left|{\left[\frac{{\mathrm{\λ}}_{\mathrm{MP}}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_j)({\mathrm{\α}}_i^{*}-{\mathrm{\α}}_j^{*})\exp [-\frac{{(x_i-x_j)}^2}{{2\mathrm{\σ}}^2}]{(x_i-x_j)}^2}{\frac{{\mathrm{\λ}}_{\mathrm{MP}}}{1-{\mathrm{\λ}}_{\mathrm{MP}}{\mathrm{traceA}}^{-1}}\mathrm{trace}\left(A^{-2}\frac{\∂\stackrel{\‾}{K}}{\∂\mathrm{\σ}}\right)+\mathrm{trace}\left(A^{-1}\frac{\∂\stackrel{\·\·}{K}}{\∂\mathrm{\σ}}\right)}\right]}^{\frac{1}{3}}\right|.$

Images