CN1327376C - 基于支持向量机的软测量仪表建模方法 - Google Patents

Abstract

一种基于支持向量机的软测量仪表建模方法。用于测量技术领域。包括两个部分：基于支持向量机的软测量仪表建模输入与输出的影射关系由支持向量机来完成，可测变量、对象的控制输入以及对象可测输出变量作为软测量仪表的输入变量，被估计变量的最优估计为输出，在具体建立软测量模型时，从输入变量中选择一组与主导变量密切相关的一组二次变量，作为支持向量机的输入，离线分析计算值或大采样间隔的测量值作为软测量模型的输出；在进行支持向量机软测量建模时，首先利用正规化参数的后验分布和极值原理，迭代确定标准支持向量机和最小二乘支持向量机的正规化参数，然后在贝叶斯第三准则下，迭代确定准支持向量机和最小二乘支持向量机的核参数。

Description

基于支持向量机的软测量仪表建模方法

技术领域

本发明涉及到一种软测量仪表建模方法，具体是一种基于支持向量机的软测量仪表建模方法。用于测量技术领域。

背景技术

在现代流程工业中，大量关键性过程状态、产品质量等参数缺乏在线直接测量手段。这以成为制约生产安全、产品质量、质量及生产效益进一步提高的瓶颈。软测量技术正是解决此类问题的有效途径。

软测量技术是当前控制领域的一个研究热点。其核心技术就是建立软测量仪表的模型，目前软测量仪表的建模方法主要有机理建模、多元统计方法、卡尔曼滤波方法、人工神经神经网络、基于模型的回归方法、模糊逻辑方法等等。这些方法在应用中取得了一定的效果。经文献检索发现，Luo J.and Shao H..Softsensing modeling using neural fuzzy system based on rough set theory.《Proceedings of 2002 American control conference》(“应用人工神经网络的方法建模”，《美国控制会议》，2002，1：543-548，Alaska)，该文提到人工神经神经网络的方法：利用粗糙集确定网络结构，再用人工神经神经网络进行建模，有良好的学习性能(学习误差0.01)，然而其泛化能力不令人满意(泛化误差1.5514)。但是目前的方法在不同程度上存在着一些问题，很难照顾到各个方面。这些方法所存在的一些问题严重地阻碍了软测量的进一步的应用。小样本、非线性及要求模型泛化能力强和鲁棒性强等问题是软测量建模中急需解决的问题。支持向量机是在统计学习理论体系下产生的一种新的、非常有力的通用机器学习方法。它较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题，具有很强的泛化能力。支持向量机则为软测量仪表的建模提供了新的思路。

发明内容

本发明的目的是针对现有软测量建模技术存在的以上不足和缺陷，提供一种基于支持向量机的软测量仪表建模方法，给出了支持向量机最优模型的选择方法、支持向量机(包括标准支持向量机和最小二乘支持向量机)最优模型的确定方法，使其克服了支持向量机在应用中存在的模型确定困难的问题，为支持向量机的软测量建模建立了可靠的基础和依据。

本发明是通过以下技术方案实现的，本发明包括两个部分：

第一、基于支持向量机的软测量建模

基于支持向量机的软测量仪表建模属于黑盒子一类的模型。输入与输出的影射关系可由支持向量机来完成。可测变量X、对象的控制输入u以及对象可测输出变量y作为软测量仪表的输入变量，被估计变量的最优估计为输出。在具体建立软测量模型时，从输入变量中选择一组与主导变量密切相关的一组二次变量，作为支持向量机的输入，离线分析计算值或大采样间隔的测量值

作为软测量模型的输出，用 $f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_{i}K(x,x_i)+b$ 实现输入输出的非线性函数关系。

第二、最优模型的选择

在进行支持向量机软测量建模时，最优模型的选择是非常关键的工作，模型的好坏直接影响着软测量仪表的性能。软测量模型中有两类参数，即正规化参数和核参数(如高斯核中的核宽度σ)，是非常重要的参数。下面给出最优参数选择方法。

(一)确定最优正规化参数

正规化参数控制着最小训练误差和最小化模型复杂度的某种折衷。该方法将贝叶斯统计和支持向量机算法相结合，给出了确定优正规化参数的方法。贝叶斯推断理论提供了一种概率手段，为数据建模提供了一个统一的框架。贝叶斯推断分为三个准则，其中在贝叶斯第二准则下，利用贝叶斯参数推断模型对正规化参数进行推断。首先假设训练数据是独立同分布的，参数的分布满足高斯分布。然后根据贝叶斯定理，得到正规化参数的后验分布，将正规化参数转换为参数有效数的函数。最后利用极值原理确定标准支持向量机和最小二乘支持向量机的正规化参数。

正规化参数λ $(\mathrm{\λ}=\frac{1}{c})$ 的最佳值λ_MP可用下式求得：

$2{\mathrm{\λ}}_{\mathrm{MP}}{E}_W^{\mathrm{MP}}=\mathrm{\γ},---\left(1\right)$

其中 $E_W=\frac{1}{2}{w}^{T}w,$ $E_D=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(y_i,f\left(x_i\right)),$ γ＝l-λtraceA^-1称为参数的有效数，w_MP表示最优的w， $A=\frac{{\∂}^2(\mathrm{\λ}{E}_W+E_D)}{\∂w}={\▿}^2(\mathrm{\λ}{E}_w+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(y_i,f\left(x_i\right))).$

通过(1)即可求出最优正规化参数。在标准支持向量机和最小二乘支持向量机中，γ有着不同的获得方法。

1).标准支持向量机中：

损失函数分别取L(y_i，f(x_i))＝ξ_i， $L(f\left(x_i\right),y_i,)={\mathrm{\ξ}}_i^{*}.$ 计算中ξ_i和ξ_i ^*由下面函数代替：ξ_i＝y_i-f(x_i)-ε)·s(y_i-f(x_i)-ε)， ${\mathrm{\ξ}}_i^{*}=(f\left(x_i\right)-y_i-\mathrm{\ϵ})\·s(f\left(x_i\right)-y_i-\mathrm{\ϵ}),$ 其中 $s\left(u\right)=\frac{1}{1+e^{-u}}.$

因此， ${A=\▿}^2(\mathrm{\λ}{E}_w+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\ξ}}_i+{\mathrm{\ξ}}_i^{*}))=\mathrm{\λI}+B,$ 其中，、

r_i＝r(y_i-f(x_i)-ε)+r^*(f(x_i)-y_i-ε)，

r(y_i-f(x_i)-ε)＝(y_i-f(x_i)-ε)·s″(y_i-f(x_i)-ε)+2s(y_i-f(x_i)-ε)，

r^*(f(x_i)-y_i-ε)＝(f(x_i)-y_i-ε)·s″(f(x_i)-y_i-ε)+2s(f(x_i)-y_i-ε).

2).最小二乘支持向量机中：

损失函数取为

因此：

${A=\▿}^2(\mathrm{\λ}{E}_w+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(y_i,f\left(x_i\right)))=\mathrm{\λ}\·I+B,$

所以支持向量机的有效数为：

其中，用ρ_i表示B的特征值，N(N≤l)表示B的非零特征值的数目。

(二)确定最优核参数

核参数从某种程度上定义了高维特征空间，反映了数据的先验知识。该方法将贝叶斯统计和支持向量机算法相结合，给出了确定优正规化参数的方法。在贝叶斯第三准则下，支持向量机估计算法的最优核参数选择可以看作为贝叶斯参数估计理论对核参数的推断估计，这可以看作模型比较的过程。首先利用贝叶斯定理，得到核参数的后验分布。然后利用极值原理最大化模型的后验。最优核参数的确定与采用的核相关，高斯核是一种性能优良的、应用最广的核，且满足雪佛莱原则。最后得到高斯核标准支持向量机和最小二乘支持向量机的最优核参数。

对于核参数最大化ln p(H/D)，可得最优的核参数。

$\frac{\∂\ln p(H/D)}{\∂\mathrm{\σ}}=0$

对于高斯核核参数的确定方法：

1)标准支持向量机的最佳核参数：

$\mathrm{\σ}=\left|{\left(\frac{{\mathrm{\λ}}_{\mathrm{MP}}\underset{i;j=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_j)({a^{*}}_i-{a^{*}}_j)\exp (-\frac{{(x_i-x_j)}^2}{2{\mathrm{\σ}}^2}){(x_i-x_j)}^2}{\frac{{\mathrm{\λ}}_{\mathrm{MP}}}{l-{\mathrm{\λ}}_{\mathrm{MP}}\mathrm{trace}{A}^{-1}}\mathrm{trace}\left(A^{-2}\frac{\∂\stackrel{\‾}{K}}{\∂\mathrm{\σ}}\right)+\mathrm{trace}\left(A^{-1}\left(\frac{\∂\stackrel{\‾}{K}}{\∂\mathrm{\σ}}\right)\right)}\right)}^{\frac{1}{3}}\right|---\left(3\right)$

2)最小二乘支持向量机的核参数：

$\mathrm{\σ}=\left|{\left(\frac{{\mathrm{\λ}}_{\mathrm{MP}}\underset{i;j=1}{\overset{l}{\mathrm{\Σ}}}{a}_i\·a_j\exp (-\frac{{(x_i-x_j)}^2}{2{\mathrm{\σ}}^2}){(x_i-x_j)}^2}{\frac{{\mathrm{\λ}}_{\mathrm{MP}}}{l-{\mathrm{\λ}}_{\mathrm{MP}}\mathrm{trace}{A}^{-1}}\mathrm{trace}\left(A^{-2}\frac{\∂K}{\∂\mathrm{\σ}}\right)+\mathrm{trace}\left(A^{-1}\left(\frac{\∂K}{\∂\mathrm{\σ}}\right)\right)}\right)}^{\frac{1}{3}}\right|---\left(4\right)$

目前的软测量建模方法在不同程度上存在着一些问题，很难照顾到各个方面。本发明给出了基于支持向量机的软测量建模方法。针对支持向量机中正规化参数和核参数的选择困难问题，本发明直接给出了具体的参数确定方法。首先利用正规化参数的后验分布和极值原理，迭代确定标准支持向量机和最小二乘支持向量机的正规化参数，然后在贝叶斯第三准则下，迭代确定准支持向量机和最小二乘支持向量机的核参数，一般迭代20次左右就可得到最优参数。本发明避免了经验方法中过多的依赖于设计者的经验和交叉验证方法中计算量太大的缺点。本发明的参数确定方法有严格的理论基础，且简洁、方便、易用，非常适合于实际实用。

附图说明

图1为基于支持向量机的软测量仪表的基本结构示意图

图2为软测量仪表中的软测量模型示意图

图3为本发明实施例精馏塔简化流程图。

具体实施方式

如图所示，图1为基于支持向量机的软测量仪表的基本结构示意图，该图表示了支持向量机软测量仪表的框架和基本组成。图2为软测量仪表中的软测量模型示意图，该图表示了基于支持向量机的软测量模型的内部结构。方法实施步骤如下：

步骤1：根据工艺分析和操作经验进行二次变量的选择。

步骤2：对样本数据进行归一化预处理。

首先对属性值进行归一化， $x_i=\frac{x_i-\min \left(x_i\right)}{\max \left(x_i\right)-\min \left(x_i\right)},$ 归一化后的属性值x_i∈[0，1]。对属性值进行标准化变换： $\stackrel{-}{x_i}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^j,$ ${\mathrm{\σ}}_i^2=\frac{1}{n-1}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(x_i^j-\stackrel{-}{x_i})}^2,$ $\stackrel{*}{x_i^j}=\frac{x_i^j-\stackrel{-}{x_i}}{{\mathrm{\σ}}_i},$ 其中 是变换后的数据，j＝1，…，n是维数。

步骤3：选择核函数和支持向量机估计算法。(标准支持向量机或最小二乘支持向量机。)

步骤4：设定初始正规化参数和核参数的参数值。用样本数据对支持向量机进行训练，获取支持向量模型中的系数a_i和b，建立支持向量机软测量模型。

步骤5：对计算好的系数a_i，b，用准则2推断迭代求解支持向量机软测量模型的最优化正规化参数c $(c=\frac{1}{\mathrm{\λ}}).$ 一般当两次迭代的相对误差＜5％时，即可认为已收敛到最优值。或控制迭代步数，一般建议在20-30次。

步骤6：对计算好的系数ai，b以及最优化正规化参数c，用准则3推断迭代求解支持向量机软测量模型的最优化核参数σ。一般当两次迭代的相对误差＜5％时，即可认为已收敛到最优值。或控制迭代步数，一般建议在20-30次。

步骤7：  用建立好的最优软测量模型进行估计和预测。

以下提供具体的实施例，对本发明技术方案作进一步的了解：

实施例：工业精馏塔

催化裂化装置(FCCU)是石油二次加工中的关键之一。FCCU一般由反应再生，分馏，吸收-稳定和气体脱硫等子系统所组成。分馏塔的主要产品是粗汽油，轻柴油和油浆。将基于支持向量机的软测量应用于石家庄炼油厂分馏子系统中轻柴油凝固点的估计。

图3为精馏塔简化流程图。首先进行二次变量的选取，根据工艺分析，因此，将抽出温度，19层汽相，一中回循环量，一中循环抽出温度及一中循环返回温度五个变量作为估计凝固点的二次变量，轻柴油凝固点(Frozen point)为主导变量构造支持向量机软测量仪表。

实验结果：根据贝叶斯参数选择方法，标准支持向量机软测量仪表的正规化参数取c＝3.063，核参数取σ＝0.760，最小二乘支持向量机软测量仪表的正规化参数c＝20.82，核参数σ＝0.034。表1为贝叶斯框架下支持向量机的软测量仪表的实验结果。将本发明的结果与背景技术中描述的“人工神经神经网络的方法”的结果进行比较，采用了与背景技术中所述方法相同的数据源。该文献中用了150个训练数据，本发明用了100个训练样本。本发明所得结果均远好于背景技术中方法的结果。

表1贝叶斯框架下支持向量机的软测量仪表的实验结果

	标准支持向量机的软测量仪表(ε＝0.1σ＝0.760，c＝3.603)	最小二乘支持向量机的软测量仪表(σ＝0.034，c＝20.82)
			LMSE	0.166	0.101
GMSE	0.265	0.267
			支持向量	48	100

Claims (3)

1、一种基于支持向量机的软测量仪表建模方法，其特征在于，包括两个部分：

第一、基于支持向量机的软测量建模

基于支持向量机的软测量仪表建模属于黑盒子一类的模型，输入与输出的影射关系由支持向量机来完成，可测变量X、对象的控制输入u以及对象可测输出变量y作为软测量仪表的输入变量，被估计变量的最优估计为输出，在具体建立软测量模型时，从输入变量中选择一组与主导变量密切相关的一组二次变量，作为支持向量机的输入，离线分析计算值或大采样间隔的测量值 作为软测量模型的输出，用 $f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{a}_{i}K(x,x_i)+b$ 实现输入输出的非线性函数关系；

第二、最优模型的选择

在进行支持向量机软测量建模时，软测量模型中有两类参数，即正规化参数和核参数，是非常重要的参数，最优参数选择方法如下：

(一)确定模型的最优正规化参数

贝叶斯推断分为三个准则，在贝叶斯第二准则下，利用贝叶斯参数推断模型对正规化参数进行推断，首先假设训练数据是独立同分布的，参数的分布满足高斯分布，然后根据贝叶斯定理，得到币规化参数的后验分布，将正规化参数转换为参数有效数的函数，最后利用极值原理确定标准支持向量机和最小二乘支持向量机的最优正规化参数；

(二)确定模型的最优核参数

在贝叶斯第三准则下，支持向量机分类算法的最优核参数选择属于贝叶斯参数估计理论对核参数的推断估计，是模型比较的过程，首先利用贝叶斯定理，得到核参数的后验分布，然后利用极值原理最大化模型的后验，最后得到高斯核标准支持向量机和最小二乘支持向量机的最优核参数。

2、根据权利要求1所述的基于支持向量机的软测量仪表建模方法，其特征是，所述的确定模型的最优正规化参数，具体实现如下：

正规化参数λ的最佳值λ_MP通过下式获得：

${2\mathrm{\λ}}_{\mathrm{MP}}{E}_W^{\mathrm{MP}}=\mathrm{\γ},$

其中 $E_W=\frac{1}{2}{w}^{T}w,$ $E_D=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(y_i,f\left(x_i\right)),$ γ＝l-λtraceA^-1被称为参数的有效数，w_MP表示最优的w， $A=\frac{{\∂}^2(\mathrm{\λ}{E}_W+E_D)}{\∂w}={\▿}^2({\mathrm{\λE}}_w+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(y_i,f\left(x_i\right)));$

通过此式求出最优正规化参数，γ通过以下方法获得：

1).标准支持向量机模型中：

损失函数分别取L(y_i，f(x_i))＝ξ_i， $L(f\left(x_i\right),y_i,)={\mathrm{\ξ}}_i^{*},$ 计算中ξ_i和ξ_i ^*由下面函数代替：ξ_i＝(y_i-f(x_i)-ε)·s(y_i-f(x_i)-ε)， ${\mathrm{\ξ}}_i^{*}=(f\left(x_i\right)-y_i-\mathrm{\ϵ})\·s(f\left(x_i\right)-y_i-\mathrm{\ϵ}),$ 其中 $s\left(u\right)=\frac{1}{1+e^{-u}},$

因此： $A={\▿}^2({\mathrm{\λE}}_w+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\ξ}}_i+{\mathrm{\ξ}}_i^{*}))=\mathrm{\λI}+B,$

其中：

r_i＝r(y_i-f(x_i)-ε)+r*(f(x_i)-y_i-ε)，

r(y_i-f(x_i)-ε)＝(y_i-f(x_i)-ε)·s″(y_i-f(x_i)-ε)+2s(y_i-f(x_i)-ε)，

r*(f(x_i)-y_i-ε)＝(f(x_i)-y_i-ε)·s″(f(x_i)-y_i-ε)+2s(f(x_i)-y_i-ε)

2).最小二乘支持向量机模型中：

损失函数取为

因此： $A={\▿}^2({\mathrm{\λE}}_w+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}L(y_i,f\left(x_i\right)))=\mathrm{\λ}\·I+B,$

因而支持向量机模型，包括标准支持向量机和最小二乘支持向量机，其有效数由下式获得：

其中，用ρ_i表示B的特征值，N(N≤l)表示B的非零特征值的数目。

3、根据权利要求1所述的基于支持向量机的软测量仪表建模方法，其特征是，所述的确定最优核参数，具体实现如下：

对于核参数最大化lnp(H/D)，得最优的核参数，

$\frac{\∂\ln p(H/D)}{\∂\mathrm{\σ}}=0$

对于高斯核核参数的确定方法：

1)标准支持向量机的最佳核参数：

$\mathrm{\σ}=\left|{\left(\frac{{\mathrm{\λ}}_{\mathrm{MP}}\underset{i;j=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_j)({a^{*}}_i-{a^{*}}_j)\exp (-\frac{{(x_i-x_j)}^2}{{2\mathrm{\σ}}^2}){(x_i-x_j)}^2}{\frac{{\mathrm{\λ}}_{\mathrm{MP}}}{l-{\mathrm{\λ}}_{\mathrm{MP}}{\mathrm{traceA}}^{-1}}\mathrm{trace}\left(A^{-2}\frac{\∂\stackrel{-}{K}}{\∂\mathrm{\σ}}\right)+\mathrm{trace}\left(A^{-1}\left(\frac{\∂\stackrel{-}{K}}{\∂\mathrm{\σ}}\right)\right)}\right)}^{\frac{1}{3}}\right|$

2)最小二乘支持向量机的核参数：

$\mathrm{\σ}=\left|{\left(\frac{{\mathrm{\λ}}_{\mathrm{MP}}\underset{i;j=1}{\overset{l}{\mathrm{\Σ}}}{a}_i\·a_j\exp (-\frac{{(x_i-x_j)}^2}{{2\mathrm{\σ}}^2}){(x_i-x_j)}^2}{\frac{{\mathrm{\λ}}_{\mathrm{MP}}}{l-{\mathrm{\λ}}_{\mathrm{MP}}{\mathrm{traceA}}^{-1}}\mathrm{trace}\left(A^{-2}\frac{\∂K}{\∂\mathrm{\σ}}\right)+\mathrm{trace}\left(A^{-1}\left(\frac{\∂K}{\∂\mathrm{\σ}}\right)\right)}\right)}^{\frac{1}{3}}\right|.$

Images