CN1563902A - 基于支持向量机的软测量仪表建模方法 - Google Patents
基于支持向量机的软测量仪表建模方法 Download PDFInfo
- Publication number
- CN1563902A CN1563902A CN 200410017533 CN200410017533A CN1563902A CN 1563902 A CN1563902 A CN 1563902A CN 200410017533 CN200410017533 CN 200410017533 CN 200410017533 A CN200410017533 A CN 200410017533A CN 1563902 A CN1563902 A CN 1563902A
- Authority
- CN
- China
- Prior art keywords
- vector machine
- parameter
- sigma
- support vector
- lambda
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Monitoring And Testing Of Nuclear Reactors (AREA)
Abstract
一种基于支持向量机的软测量仪表建模方法。用于测量技术领域。包括两个部分:基于支持向量机的软测量仪表建模输入与输出的影射关系由支持向量机来完成,可测变量、对象的控制输入以及对象可测输出变量作为软测量仪表的输入变量,被估计变量的最优估计为输出,在具体建立软测量模型时,从输入变量中选择一组与主导变量密切相关的一组二次变量,作为支持向量机的输入,离线分析计算值或大采样间隔的测量值作为软测量模型的输出;在进行支持向量机软测量建模时,首先利用正规化参数的后验分布和极值原理,迭代确定标准支持向量机和最小二乘支持向量机的正规化参数,然后在贝叶斯第三准则下,迭代确定准支持向量机和最小二乘支持向量机的核参数。
Description
技术领域
本发明涉及到一种软测量仪表建模方法,具体是一种基于支持向量机的软测量仪表建模方法。用于测量技术领域。
背景技术
在现代流程工业中,大量关键性过程状态、产品质量等参数缺乏在线直接测量手段。这以成为制约生产安全、产品质量、质量及生产效益进一步提高的瓶颈。软测量技术正是解决此类问题的有效途径。
软测量技术是当前控制领域的一个研究热点。其核心技术就是建立软测量仪表的模型,目前软测量仪表的建模方法主要有机理建模、多元统计方法、卡尔曼滤波方法、人工神经神经网络、基于模型的回归方法、模糊逻辑方法等等。这些方法在应用中取得了一定的效果。经文献检索发现,Luo J.and Shao H..Softsensing modeling using neural fuzzy system based on rough set theory.《Proceedings of 2002 American control conference》(“应用人工神经网络的方法建模”,《美国控制会议》,2002,1:543-548,Alaska),该文提到人工神经神经网络的方法;利用粗糙集确定网络结构,再用人工神经神经网络进行建模,有良好的学习性能(学习误差0.01),然而其泛化能力不令人满意(泛化误差1.5514)。但是目前的方法在不同程度上存在着一些问题,很难照顾到各个方面。这些方法所存在的一些问题严重地阻碍了软测量的进一步的应用。小样本、非线性及要求模型泛化能力强和鲁棒性强等问题是软测量建模中急需解决的问题。支持向量机是在统计学习理论体系下产生的一种新的、非常有力的通用机器学习方法。它较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题,具有很强的泛化能力。支持向量机则为软测量仪表的建模提供了新的思路。
发明内容
本发明的目的是针对现有软测量建模技术存在的以上不足和缺陷,提供一种基于支持向量机的软测量仪表建模方法,给出了支持向量机最优模型的选择方法、支持向量机(包括标准支持向量机和最小二乘支持向量机)最优模型的确定方法,使其克服了支持向量机在应用中存在的模型确定困难的问题,为支持向量机的软测量建模建立了可靠的基础和依据。
本发明是通过以下技术方案实现的,本发明包括两个部分:
第一、基于支持向量机的软测量建模
基于支持向量机的软测量仪表建模属于黑盒子一类的模型。输入与输出的影射关系可由支持向量机来完成。可测变量X、对象的控制输入u以及对象可测输出变量y作为软测量仪表的输入变量,被估计变量的最优估计为输出。在具体建立软测量模型时,从输入变量中选择一组与主导变量密切相关的一组二次变量,作为支持向量机的输入,离线分析计算值或大采样间隔的测量值Y作为软测量模型的输出,用
实现输入输出的非线性函数关系。
第二、最优模型的选择
在进行支持向量机软测量建模时,最优模型的选择是非常关键的工作,模型的好坏直接影响着软测量仪表的性能。软测量模型中有两类参数,即正规化参数和核参数(如高斯核中的核宽度σ),是非常重要的参数。下面给出最优参数选择方法。
(一)确定最优正规化参数
正规化参数控制着最小训练误差和最小化模型复杂度的某种折衷。该方法将贝叶斯统计和支持向量机算法相结合,给出了确定优正规化参数的方法。贝叶斯推断理论提供了一种概率手段,为数据建模提供了一个统一的框架。贝叶斯推断分为三个准则,其中在贝叶斯第二准则下,利用贝叶斯参数推断模型对正规化参数进行推断。首先假设训练数据是独立同分布的,参数的分布满足高斯分布。然后根据贝叶斯定理,得到正规化参数的后验分布,将正规化参数转换为参数有效数的函数。最后利用极值原理确定标准支持向量机和最小二乘支持向量机的正规化参数。
正规化参数
的最佳值λMP可用下式求得:
其中
γ=l-λtraceA-1称为参数的有效数,wMP表示最优的w,
通过(1)即可求出最优正规化参数。在标准支持向量机和最小二乘支持向量机中,γ有着不同的获得方法。
1).标准支持向量机中:
损失函数分别取L(yi,f(xi))=ξi,
计算中ξi和ξi *由下面函数代替:ξi=(yi-f(xi)-ε)·s(yi-f(xi)-ε), 其中
因此,
其中,、
ri=r(yi-f(xi)-ε)+r*(f(xi)-yi-ε),
r(yi-f(xi)-ε)=(yi-f(xi)-ε)·s″(yi-f(xi)-ε)+2s(yi-f(xi)-ε),
r*(f(xi)-yi-ε)=(f(xi)-yi-ε)·s″(f(xi)-yi-ε)+2s(f(xi)-yi-ε).
2).最小二乘支持向量机中:
所以支持向量机的有效数为:
其中,用ρl表示B的特征值,N(N≤l)表示B的非零特征值的数目。
(二)确定最优核参数
核参数从某种程度上定义了高维特征空间,反映了数据的先验知识。该方法将贝叶斯统计和支持向量机算法相结合,给出了确定优正规化参数的方法。在贝叶斯第三准则下,支持向量机估计算法的最优核参数选择可以看作为贝叶斯参数估计理论对核参数的推断估计,这可以看作模型比较的过程。首先利用贝叶斯定理,得到核参数的后验分布。然后利用极值原理最大化模型的后验。最优核参数的确定与采用的核相关,高斯核是一种性能优良的、应用最广的核,且满足雪佛莱原则。最后得到高斯核标准支持向量机和最小二乘支持向量机的最优核参数。
对于核参数最大化ln p(H/D),可得最优的核参数。
对于高斯核核参数的确定方法:
1)标准支持向量机的最佳核参数:
2)最小二乘支持向量机的核参数:
目前的软测量建模方法在不同程度上存在着一些问题,很难照顾到各个方面。本发明给出了基于支持向量机的软测量建模方法。针对支持向量机中正规化参数和核参数的选择困难问题,本发明直接给出了具体的参数确定方法。首先利用正规化参数的后验分布和极值原理,迭代确定标准支持向量机和最小二乘支持向量机的正规化参数,然后在贝叶斯第三准则下,迭代确定准支持向量机和最小二乘支持向量机的核参数,一般迭代20次左右就可得到最优参数。本发明避免了经验方法中过多的依赖于设计者的经验和交叉验证方法中计算量太大的缺点。本发明的参数确定方法有严格的理论基础,且简洁、方便、易用,非常适合于实际实用。
附图说明
图1为基于支持向量机的软测量仪表的基本结构示意图
图2为软测量仪表中的软测量模型示意图
图3为本发明实施例精馏塔简化流程图。
具体实施方式
如图所示,图1为基于支持向量机的软测量仪表的基本结构示意图,该图表示了支持向量机软测量仪表的框架和基本组成。图2为软测量仪表中的软测量模型示意图,该图表示了基于支持向量机的软测量模型的内部结构。方法实施步骤如下:
步骤1:根据工艺分析和操作经验进行二次变量的选择。
步骤2:对样本数据进行归一化预处理。
首先对属性值进行归一化,
归一化后的属性值
步骤3:选择核函数和支持向量机估计算法。(标准支持向量机或最小二乘支持向量机。)
步骤4:设定初始正规化参数和核参数的参数值。用样本数据对支持向量机进行训练,获取支持向量模型中的系数ai和b,建立支持向量机软测量模型。
步骤5:对计算好的系数ai,b,用准则2推断迭代求解支持向量机软测量模型的最优化正规化参数
一般当两次迭代的相对误差<5%时,即可认为已收敛到最优值。或控制迭代步数,一般建议在20-30次。
步骤6:对计算好的系数ai,b以及最优化正规化参数c,用准则3推断迭代求解支持向量机软测量模型的最优化核参数σ。一般当两次迭代的相对误差<5%时,即可认为已收敛到最优值。或控制迭代步数,一般建议在20-30次。
步骤7:用建立好的最优软测量模型进行估计和预测。
以下提供具体的实施例,对本发明技术方案作进一步的了解:
实施例:工业精馏塔
催化裂化装置(FCCU)是石油二次加工中的关键之一。FCCU一般由反应再生,分馏,吸收-稳定和气体脱硫等子系统所组成。分馏塔的主要产品是粗汽油,轻柴油和油浆。将基于支持向量机的软测量应用于石家庄炼油厂分馏子系统中轻柴油凝固点的估计。
图3为精馏塔简化流程图。首先进行二次变量的选取,根据工艺分析,因此,将抽出温度,19层汽相,一中回循环量,一中循环抽出温度及一中循环返回温度五个变量作为估计凝固点的二次变量,轻柴油凝固点(Frozen point)为主导变量构造支持向量机软测量仪表。
实验结果:根据贝叶斯参数选择方法,标准支持向量机软测量仪表的正规化参数取c=3.063,核参数取σ=0.760,最小二乘支持向量机软测量仪表的正规化参数c=20.82,核参数σ=0.034。表1为贝叶斯框架下支持向量机的软测量仪表的实验结果。将本发明的结果与背景技术中描述的“人工神经神经网络的方法”的结果进行比较,采用了与背景技术中所述方法相同的数据源。该文献中用了150个训练数据,本发明用了100个训练样本。本发明所得结果均远好于背景技术中方法的结果。
表1 贝叶斯框架下支持向量机的软测量仪表的实验结果
标准支持向量机的软测量仪表(ε=0.1 σ=0.760,c=3.603) | 最小二乘支持向量机的软测量仪表(σ=0.034,c=20.82) | |
LMSE | 0.166 | 0.101 |
GMSE | 0.265 | 0.267 |
支持向量 | 48 | 100 |
Claims (3)
1、一种基于支持向量机的软测量仪表建模方法,其特征在于,包括两个部分:
第一、基于支持向量机的软测量建模
基于支持向量机的软测量仪表建模属于黑盒子一类的模型,输入与输出的影射关系由支持向量机来完成,可测变量X、对象的控制输入u以及对象可测输出变量y作为软测量仪表的输入变量,被估计变量的最优估计为输出,在具体建立软测量模型时,从输入变量中选择一组与主导变量密切相关的一组二次变量,作为支持向量机的输入,离线分析计算值或大采样间隔的测量值Y作为软测量模型的输出,用
实现输入输出的非线性函数关系;
第二、最优模型的选择
在进行支持向量机软测量建模时,软测量模型中有两类参数,即正规化参数和核参数,是非常重要的参数,最优参数选择方法如下:
(一)确定模型的最优正规化参数
贝叶斯推断分为三个准则,在贝叶斯第二准则下,利用贝叶斯参数推断模型对正规化参数进行推断,首先假设训练数据是独立同分布的,参数的分布满足高斯分布,然后根据贝叶斯定理,得到正规化参数的后验分布,将正规化参数转换为参数有效数的函数,最后利用极值原理确定标准支持向量机和最小二乘支持向量机回归估计算法的正规化参数;
(二)确定模型的最优核参数
在贝叶斯第三准则下,支持向量机分类算法的最优核参数选择属于贝叶斯参数估计理论对核参数的推断估计,是模型比较的过程,首先利用贝叶斯定理,得到核参数的后验分布,然后利用极值原理最大化模型的后验,最后得到高斯核标准支持向量机和最小二乘支持向量机回归估计算法的最优核参数。
2、根据权利要求1所述的基于支持向量机的软测量仪表建模方法,其特征是,所述的确定模型的最优正规化参数,具体实现如下:
正规化参
的最佳值λMP通过下式获得:
其中
γ=l-λtraceA-1被称为参数的有效数,wMP表示最优的w,
通过此式求出最优正规化参数,γ通过以下方法获得:
1).标准支持向量机模型中:
损失函数分别取L(yi,f(xi))=ξi,ξi由下面函数代替:
ξi=(1-yi(w·(xi)+b))·s(1-yi(w·(xi)+b)),其中
因此:
其中:
r1=r(1-yi(w·(xi)+b))=(1-yi(w·(xi)+b))·s″(1-yi(w·(xi)+b))+2s(1-yi(w·(xi)+b))
2).最小二乘支持向量机模型中:
因此:
因而支持向量机模型,包括标准支持向量机和最小二乘支持向量机,其有效数由下式获得:
其中,用ρ1表示B的特征值,N(N≤l)表示B的非零特征值的数目。
3、根据权利要求1所述的基于支持向量机的软测量仪表建模方法,其特征是,所述的确定最优核参数,具体实现如下:
对于核参数最大化ln p(H/D),得最优的核参数,
对于高斯核核参数的确定方法:
1)标准支持向量机的最佳核参数:
2)最小二乘支持向量机的核参数:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2004100175337A CN1327376C (zh) | 2004-04-08 | 2004-04-08 | 基于支持向量机的软测量仪表建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2004100175337A CN1327376C (zh) | 2004-04-08 | 2004-04-08 | 基于支持向量机的软测量仪表建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1563902A true CN1563902A (zh) | 2005-01-12 |
CN1327376C CN1327376C (zh) | 2007-07-18 |
Family
ID=34479018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004100175337A Expired - Fee Related CN1327376C (zh) | 2004-04-08 | 2004-04-08 | 基于支持向量机的软测量仪表建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1327376C (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100360901C (zh) * | 2005-09-19 | 2008-01-09 | 西安理工大学 | 基于模糊核函数支持向量机的空气预热器热点检测方法 |
CN100442288C (zh) * | 2006-04-04 | 2008-12-10 | 华为技术有限公司 | 一种确定变量相关关系的方法 |
CN100594454C (zh) * | 2005-02-18 | 2010-03-17 | 欧姆龙株式会社 | 模型结构参数决定方法、参数决定设备、控制设备、以及温度调节设备 |
CN101339577B (zh) * | 2008-08-07 | 2010-06-02 | 中国电子科技集团公司第十研究所 | 基于支持向量回归机的平板裂缝天线建模方法 |
CN101986144A (zh) * | 2010-10-31 | 2011-03-16 | 华南理工大学 | 锌钡白煅烧过程消色力质量指标的软测量方法 |
CN101540008B (zh) * | 2009-04-24 | 2011-04-06 | 北京工业大学 | 基于格子气元胞自动机模型的活性污泥净化过程的模拟方法 |
CN103092078A (zh) * | 2013-01-07 | 2013-05-08 | 北京中医药大学 | 多阶段间歇生产过程的全程优化方法 |
CN103728879A (zh) * | 2014-01-20 | 2014-04-16 | 华北电力大学 | 基于最小二乘支持向量机及在线更新的电站锅炉烟气软测量方法 |
CN106597853A (zh) * | 2016-12-28 | 2017-04-26 | 中南大学 | 一种加氢裂化流程中主动式动态调控方法 |
CN111537679A (zh) * | 2020-05-25 | 2020-08-14 | 北京化工大学 | 一种基于非线性滤波的隔离壁精馏塔浓度软测量方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000072257A2 (en) * | 1999-05-25 | 2000-11-30 | Barnhill Stephen D | Enhancing knowledge discovery from multiple data sets using multiple support vector machines |
CN1162798C (zh) * | 2002-03-25 | 2004-08-18 | 北京工业大学 | 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 |
CN1245696C (zh) * | 2003-06-13 | 2006-03-15 | 北京大学计算机科学技术研究所 | 融合关键词学习的支持向量机文本分类增量训练学习方法 |
-
2004
- 2004-04-08 CN CNB2004100175337A patent/CN1327376C/zh not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100594454C (zh) * | 2005-02-18 | 2010-03-17 | 欧姆龙株式会社 | 模型结构参数决定方法、参数决定设备、控制设备、以及温度调节设备 |
CN100360901C (zh) * | 2005-09-19 | 2008-01-09 | 西安理工大学 | 基于模糊核函数支持向量机的空气预热器热点检测方法 |
CN100442288C (zh) * | 2006-04-04 | 2008-12-10 | 华为技术有限公司 | 一种确定变量相关关系的方法 |
CN101339577B (zh) * | 2008-08-07 | 2010-06-02 | 中国电子科技集团公司第十研究所 | 基于支持向量回归机的平板裂缝天线建模方法 |
CN101540008B (zh) * | 2009-04-24 | 2011-04-06 | 北京工业大学 | 基于格子气元胞自动机模型的活性污泥净化过程的模拟方法 |
CN101986144B (zh) * | 2010-10-31 | 2012-07-18 | 华南理工大学 | 锌钡白煅烧过程消色力质量指标的软测量方法 |
CN101986144A (zh) * | 2010-10-31 | 2011-03-16 | 华南理工大学 | 锌钡白煅烧过程消色力质量指标的软测量方法 |
CN103092078A (zh) * | 2013-01-07 | 2013-05-08 | 北京中医药大学 | 多阶段间歇生产过程的全程优化方法 |
CN103092078B (zh) * | 2013-01-07 | 2015-05-20 | 北京中医药大学 | 多阶段间歇生产过程的全程优化方法 |
CN103728879A (zh) * | 2014-01-20 | 2014-04-16 | 华北电力大学 | 基于最小二乘支持向量机及在线更新的电站锅炉烟气软测量方法 |
CN103728879B (zh) * | 2014-01-20 | 2016-08-17 | 华北电力大学 | 一种电站锅炉烟气软测量方法 |
CN106597853A (zh) * | 2016-12-28 | 2017-04-26 | 中南大学 | 一种加氢裂化流程中主动式动态调控方法 |
CN106597853B (zh) * | 2016-12-28 | 2019-05-31 | 中南大学 | 一种加氢裂化流程中主动式动态调控方法 |
CN111537679A (zh) * | 2020-05-25 | 2020-08-14 | 北京化工大学 | 一种基于非线性滤波的隔离壁精馏塔浓度软测量方法 |
CN111537679B (zh) * | 2020-05-25 | 2021-06-08 | 北京化工大学 | 一种基于非线性滤波的隔离壁精馏塔浓度软测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1327376C (zh) | 2007-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107292446B (zh) | 一种基于考虑分量关联性小波分解的混合风速预测方法 | |
CN111369070A (zh) | 一种基于包络线聚类的多模融合光伏功率预测方法 | |
CN1563902A (zh) | 基于支持向量机的软测量仪表建模方法 | |
CN113642666B (zh) | 一种基于样本扩充和筛选的主动增强软测量方法 | |
CN111310990A (zh) | 一种基于改进灰色组合模型的轨道质量预测方法及系统 | |
CN111415008B (zh) | 一种基于vmd-foa-grnn的船舶流量预测方法 | |
Dang et al. | A novel multivariate grey model for forecasting periodic oscillation time series | |
Sun et al. | Optimal structural design of the midship of a VLCC based on the strategy integrating SVM and GA | |
CN114997503A (zh) | 一种城市碳达峰时域的预测方法及系统 | |
CN114202060A (zh) | 基于深度神经网络的生物质活性炭吸附亚甲基蓝性能预测方法 | |
CN114064746A (zh) | 一种信息设备运行状态评估方法 | |
CN116108963A (zh) | 一种基于集成学习模块的电力碳排放预测方法及设备 | |
CN113111588B (zh) | 一种燃气轮机nox排放浓度预测方法及装置 | |
CN115186584A (zh) | 一种融合注意力机制和自适应构图的宽度学习半监督软测量建模方法 | |
Wang et al. | Air quality data analysis and forecasting platform based on big data | |
Zhang et al. | Anode Effect prediction based on Expectation Maximization and XGBoost model | |
CN111062118A (zh) | 一种基于神经网络预测分层的多层软测量建模系统及方法 | |
CN115115102B (zh) | 一种基于bp神经网络和条件生成对抗网络的汽油辛烷值损失预测及优化方法 | |
CN110633917A (zh) | 基于电力大数据的新能源政策实施效果综合评价方法 | |
CN112036758B (zh) | 基于成分数据的灰色qrnn修正的能耗结构预测方法 | |
SAHED et al. | Forecasting of CO2 Emissions in Algeria Using Discrete Wavelet Transform-Based Autoregressive Integrated Moving Average Models. | |
CN116205361B (zh) | 一种基于匹配度的工业用水效率分级预测方法 | |
LU504225B1 (en) | Method for predicting and adjusting volatile fatty acids in anaerobic hydrolytic acidification process | |
WO2024077876A1 (zh) | 一种基于自适应的局部动态焦炭质量预测方法 | |
Long et al. | Novel hybrid data-driven modeling integrating variational modal decomposition and dual-stage self-attention model: applied to industrial petrochemical process |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070718 Termination date: 20100408 |