CN101520856A - 基于kkt条件和最近邻法的支持向量回归机自适应建模方法 - Google Patents

Abstract

本发明公开了一种机器学习领域中的基于KKT条件和最近邻法的支持向量回归机自适应建模方法。该方法先根据离线稳态试验获得的样本集进行建模与学习，再对新增样本进行标准化，判断其是否满足KKT条件，建立滚动时间窗，根据与新增样本最相似的样本计算相关相似度并定义阈值和与其比较的上下限值，用该阈值与上下限值进行比较，根据比较结果对样本集进行相应的调整并校正步骤开头构建的模型，直到所有新增样本均处理完毕。本发明方法使回归模型充分利用历史训练结果，能够显著减少后续训练时间，大大有利于工业生产、特别是电站锅炉燃烧过程参数在线软测量的实施。

Description

基于KKT条件和最近邻法的支持向量回归机自适应建模方法

技术领域

本发明涉及一种建模方法，尤其涉及一种基于KKT条件和最近邻法的支持向量回归机自适应建模方法，属于机器学习建模领域。

背景技术

机器学习(Machine Learning)是从已知样本数据或信息中通过挖掘、归纳、演绎、类比等方法获取知识的手段和机制，它是继专家系统之后人工智能应用的又一重要研究领域，并引起了广泛的关注。机器学习的目的就是根据设计的某种方法或算法，对事先给定的训练样本进行学习，然后求取对某系统输入输出之间依赖关系的估计，并使该估计能够较好的对未知输出作出尽可能准确的预测或对其性质进行判断。支持向量回归机(Support VectorRegression，SVR)是由Vapnik等人于20世纪90年代中期在统计学理论基础上发展并提出的一种新的机器学习算法，作为统计学习理论的核心内容，SVR能够较好的解决小样本学习问题，支持向量回归机已经成为机器学习建模领域的研究热点。

电站锅炉是火力发电厂的三大主要设备之一，不断提高锅炉的经济性、安全性和环保性，能够促进火电机组的节能降耗，对于整个国民经济与和谐社会的可持续发展均具有重要的战略意义。同时，由于电站锅炉是一个典型的多输入、多输出时变系统，炉内燃烧具有强非线性、大时滞等特点，是一个复杂的物理化学过程，因此，针对电站锅炉燃烧优化是一项复杂而庞大的系统工程，涉及到包括燃烧过程参数实时检测在内的多方面的研究工作。电站已有的燃烧参数测量仪表运行的不可靠、不稳定以及测量不准确性的现状迫切需要加强对锅炉燃烧过程参数的实时准确测量进行研究。软测量技术是解决这一问题的有效方法，也是该领域的一个研究热点。

目前通过软测量获得预估模型还存在一个模型的在线训练与更新问题，主要是由于很多热工问题是一些渐变问题(如燃烧设备老化、更换或者某些工况的变化)，伴随着现场数据样本的不断积累和完善，新样本也在不断涌现和增加，这类新样本所携带的信息与原始样本或者试验样本是有所区别的，此时已获得的静态模型将不能如实反映实际运行工况的变化。

发明内容

本发明为解决软测量获得的模型的在线训练与更新问题而提出一种基于KKT条件和最近邻法的支持向量回归机自适应建模方法。

一种基于KKT条件和最近邻法的支持向量回归机自适应建模方法，包括如下步骤：

(1)通过离线稳态试验获得先验稳态样本集D＝{x₁，x₂，...，x_L}，并将该样本集D作为初始的训练样本集进行模型的构建与学习，预先设定初始训练样本集的最大容量M；

(2)设第一样本x_k为样本集D之外的新增样本，对该新增样本进行标准化，判断其是否满足KKT条件，若满足，则进入步骤(5)，否则进入步骤(3)；

(3)建立一个宽度为L的滚动时间窗，由下述(A)式找到与第一样本x_k相似度最高的第二样本x_p，并通过下述(B)式计算第二样本x_p与第三样本x_i的平均相似度S_ave及第一样本x_k与第二样本x_p的相似度S_p，

$\left\{\begin{array}{c}{S}_{\mathrm{case}}(x,x_i)=\left|\right|x-x_i\left|\right|\\ S_{\mathrm{case}}(x_k,x_p)=\min \left\{S_{\mathrm{case}}(x_k,x_i)\right\},i=\mathrm{1,2},...,L\end{array}\right.---\left(A\right)$

$\left\{\begin{array}{c}{S}_{\mathrm{ave}}=\frac{1}{L-1}\underset{i=1,i\≠p}{\overset{L}{\mathrm{\Σ}}}{S}_{\mathrm{case}}(x_p,x_i)\\ S_p=S_{\mathrm{case}}(x_k,x_p)\end{array}\right.---\left(B\right)$

其中：S_case(x，x_i)为相似度函数；x_i、x_p∈D；i是样本集D中元素编号，i≠p，L为自然数；

(4)定义阈值 $K=\frac{S_p}{S_{\mathrm{ave}}},$ 并预设阈值K比较的下限K₁和上限K₂，两者取值根据实际样本的数据特点而定，其中：K₁≤1，K₂>1；

(5)比较阈值K与下限K₁和上限K₂的大小：

若K≤K₁，说明第一样本x_k与第二样本x_p高度相似，则样本集D不需要更新，维持样本集D及步骤(1)构建的模型结构参数不变；

若K₂>K>K₁，则说明第一样本x_k与第二样本x_p相似度较高，以第一样本x_k代替第二样本x_p，样本集D更新为第二样本集D′＝{x₁，x₂，...，x_p-1，x_p+1，...，x_L，x_k}，然后校正步骤(1)构建的模型；

若K≥K₂，则说明第一样本x_k与第二样本x_p相似度低，第一样本x_k进入样本集D，调整滚动时间窗的宽度L′＝L+1，样本集D更新为第三样本集D＂＝{x₁，x₂，...，x_L，x_k}，然后校正步骤(1)构建的模型；若此时L′>M，则保持初始训练样本集最大容量M不变，根据时间先后顺序，随时间窗的滚动将最早进入时间窗的数据滚动剔除，其中：L′为调整后的滚动时间窗宽度；

(6)令k＝k+1，转到步骤(2)，根据实际需要，直至所有新增样本全处理完毕，其中：k为新增样本编号，为自然数。

本发明方法具有如下有益效果：

1、本发明方法使回归模型充分利用历史训练结果，能够显著减少后续训练时间，将大大有利于工业生产、特别是电站锅炉燃烧过程参数在线软测量的实施；

2、本发明方法使回归模型无需保存海量历史数据就可实现模型的实时更新，减少了建模过程对存储空间的要求，便于应用于在线学习中；

3、本发明方法具备自校正学习功能，能够自主发现新样本中所携带的信息并进行自适应学习，对完全依靠原始训练样本获得的预估模型能够作不断的自我动态调整。

附图说明

图1是本发明中软测量自适应建模流程图。

具体实施方式

一种基于KKT(Karush-Kuhn-Tucker)条件和最近邻法的支持向量回归机自适应建模方法，包括如下步骤：

(1)通过离线稳态试验获得先验稳态样本集D＝{x₁，x₂，...，x_L}，并将该样本集D作为初始的训练样本集进行模型的构建与学习，预先设定初始训练样本集的最大容量M；

(2)设第一样本x_k为样本集D之外的新增样本，对该新增样本进行标准化，判断其是否满足KKT条件，只有违反KKT条件的样本才包含新的信息并可能成为新的支持向量，若满足KKT条件，则进入步骤(5)，否则进入步骤(3)；

(3)建立一个宽度为L的滚动时间窗，由下述(A)式找到与第一样本x_k相似度最高的第二样本x_p’并通过下述(B)式计算第二样本x_p与第三样本x_i的平均相似度S_ave及第一样本x_k与第二样本x_p的相似度S_p，

$\left\{\begin{array}{c}{S}_{\mathrm{case}}(x,x_i)=\left|\right|x-x_i\left|\right|\\ S_{\mathrm{case}}(x_k,x_p)=\min \left\{S_{\mathrm{case}}(x_k,x_i)\right\},i=\mathrm{1,2},...,L\end{array}\right.---\left(A\right)$

$\left\{\begin{array}{c}{S}_{\mathrm{ave}}=\frac{1}{L-1}\underset{i=1,i\≠p}{\overset{L}{\mathrm{\Σ}}}{S}_{\mathrm{case}}(x_p,x_i)\\ S_p=S_{\mathrm{case}}(x_k,x_p)\end{array}\right.---\left(B\right)$

其中：S_case(x，x_i)为相似度函数；‖·‖为欧氏空间距离；x_i、x_p∈D；i是样本集D中元素编号，i≠p，L为自然数；

(4)定义阈值 $K=\frac{S_p}{S_{\mathrm{ave}}},$ 并预设阈值K比较的下限K₁和上限K₂，两者取值根据实际样本的数据特点而定，其中：K₁≤1，K₂>1；

(5)比较阈值K与下限K₁和上限K₂的大小：

若K≤K₁，说明第一样本x_k与第二样本x_p高度相似，则样本集D不需要更新，维持样本集D及步骤(1)构建的模型结构参数不变；

若K₂>K>K₁，则说明第一样本x_k与第二样本x_p相似度较高，以第一样本x_k代替第二样本x_p，样本集D更新为第二样本集D′＝{x₁，x₂，...，x_p-1，x_p+1，...，x_L，x_k}，然后校正步骤(1)构建的模型；

若K≥K₂，则说明第一样本x_k与第二样本x_p相似度低，第一样本x_k进入样本集D，调整滚动时间窗的宽度L′＝L+1，样本集D更新为第三样本集D＂＝{x₁，x₂，...，x_L，x_k}，然后校正步骤(1)构建的模型；若此时L′>M，则保持初始训练样本集最大容量M不变，根据时间先后顺序，随时间窗的滚动将最早进入时间窗的数据滚动剔除，保证了训练样本数量不会无限扩大，避免了因数据量增大所造成的计算时间过长和内存空间不够的问题，其中：L′为调整后的滚动时间窗宽度；

(6)令k＝k+1，转到步骤(2)，根据实际需要，直至所有新增样本全处理完毕，其中：k为新增样本编号，为自然数。

下面以锅炉燃烧过程参数的软测量为例来介绍本发明提供的自适应建模方法的具体实施步骤，整个自适应建模过程主要有输入数据预处理、KPCA提取辅助变量、模型建立及优化和模型在线自校正等四个核心模块。详细流程如图1所示：

1、来自DCS的现场数据通过“网络交换机”进入“数据输入接口机”；

2、数据进入输入数据预处理环节后，首先根据燃烧过程参数生成机理和影响因素分析确定建模的初始输入变量，然后对获取的原始数据进行预处理和样本提取；

3、利用核主元分析(KPCA)提取用于软测量的辅助变量后直接进入建模环节；

4、在模型建立与优化环节，SVR建模过程采取GA参数寻优法，与离线建模不同的是这里增加了一个在线自校正环节；

5、在模型的在线自校正环节，实时检测是否有新样本进入，然后根据自校正算法及时更新训练样本集和模型；

6、最终实时获得最新的软测量回归模型，对测试样本输出软测量预测结果，并及时更新燃烧过程参数的模型库；

7、借助已获得的软测量模型实施优化策略，并通过锅炉燃烧优化系统将预测数据与优化指导结果输出到客户端。

Claims (1)

1、一种基于KKT条件和最近邻法的支持向量回归机自适应建模方法，其特征在于包括如下步骤：

(1)通过离线稳态试验获得先验稳态样本集D＝{x₁，x₂，...，x_L}，并将该样本集D作为初始的训练样本集进行模型的构建与学习，预先设定初始训练样本集的最大容量M；

(2)设第一样本x_k为样本集D之外的新增样本，对该新增样本进行标准化，判断其是否满足KKT条件，若满足，则进入步骤(5)，否则进入步骤(3)；

(3)建立一个宽度为L的滚动时间窗，由下述(A)式找到与第一样本x_k相似度最高的第二样本x_p，并通过下述(B)式计算第二样本x_p与第三样本x_i的平均相似度S_ave及第一样本x_k与第二样本x_p的相似度S_p，

$\left\{\begin{array}{c}{S}_{\mathrm{case}}(x,x_i)=\left|\right|x-x_i\left|\right|\\ S_{\mathrm{case}}(x_k,x_p)=\min \left\{S_{\mathrm{case}}(x_k,x_i)\right\},i=\mathrm{1,2},...,L\end{array}\right.---\left(A\right)$

$\left\{\begin{array}{c}{S}_{\mathrm{ave}}=\frac{1}{L-1}\underset{i=1,i\≠p}{\overset{L}{\mathrm{\Σ}}}{S}_{\mathrm{case}}(x_p,x_i)\\ S_p=S_{\mathrm{case}}(x_k,x_p)\end{array}\right.---\left(B\right)$

其中：S_case(x，x_i)为相似度函数；x_i、x_p∈D；i是样本集D中元素编号，i≠p，L为自然数；

(4)定义阈值 $K=\frac{S_p}{S_{\mathrm{ave}}},$ 并预设阈值K比较的下限K₁和上限K₂，两者取值根据实际样本的数据特点而定，其中：K₁≤1，K₂>1；

(5)比较阈值K与下限K₁和上限K₂的大小：

若K≤K₁，说明第一样本x_k与第二样本x_p高度相似，则样本集D不需要更新，维持样本集D及步骤(1)构建的模型结构参数不变；

若K₂>K>K₁，则说明第一样木x_k与第二样本x_p相似度较高，以第一样本x_k代替第二样本x_p，样本集D更新为第二样本集D′＝{x₁，x₂，...，x_p-1，x_p+1，...，x_L，x_k}，然后校正步骤(1)构建的模型；

若K≥K₂，则说明第一样本x_k与第二样本x_p相似度低，第一样本x_k进入样本集D，调整滚动时间窗的宽度L′＝L+1，样本集D更新为第三样本集D＂＝{x₁，x₂，...，x_L，x_k}，然后校正步骤(1)构建的模型；若此时L′>M，则保持初始训练样本集最大容量M不变，根据时间先后顺序，随时间窗的滚动将最早进入时间窗的数据滚动剔除，其中：L′为调整后的滚动时间窗宽度；

(6)令k＝k+1，转到步骤(2)，根据实际需要，直至所有新增样本全处理完毕，其中：k为新增样本编号，为自然数。

Images