CN106094513A - 在线模糊最小二乘支持向量机的烧结过程动力学建模算法 - Google Patents

Abstract

本发明公开在线模糊最小二乘支持向量机的烧结过程动力学建模算法，该算法利用模糊c均值目标函数，对在线输入k+L组数据向量空间进行模糊划分，提出输入空间模糊隶属度的计算方法。根据结构风险最小化原理，构造Langrange函数，根据KKT最优解条件，设计k+L组数据的模型优化目标，求取模型参数及模型解。同时，判断数据的滚动特性，是否将在线数据滚动至k+L+1，实现模型的更新。本发明的建模算法，引入输入数据模糊聚类的思想，有效的提高了模型的泛化能力；引入滚动时间窗的概念，提高了类似固体烧结过程在线建模的实用性能。

Description

在线模糊最小二乘支持向量机的烧结过程动力学建模算法

技术领域

本发明涉及过程动力学智能建模领域，特别涉及在线模糊最小二乘支持向量机的烧结过程动力学建模算法。

背景技术

烧结过程动力学建模问题的研究，根据所关注的过程特性的不同可分为两类：一类是从烧结过程的微观特性出发，研究过程的化学反应热平衡及动力学平衡，对典型固体原料的烧结化学反应过程进行定量试验或机理函数推导，获取反应类型、级数、摩尔反应焓等参数，得到其精确的化学动力学反应实验模型。这类模型主要实用于化工领域的理论研究，这类模型在内部结构复杂，干扰因素较多时与实际的生产、控制反应模型相距较远。第二类则是从宏观控制领域的角度出发，研究能引起过程反应的关键微观参数与可测宏观参数之间的关系，运用大量数据的智能处理方法，建立过程的动力学模型，即系统辨识的方法。

对于烧结过程动力学模型的系统辨识，目前主要是从两个方面来增强模型的辨识精度：一是采用先进的数据检测手段，获取更丰富信息的检测数据；二是探索更优良的系统辨识理论和方法。对于增加数据检测手段，由于多数烧结过程内部温度都相对较高，一般的检测手段都很难实用，目前研究较多的是利用烧结火焰的图像信号，运用图像处理的方法来获取其中的温度分布数据信息。这类模型依赖于检测设备成像技术及图像处理软件的优劣，当过程干扰较多，燃料性能变化等因素产生时，有可能造成图像处理的复杂度大为提高；另外，对这类高温过程进行成像处理，其设备大多比较昂贵，目前在国内大多类似的化工烧结生产中还很少采用。因此，模型的研究主要还集中于有限数据下，系统辨识理论和方法的研究。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供在线模糊最小二乘向量机的烧结过程动力学建模算法。

本发明的目的通过以下的技术方案实现：

在线模糊最小二乘支持向量机的烧结过程动力学建模算法，包含以下步骤：

步骤1：采用模糊c均值目标函数对在线输入k+L组数据空间向量(x₁,y₁),(x₂,y₂),…,(x_l,y_l)进行模糊划分,得到其模糊隶属度(u₁,u₂,…u_l)，则k+L组数据空间向量的模糊划分为(x₁,y₁,μ₁)，(x₂,y₂,μ₂),…,(x_l,y_l,μ_l)；其中，为聚类中心向量；μ_ik表示k时刻模糊模型的输入向量属于第i条规则的隶属度；d_ik＝||z_i-x_k||为空间R^M上的内积范数；q∈[1,∞]为加权指数；n_c为规则数；U为输入数据空间；为各采样数据是聚类中心值；T为转置计算；z_i为各采样数据是聚类中心值；x_k为采样数据；

步骤2：结合最小二乘支持向量机，引入Lagrange乘子，将步骤1的模糊隶属度推导为最小二乘支持向量机输入空间的模糊隶属度，计算式如下：

${\mathrm{\μ}}_{ik}=1/{\mathrm{\Σ}}_{j=1}^{n_c}{\left(\frac{d_{ik}}{d_{jk}}\right)}^{q-1};$

其中d_jk＝||z_i-x_k||为空间R^M上的内积范数；

步骤3：确定输入数据的隶属度后，根据最小二乘支持向量机结构风险最小化原理，构造Langrange函数，用以求取模型参量的最优解：

$L(p,p_0,\mathrm{\α},\mathrm{\ξ})=J(p,\mathrm{\ξ})-\underset{k=1}{\overset{l}{\Σ}}{\mathrm{\α}}_k\[\underset{i=1}{\overset{n_c}{\Σ}}{\mathrm{\μ}}_{ik}(p_i{x}_k+p_0^i)+{\mathrm{\ξ}}_k-y_k\];$

其中，α、α_k为Lagrange乘子；ξ、ξ_k为控制系统输出范围的松弛变量；p、p₀、p_i、为模糊最小二乘支持向量机的辨识结论参数；

步骤4：应用Karush-Kuhn-Tucker(KKT)最优条件，得到k+L组数据的模型优化目标：

$\min J(p,\mathrm{\ξ})=\frac{1}{2}\underset{i=1}{\overset{n_c}{\Σ}}{p}_i{p}_i^T+\frac{1}{2}C\underset{k=s+1}{\overset{s+L}{\Σ}}{h}_{k-s}{\mathrm{\ξ}}_k^2,$

以及约束条件：其中k＝s+1,…,s+L；

其中，h_k-s为松弛因子系数；C为惩罚因子，C越大，表示对错误分类的惩罚越大；

步骤5：依据步骤3及步骤4的Langrange函数及KKT最优条件，求取模型参数，令：则模型输出式可写为：

其中μ_ti表示i时刻模糊模型的属于第t条规则的隶属度；μ_tj表示j时刻模糊模型的属于第t条规则的隶属度；

步骤6：判断数据是否结束，是则输出模型解；否则将在线数据滚动至k+L+1，返回步骤1重复建模算法过程。

步骤1中，所述模糊c均值目标函数考虑d_jk可能为0，此时：在i＝j时，取μ_ik＝1；在i≠j时，取μ_ik＝0，i＝1,…,n_c；用同样的方法获得J(U,Z)取极小值时聚类中心Z的值：由此获得模糊隶属度的求解及输入向量空间的模糊划分。

步骤3中，所述辨识结论参数相当于寻找一组p_i和使得输出y(k)和实际输出尽可能相近，根据结构风险最小化原理，构造Langrange函数；根据KKT最优解条件，并写成线性方程组，求出模糊最小二乘支持向量机输出模型形式；所述辨识结论参数的辨识过程即为给定训练样本{x(k),y(k)}，k＝1,…,l。

步骤6中，所述在线数据滚动具体为：设当前数据时刻为k+L，当前建模数据为k时刻到k+L时刻的L组采样数据；首先用L组数据建模，并对下一时刻系统输出进行预测；下一时刻k+L+1，新的过程采样数据加入，k时刻数据被丢弃，建模数据则变化为k+1时刻到k+L+1时刻数据，并保持区间长度L不变，实现数据的在线向前推移。

本发明与现有技术相比，具有如下优点和有益效果：

1、支持向量机(SVM)能克服神经网络中经常出现的过拟合、局部极小等缺陷，应用于烧结过程的动力学建模可以获得理想的拟合效果，特别是最小二乘支持向量机(LS-SVM)对SVM的改进极大的提高了系统的训练速度，非常适合烧结过程的在线优化建模。

将模糊聚类与LS-SVM相结合的主要优点有以下三点：⑴通过模糊聚类方法将输入数据空间进行模糊划分，并赋予不同的权重，达到弱化奇异值影响、提高模型泛化能力的目的；⑵F-LS-SVM的核函数由隶属度来确定，减少了LS-SVM中核函数及其参数选取的过程；⑶模型参数辨识中充分利用结构风险最小化原则及LS-SVM的快速运算能力，提高模型的泛化性能及在线辨识能力。

2、本发明提出F-LS-SVM智能建模方法，针对LS-SVM的稀疏性，以及烧结过程复杂干扰带来的建模问题，引入模糊聚类的思想，对输入数据空间进行模糊划分，实现模型参数的优化，达到提高模型泛化能力的目的。为类似固体烧结过程的动力学建模问题提供解决的新思路和方法。

3、本发明引入滚动时间窗的概念，依据新增训练样本的最大隶属度，采用模糊竞争学习算法在线调整聚类中心，运用权值修正F-LS-SVM系统Lagrange优化方程，提出一类固体烧结过程的在线优化建模新方法。

附图说明

图1是本发明所述在线模糊最小二乘支持向量机的烧结过程动力学建模算法的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例一

在线模糊最小二乘支持向量机的烧结过程动力学建模算法，包含以下步骤：

步骤1：采用模糊c均值目标函数对在线输入k+L组数据空间向量(x₁,y₁),(x₂,y₂),…,(x_l,y_l)进行模糊划分,得到其模糊隶属度(u₁,u₂,…u_l)，则k+L组数据空间向量的模糊划分为(x₁,y₁,μ₁)，(x₂,y₂,μ₂),…,(x_l,y_l,μ_l)；其中，为聚类中心向量；μ_ik表示k时刻模糊模型的输入向量属于第i条规则的隶属度；d_ik＝||z_i-x_k||为空间R^M上的内积范数；q∈[1,∞]为加权指数；n_c为规则数；U为输入数据空间；为各采样数据是聚类中心值；T为转置计算；z_i为各采样数据是聚类中心值；x_k为采样数据；

所述模糊c均值目标函数考虑d_jk可能为0，此时：在i＝j时，取μ_ik＝1；在i≠j时，取μ_ik＝0，i＝1,…,n_c；用同样的方法获得J(U,Z)取极小值时聚类中心Z的值：由此获得模糊隶属度的求解及输入向量空间的模糊划分；

步骤2：结合最小二乘支持向量机，引入Lagrange乘子，将步骤1的模糊隶属度推导为最小二乘支持向量机输入空间的模糊隶属度，计算式如下：

${\mathrm{\μ}}_{ik}=1/{\mathrm{\Σ}}_{j=1}^{n_c}{\left(\frac{d_{ik}}{d_{jk}}\right)}^{q-1};$

其中d_jk＝||z_i-x_k||为空间R^M上的内积范数；

步骤3：确定输入数据的隶属度后，根据最小二乘支持向量机结构风险最小化原理，构造Langrange函数，用以求取模型参量的最优解：

$L(p,p_0,\mathrm{\α},\mathrm{\ξ})=J(p,\mathrm{\ξ})-\underset{k=1}{\overset{l}{\Σ}}{\mathrm{\α}}_k\[\underset{i=1}{\overset{n_c}{\Σ}}{\mathrm{\μ}}_{ik}(p_i{x}_k+p_0^i)+{\mathrm{\ξ}}_k-y_k\];$

其中，α、α_k为Lagrange乘子；ξ、ξ_k为控制系统输出范围的松弛变量；p、p₀、p_i、为模糊最小二乘支持向量机的辨识结论参数；

所述辨识结论参数相当于寻找一组p_i和使得输出y(k)和实际输出尽可能相近，根据结构风险最小化原理，构造Langrange函数；根据KKT最优解条件，并写成线性方程组，求出模糊最小二乘支持向量机输出模型形式；所述辨识结论参数的辨识过程即为给定训练样本{x(k),y(k)}，k＝1,…,l；

步骤4：应用Karush-Kuhn-Tucker(KKT)最优条件，得到k+L组数据的模型优化目标：

$\min J(p,\mathrm{\ξ})=\frac{1}{2}\underset{i=1}{\overset{n_c}{\Σ}}{p}_i{p}_i^T+\frac{1}{2}C\underset{k=s+1}{\overset{s+L}{\Σ}}{h}_{k-s}{\mathrm{\ξ}}_k^2,$

以及约束条件：其中k＝s+1,…,s+L；

其中，h_k-s为松弛因子系数；C为惩罚因子，C越大，表示对错误分类的惩罚越大；

步骤5：依据步骤3及步骤4的Langrange函数及KKT最优条件，求取模型参数，令：则模型输出式可写为：

其中μ_ti表示i时刻模糊模型的属于第t条规则的隶属度；μ_tj表示j时刻模糊模型的属于第t条规则的隶属度；

步骤6：判断数据是否结束，是则输出模型解；否则将在线数据滚动至k+L+1，返回步骤1重复建模算法过程；

所述在线数据滚动具体为：设当前数据时刻为k+L，当前建模数据为k时刻到k+L时刻的L组采样数据；首先用L组数据建模，并对下一时刻系统输出进行预测；下一时刻k+L+1，新的过程采样数据加入，k时刻数据被丢弃，建模数据则变化为k+1时刻到k+L+1时刻数据，并保持区间长度L不变，实现数据的在线向前推移。

实施例二

在线模糊最小二乘支持向量机的烧结过程动力学建模算法，包括以下步骤。

步骤1：根据过程反应动力学，建立过程输入输出参量的非线性关系，应用LS-SVM建模，建立目标函数：

$\underset{\mathrm{\ω},b,\mathrm{\ξ}}{min}J(\mathrm{\ω},b,\mathrm{\ξ})=\underset{w,b,e}{min}(\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+\mathrm{\γ}\frac{1}{2}\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ξ}}_i^2)---\left(1\right)$

设定约束条件：y_i[ω^Tφ(x_i)+b]＝1-ξ_i(ξ_i≥0，i＝1,2,…l)，构造拉格朗日函数求解，依据Karush-Kuhn-Tucker最优条件，得到LS-SVM辨识模型：

$y\left(x\right)=\underset{k=1}{\overset{n}{\Σ}}{\mathrm{\α}}_{k}K(x,x_k)+b---\left(2\right)$

其中，K(x_i,x_j)＝φ(x_i)^Tφ(x_j)为满足Mercer条件的核函数。

步骤2：为每个样本引入模糊隶属度μ_i，模糊化输入样本集(x₁,y₁,μ₁)，(x₂,y₂,μ₂),…,(x_l,y_l,μ_l)，且0<μ_i<1。在F-SL-SVM中，对于固定的参数γ、μ_i的值越大，对应的样本被错分的可能性越小；μ_i的值越小，对应的样本被错分的可能性越大，因此，模糊隶属度μ_i的大小决定F-LS-SVM工作的性能。采用模糊C-均值目标函数：

$J(U,Z)=\underset{k=1}{\overset{l}{\&Sigma;}}\underset{i=1}{\overset{n}{\&Sigma;}}{\left({\mathrm{\&mu;}}_{ik}\right)}^q{\left(d_{ik}\right)}^2---\left(3\right)$

其中为X的一个模糊c-均值划分矩阵；为聚类中心向量；d_ik＝||z_i-x_k||为空间R^M上的内积范数；q∈[1,∞]为加权指数。聚类的准则为使上述目标函数最小。

步骤3：引入Lagrange乘子，构造Lagrange优化方程，可得隶属度计算方法：

${\mathrm{\&mu;}}_{ik}=1/\underset{j=1}{\overset{n_c}{\&Sigma;}}{\left(\frac{d_{ik}}{d_{jk}}\right)}^{\frac{2}{q-1}}---\left(4\right)$

步骤4：完成步骤1、2、3，过程输出可写为：

$\hat{y}\left(k\right)=\underset{i=1}{\overset{n_c}{\&Sigma;}}{\mathrm{\&mu;}}_{ik}{y}^i\left(k\right)=\underset{i=1}{\overset{n_c}{\&Sigma;}}{\mathrm{\&mu;}}_{ik}(p_i{x}_k+p_0^i)---\left(5\right)$

根据结构风险最小化原理，优化问题可描述为：

$\min J(p,\mathrm{\&xi;})=\frac{1}{2}\underset{i=1}{\overset{n_c}{\&Sigma;}}{p}_i{p}_i^T+\frac{1}{2}C\underset{k=1}{\overset{l}{\&Sigma;}}{\mathrm{\&xi;}}_k^2---\left(6\right)$

给定训练样本{x(k),y(k)}，k＝1,…,l，辨识结论参数相当于寻找一组p_i和使得y(k)和尽可能相近。约束条件为：构造Langrange函数：

$L(p,p_0,\mathrm{\&alpha;},\mathrm{\&xi;})=J(p,\mathrm{\&xi;})-\underset{k=1}{\overset{l}{\&Sigma;}}{\mathrm{\&alpha;}}_k\&lsqb;\underset{i=1}{\overset{n_c}{\&Sigma;}}{\mathrm{\&mu;}}_{ik}(p_i{x}_k+p_0^i)+{\mathrm{\&xi;}}_k-y_k\&rsqb;---\left(7\right)$

其中，α_k,k＝1,…,l为Langrange乘子。根据KKT最优解条件，可求取对象模型参数大小。

步骤5：引入滚动时间窗L方法，将优化问题变为：

$\min J(p,\mathrm{\&xi;})=\frac{1}{2}\underset{i=1}{\overset{n_c}{\&Sigma;}}{p}_i{p}_i^T+\frac{1}{2}C\underset{k=s+1}{\overset{s+L}{\&Sigma;}}{h}_{k-s}{\mathrm{\&xi;}}_k^2---\left(8\right)$

约束条件为：则基于F-LS-SVM模型的输出为：

$\hat{y}\left(k\right)=\underset{i=1}{\overset{n_c}{\&Sigma;}}{\mathrm{\&mu;}}_{ik}\&lsqb;\left(\underset{j=s+1}{\overset{s+l}{\&Sigma;}}{\mathrm{\&alpha;}}_k{\mathrm{\&mu;}}_{ij}{x}_j^T\right)x_k+p_0^i\&rsqb;---\left(9\right)$

根据KKT最优解条件，可求取对象模型参数大小。

设当前数据时刻为k+L，当前建模数据为k时刻到k+L时刻的L组采样数据。首先用L组数据建模，并对下一时刻系统输出进行预测。下一时刻k+L+1，新的过程采样数据加入，k时刻数据被丢弃，建模数据则变化为k+1时刻到k+L+1时刻数据，并保持区间长度L不变，实现数据的在线向前推移。

步骤6：判断数据是否结束，是则输出模型解；否则将在线数据滚动至k+L+1，返回步骤1重复建模算法过程。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.在线模糊最小二乘支持向量机的烧结过程动力学建模算法，包含以下步骤：

步骤1：采用模糊c均值目标函数对在线输入k+L组数据空间向量(x₁,y₁),(x₂,y₂),…,(x_l,y_l)进行模糊划分,得到其模糊隶属度(u₁,u₂,…u_l)，则k+L组数据空间向量的模糊划分为(x₁,y₁,μ₁)，(x₂,y₂,μ₂),…,(x_l,y_l,μ_l)；其中，为聚类中心向量；μ_ik表示k时刻模糊模型的输入向量属于第i条规则的隶属度；d_ik＝||z_i-x_k||为空间R^M上的内积范数；q∈[1,∞]为加权指数；n_c为规则数；U为输入数据空间；为各采样数据是聚类中心值；T为转置计算；z_i为各采样数据是聚类中心值；x_k为采样数据；

步骤2：结合最小二乘支持向量机，引入Lagrange乘子，将步骤1的模糊隶属度推导为最小二乘支持向量机输入空间的模糊隶属度，计算式如下：

${\mathrm{\&mu;}}_{ik}=1/{\mathrm{\&Sigma;}}_{j=1}^{n_c}{\left(\frac{d_{ik}}{d_{jk}}\right)}^{q-1};$

其中d_jk＝||z_i-x_k||为空间R^M上的内积范数；

步骤3：确定输入数据的隶属度后，根据最小二乘支持向量机结构风险最小化原理，构造Langrange函数，用以求取模型参量的最优解：

$L(p,p_0,\mathrm{\&alpha;},\mathrm{\&xi;})=J(p,\mathrm{\&xi;})-\underset{k=1}{\overset{l}{\&Sigma;}}{\mathrm{\&alpha;}}_k\&lsqb;\underset{i=1}{\overset{n_c}{\&Sigma;}}{\mathrm{\&mu;}}_{ik}(p_i{x}_k+p_0^i)+{\mathrm{\&xi;}}_k-y_k\&rsqb;;$

其中，α、α_k为Lagrange乘子；ξ、ξ_k为控制系统输出范围的松弛变量；p、p₀、p_i、为模糊最小二乘支持向量机的辨识结论参数；

步骤4：应用Karush-Kuhn-Tucker(KKT)最优条件，得到k+L组数据的模型优化目标：

$\min J(p,\mathrm{\&xi;})=\frac{1}{2}\underset{i=1}{\overset{n_c}{\&Sigma;}}{p}_i{p}_i^T+\frac{1}{2}C\underset{k=s+1}{\overset{s+L}{\&Sigma;}}{h}_{k-s}{\mathrm{\&xi;}}_k^2,$

以及约束条件：其中k＝s+1,…,s+L；

其中，h_k-s为松弛因子系数；C为惩罚因子，C越大，表示对错误分类的惩罚越大；

步骤5：依据步骤3及步骤4的Langrange函数及KKT最优条件，求取模型参数，令：则模型输出式可写为：

其中μ_ti表示i时刻模糊模型的属于第t条规则的隶属度；μ_tj表示j时刻模糊模型的属于第t条规则的隶属度；

步骤6：判断数据是否结束，是则输出模型解；否则将在线数据滚动至k+L+1，返回步骤1重复建模算法过程。

2.根据权利要求1所述在线模糊最小二乘支持向量机的烧结过程动力学建模算法，其特征在于，步骤1中，所述模糊c均值目标函数考虑d_jk可能为0，此时：在i＝j时，取μ_ik＝1；在i≠j时，取μ_ik＝0，i＝1,…,n_c；用同样的方法获得J(U,Z)取极小值时聚类中心Z的值：由此获得模糊隶属度的求解及输入向量空间的模糊划分。

3.根据权利要求1所述在线模糊最小二乘支持向量机的烧结过程动力学建模算法，其特征在于，步骤3中，所述辨识结论参数相当于寻找一组p_i和使得输出y(k)和实际输出尽可能相近，根据结构风险最小化原理，构造Langrange函数；根据KKT最优解条件，并写成线性方程组，求出模糊最小二乘支持向量机输出模型形式；所述辨识结论参数的辨识过程即为给定训练样本{x(k),y(k)}，k＝1,…,l。

4.根据权利要求1所述在线模糊最小二乘支持向量机的烧结过程动力学建模算法，其特征在于，步骤6中，所述在线数据滚动具体为：设当前数据时刻为k+L，当前建模数据为k时刻到k+L时刻的L组采样数据；首先用L组数据建模，并对下一时刻系统输出进行预测；下一时刻k+L+1，新的过程采样数据加入，k时刻数据被丢弃，建模数据则变化为k+1时刻到k+L+1时刻数据，并保持区间长度L不变，实现数据的在线向前推移。