CN102438257A - 模糊支持向量机在话务量预测中的应用方法 - Google Patents

Abstract

模糊支持向量机在话务量预测中的应用方法，它涉及一种模糊支持向量机在话务量预测中的应用方法。本发明的目的是将利用语言变量或模糊集合描述的先验知识，加入到核函数的设计中，获得一类新的核函数以应用于在话务量预测中。本发明首先利用模糊C-均值聚类算法获得TSK模型的模糊规则的前件中的隶属函数；其次利用ε不敏感损失函数辨识TSK模型后件参数；最后利用核技巧得到由隶属函数或可能性分布函数与现有的核函数获得模糊隶属核函数。本发明以均方误差作为衡量回归效果的性能指标，开展了大量的比较实验，体现FMK具有更好的鲁棒性。

Description

模糊支持向量机在话务量预测中的应用方法

技术领域

本发明涉及一种模糊支持向量机在话务量预测中的应用方法。

背景技术

基于模糊Takagi-Sugeno-Kang(TSK)模型与ε-不敏感损失函数，通过核技巧，利用模糊隶属函数与现有的核函数，构造了一类新的核函数，即模糊隶属核函数(FMK)。首先利用模糊隶属函数表征先验知识，再根据模糊推理将先验知识的特征结合到核函数的构造过程，从而提高核函数的性能。其次将FMK应用于支持向量回归机中，利用大量的比较实验说明FMK具有良好的性能。一方面将FMK与多项式核、高斯核以及样条核函数进行比较，实验结果表明基于FMK的支持向量回归机(SVRM-FKM)可以利用更少的支持向量，达到更精确的结果。另一方面，比较SVRM-FKM与模糊权重支持向量回归机和TSK模型，前者对总的聚类点的总数变化不敏感，表现出一定的鲁棒性。

在支持向量机中，利用核函数的方法，与其他学习机器相比较，主要优点在于它是专门针对有限样本的情况，其目标函数是得到现有信息下的最优解，而不仅仅是样本数趋于无穷大时的最优解；算法最终将转化为一个二次优化问题。从理论上来讲，得到的是全局最优解，从而解决了神经网络中无法避免的局部最小化问题。算法将实际问题通过非线性变换转换到高维的特征空间中，在高维空间中构造核函数来实现原空间中非线性判别函数，使得学习机器有较好的推广能力；同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关。因此只要定义不同的核函数，就可以实现许多现有的学习算法。正因为具有这些优点，核函数的理论得到迅速发展，在计算机视觉、文本识别、天气预测等领域都有广泛的应用。

当前，大量基于核函数的机器学习的方法，如支持向量机、核费希尔判别以及核主成分分析，不断被提出并得到广泛的应用。应用核函数时，一个关键的问题就是选择和设计核函数。当前在应用核函数方法时，一方面主要是直接应用现有的常用的核函数(如多项式核、Gaussian核及Sigmoid核)，通过参数调整完成学习任务，但会浪费大量的运算时间；另外针对某一领域具体问题，结合一定的先验知识，许多学者进行了核函数的设计与构造的研究。研究表明，通过核函数在学习的过程中融入先验知识可以明显提高学习的效果。现有的方法均是基于对训练集合的某种假设，利用了确定性的先验知识，却无法将其结合到核函数的设计过程。而在现实生活中，人们常使用不精确的、不完全的或不完全可靠的信息进行推理，即不确定性推理，这就使得核函数方法的应用受到限制。

发明内容

本发明的目的是：将利用语言变量或模糊集合描述的先验知识，加入到核函数的设计中，获得一类新的核函数以应用于在话务量预测中。具体而言用模糊隶属函数提取特征，量化先验知识；其次，利用Takagi-Sugeno-Kang(TSK)模型加入先验知识，再通过核技巧，构造核函数，即模糊隶属核函数(FMK)。从而实现生活中不精确的、不完全的或不完全可靠的信息与核函数的结合，即将人的先验知识加入到核函数的设计过程，使得基于核函数方法在应用时具有更加良好的性能，以应用于话务量的预测，进而提供了一种模糊支持向量机在话务量预测中的应用。

本发明为解决上述技术问题采取的技术方案是：

本发明所述的模糊支持向量机在话务量预测中的应用方法的具体实现过程为：

步骤A、模糊隶属核函数构造过程：

步骤A1、TSK模型的内积表示：

设

Rⁿ表示n维实数空间，X为论域，π_x：X→[0，1]为隶属函数或可能分布函数。因此，TSK模型的模糊规则表示如下：

$R^l:\mathrm{IF}{x}_1\mathrm{is}{\mathrm{\π}}_X^l\left(x_1\right)\mathrm{and}\·\·\·\mathrm{and}{x}_n\mathrm{is}{\mathrm{\π}}_X^l\left(x_n\right)$ $\left(1\right)$

$\mathrm{THEN}{y}_l\left(x\right)=w_{l1}{x}_1+\·\·\·+w_{1n}{x}_n+b_l$

其中l＝1，2，…，P；因此基于模糊规则(1)以及输入输出数据集(x^k，y^k)∈X×R(i＝1，2，…，n)，k＝1，2，…，m，

TSK模型为：

$F\left(x\right)=\underset{l=1}{\overset{P}{\mathrm{\Σ}}}{h}_l\left(x\right)(W_{l}x+b_l)---\left(2\right)$

其中W＝(W₁，…，W_n)，H(x)＝(h₁(x)x^T，…，h_P(x)x^T)，

将(2)转化为：

$F\left(x\right)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}(<W_l,h_l\left(x\right)x^T>+h_l\left(x\right)b_l)=<W,H\left(x\right)>+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l.---\left(3\right)$

这里<·，·>表示Rⁿ上的内积，其定义如下：对于任意的x＝(x₁，x₂，…x_n)^T∈Rⁿ和y＝(y₁，y₂，…，y_n)^T∈Rⁿ，有<x，y>＝x^Ty；

步骤A2、优化问题描述：

利用ε不敏感损失函数来计算(3)式中的参数，通过最小化||W||，得如下目标函数：

$\mathrm{\&tau;}:=\frac{1}{2}{\left|\right|W\left|\right|}^2+\frac{c}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}|y^k-F\left(x^k\right)|---\left(4\right)$

将(4)式转化为如下有约束条件的优化问题：

$\mathrm{\&tau;}(W,{\mathrm{\&xi;}}^{*})=\frac{1}{2}{\left|\right|W\left|\right|}^2+\frac{c}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}|{\mathrm{\&xi;}}_k+{\mathrm{\&xi;}}_k^{*}|---\left(5\right)$

满足

F(x^k)-y^k≤ε+ζ_k， $y^k-F\left(x^k\right)\&le;\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_k^{*},$

ζ_k≥0，k＝1，2，…，m

其中ζ_k与

为松弛变量，c为常数，m为训练点的个数；

通过引入Language乘子方法得到式(5)的对偶优化问题：

$\underset{\mathrm{\&alpha;},{\mathrm{\&alpha;}}^{*}\&Element;R}{\max }\frac{1}{2}\underset{k,j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x^j\right)<x^k,x^j>+\mathrm{\&epsiv;}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}+{\mathrm{\&alpha;}}_k)+\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{y}_k({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)$

$\mathrm{subjectto}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})=0\mathrm{and}{\mathrm{\&alpha;}}_k,{\mathrm{\&alpha;}}_k^{*}\&Element;[0,\frac{c}{m}]---\left(6\right)$

其中α_k与

(k＝1，2，…，m)为Language乘子；

步骤A3、优化问题求解及模糊隶属核函数的获得：

利用核技巧，将(6)式中<x^k，x^j>用核函数k(x^k，x^j)代替，则(6)转化为：

$\underset{\mathrm{\&alpha;},{\mathrm{\&alpha;}}^{*}\&Element;R}{\max }\frac{1}{2}\underset{k,j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x^j\right)k(x^k,x^j)+\mathrm{\&epsiv;}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}+{\mathrm{\&alpha;}}_k)+\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{y}_k({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)---\left(7\right)$

进而求得：

α_k及

可通过(7)求得，利用α_k，

andKKT条件[8]计算出b_l(l＝1，2，…，P).代入(3)式有：

$F\left(x\right)=<\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})H\left(x^k\right),H\left(x\right)>+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l=\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x\right)k(x^k,x)+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l---\left(8\right)$

根据式(8)，可以得到FMK如下：

$K(x^k,x)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x\right)k(x^k,x)---\left(9\right)$

步骤B、描述获得模糊隶属核函数及支持向量回归函数的算法：

步骤B1：T利用模糊C均值聚类方法划分训练集合(x^k，y^k)(k＝1，2，…，m)，获得类中心θ^j和宽度

(j＝1，2，…，Q，s＝1，2，…，n)；取定类数P及重叠参数λ；

步骤B2：将θ^j，

和λ代入隶属函数

进而由(3)可以确定h_l(x)；

步骤B3：利用网格搜索方法计算K(x^k，x)中的超参数(c，σ)，(c，σ)∈[2^-5，2¹²]×[2^-10，2⁵]；

步骤B4：给定ε，求解优化问题(7)，获得α及α^*，进而求得b_l(l＝1，…，P)，最终根据(8)获得支持向量回归函数F(x)；

步骤C、将得到的支持向量回归函数F(x)应用在话务量预测中。

本发明的有益效果是：

根据本发明所提出的方法，首先利用模糊C-均值聚类算法获得TSK模型的模糊规则的前件中的隶属函数；其次利用ε不敏感损失函数辨识TSK模型后件参数。根据模糊TSK模型的特点，所有模糊规则基的权重之和为1，从而获得的仍然是一个二次的凸优化问题。模糊规则的后件参数W可以表示为Lagrange乘子为系数的关于输入数据函数的线性组合，进而利用Karush-Kuhn-Tucker(KKT)条件计算出偏差b_l。最后利用核技巧得到由隶属函数或可能性分布函数与现有的核函数获得模糊隶属核函数。因此，FMK的构造过程中结合了先验知识；而且从以上的构造过程可见在一定的条件下，TSK模糊模型与基于FMK的支持向量回归机具有相同的机制。根据以上方法构造的核函数，在支持向量回归的应用中显示出良好的性能。

本发明以均方误差作为衡量回归效果的性能指标，开展了大量的比较实验。一方面，将FMK与多项式核、Gaussian核及样条核函数作比较，结果显示FMK利用的较少的支持向量达到高的精度。另一方面，将基于FMK的支持向量回归机与模糊权重支持向量回归机比较，实验表明前者对聚类数并不敏感，体现FMK具有更好的鲁棒性。

具体实施方式

具体实施方式一：本实施方式所述的模糊支持向量机在话务量预测中的应用方法的具体实现过程为：

步骤A、模糊隶属核函数构造过程：

步骤A1、TSK模型的内积表示：

设

Rⁿ表示n维实数空间，X为论域，π_x：X→[0，1]为隶属函数或可能分布函数。因此，TSK模型的模糊规则表示如下：

$R^l:\mathrm{IF}{x}_1\mathrm{is}{\mathrm{\&pi;}}_X^l\left(x_1\right)\mathrm{and}\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{and}{x}_n\mathrm{is}{\mathrm{\&pi;}}_X^l\left(x_n\right)$ $\left(1\right)$

$\mathrm{THEN}{y}_l\left(x\right)=w_{l1}{x}_1+\&CenterDot;\&CenterDot;\&CenterDot;+w_{1n}{x}_n+b_l$

其中l＝1，2，…，P；因此基于模糊规则(1)以及输入输出数据集(x^k，y^k)∈X×R(i＝1，2，…，n)，k＝1，2，…，m，

TSK模型为：

$F\left(x\right)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)(W_{l}x+b_l)---\left(2\right)$

其中W＝(W₁，…，W_n)，H(x)＝(h₁(x)x^T，…，h_P(x)x^T)，

将(2)转化为：

$F\left(x\right)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}(<W_l,h_l\left(x\right)x^T>+h_l\left(x\right)b_l)=<W,H\left(x\right)>+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l.---\left(3\right)$

这里<·，·>表示Rⁿ上的内积，其定义如下：对于任意的x＝(x₁，x₂，…x_n)^T∈Rⁿ和y＝(y₁，y₂，…，y_n)^T∈Rⁿ，有<x，y>＝x^Ty；

步骤A2、优化问题描述：

利用ε不敏感损失函数来计算(3)式中的参数，通过最小化||W||，得如下目标函数：

$\mathrm{\&tau;}:=\frac{1}{2}{\left|\right|W\left|\right|}^2+\frac{c}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}|y^k-F\left(x^k\right)|---\left(4\right)$

将(4)式转化为如下有约束条件的优化问题：

$\mathrm{\&tau;}(W,{\mathrm{\&xi;}}^{*})=\frac{1}{2}{\left|\right|W\left|\right|}^2+\frac{c}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}|{\mathrm{\&xi;}}_k+{\mathrm{\&xi;}}_k^{*}|---\left(5\right)$

满足

F(x^k)-y^k≤ε+ζ_k， $y^k-F\left(x^k\right)\&le;\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_k^{*},$

ζ_k≥0，k＝1，2，…，m

其中ζ_k与

为松弛变量，c为常数，m为训练点的个数；

通过引入Language乘子方法得到式(5)的对偶优化问题：

$\underset{\mathrm{\&alpha;},{\mathrm{\&alpha;}}^{*}\&Element;R}{\max }\frac{1}{2}\underset{k,j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x^j\right)<x^k,x^j>+\mathrm{\&epsiv;}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}+{\mathrm{\&alpha;}}_k)+\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{y}_k({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)$

$\mathrm{subjectto}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})=0\mathrm{and}{\mathrm{\&alpha;}}_k,{\mathrm{\&alpha;}}_k^{*}\&Element;[0,\frac{c}{m}]---\left(6\right)$

其中α_k与

(k＝1，2，…，m)为Language乘子；

步骤A3、优化问题求解及模糊隶属核函数的获得：

利用核技巧，将(6)式中<x^k，x^j>用核函数k(x^k，x^j)代替，则(6)转化为：

$\underset{\mathrm{\&alpha;},{\mathrm{\&alpha;}}^{*}\&Element;R}{\max }\frac{1}{2}\underset{k,j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x^j\right)k(x^k,x^j)+\mathrm{\&epsiv;}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}+{\mathrm{\&alpha;}}_k)+\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{y}_k({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)---\left(7\right)$

进而求得：

α_k及

可通过(7)求得，利用α_k，andKKT条件[8]计算出b_l(l＝1，2，…，P).代入(3)式有：

$F\left(x\right)=<\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})H\left(x^k\right),H\left(x\right)>+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l=\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x\right)k(x^k,x)+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l---\left(8\right)$

根据式(8)，可以得到FMK如下：

$K(x^k,x)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x\right)k(x^k,x)---\left(9\right)$

步骤B、描述获得模糊隶属核函数及支持向量回归函数的算法：

步骤B1：T利用模糊C均值聚类方法划分训练集合(x^k，y^k)(k＝1，2，…，m)，获得类中心θ^j和宽度

(j＝1，2，…，Q，s＝1，2，…，n)；取定类数P及重叠参数λ；

步骤B2：将θ^j，和λ代入隶属函数

进而由(3)可以确定h_l(x)；

步骤B3：利用网格搜索方法计算K(x^k，x)中的超参数(c，σ)，(c，σ)∈[2^-5，2¹²]×[2^-10，2⁵]；

步骤B4：给定ε，求解优化问题(7)，获得α及α^*，进而求得b_l(l＝1，…，P)，最终根据(8)获得支持向量回归函数F(x)；

步骤C、将得到的支持向量回归函数F(x)应用在话务量预测中。

Claims (1)

1.一种模糊支持向量机在话务量预测中的应用方法，其特征在于：所述方法的具体实现过程为：

步骤A、模糊隶属核函数构造过程：

步骤A1、TSK模型的内积表示：

设Rⁿ表示n维实数空间，X为论域，π_x：X→[0，1]为隶属函数或可能分布函数。因此，TSK模型的模糊规则表示如下：

$R^l:\mathrm{IF}{x}_1\mathrm{is}{\mathrm{\&pi;}}_X^l\left(x_1\right)\mathrm{and}\&CenterDot;\&CenterDot;\&CenterDot;\mathrm{and}{x}_n\mathrm{is}{\mathrm{\&pi;}}_X^l\left(x_n\right)$ $\left(1\right)$

$\mathrm{THEN}{y}_l\left(x\right)=w_{l1}{x}_1+\&CenterDot;\&CenterDot;\&CenterDot;+w_{1n}{x}_n+b_l$

其中l＝1，2，…，P；因此基于模糊规则(1)以及输入输出数据集(x^k，y^k)∈X×R(i＝1，2，…，n)，k＝1，2，…，m，

TSK模型为：

$F\left(x\right)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)(W_{l}x+b_l)---\left(2\right)$

其中W＝(W₁，…，W_n)，H(x)＝(h₁(x)x^T，…，h_P(x)x^T)，

将(2)转化为：

$F\left(x\right)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}(<W_l,h_l\left(x\right)x^T>+h_l\left(x\right)b_l)=<W,H\left(x\right)>+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l.---\left(3\right)$

这里<·，·>表示Rⁿ上的内积，其定义如下：对于任意的x＝(x₁，x₂，…x_n)^T∈Rⁿ和y＝(y₁，y₂，…，y_n)^T∈Rⁿ，有<x，y>＝x^Ty；

步骤A2、优化问题描述：

利用ε不敏感损失函数来计算(3)式中的参数，通过最小化||W||，得如下目标函数：

$\mathrm{\&tau;}:=\frac{1}{2}{\left|\right|W\left|\right|}^2+\frac{c}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}|y^k-F\left(x^k\right)|---\left(4\right)$

将(4)式转化为如下有约束条件的优化问题：

$\mathrm{\&tau;}(W,{\mathrm{\&xi;}}^{*})=\frac{1}{2}{\left|\right|W\left|\right|}^2+\frac{c}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}|{\mathrm{\&xi;}}_k+{\mathrm{\&xi;}}_k^{*}|---\left(5\right)$

满足

F(x^k)-y^k≤ε+ζ_k， $y^k-F\left(x^k\right)\&le;\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_k^{*},$

ζ_k≥0，k＝1，2，…，m

其中ζ_k与

为松弛变量，c为常数，m为训练点的个数；

通过引入Language乘子方法得到式(5)的对偶优化问题：

$\underset{\mathrm{\&alpha;},{\mathrm{\&alpha;}}^{*}\&Element;R}{\max }\frac{1}{2}\underset{k,j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x^j\right)<x^k,x^j>+\mathrm{\&epsiv;}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}+{\mathrm{\&alpha;}}_k)+\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{y}_k({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)$

$\mathrm{subjectto}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})=0\mathrm{and}{\mathrm{\&alpha;}}_k,{\mathrm{\&alpha;}}_k^{*}\&Element;[0,\frac{c}{m}]---\left(6\right)$

其中α_k与

(k＝1，2，…，m)为Language乘子；

步骤A3、优化问题求解及模糊隶属核函数的获得：

利用核技巧，将(6)式中<x^k，x^j>用核函数k(x^k，x^j)代替，则(6)转化为：

$\underset{\mathrm{\&alpha;},{\mathrm{\&alpha;}}^{*}\&Element;R}{\max }\frac{1}{2}\underset{k,j=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)({\mathrm{\&alpha;}}_j^{*}-{\mathrm{\&alpha;}}_j)\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x^j\right)k(x^k,x^j)+\mathrm{\&epsiv;}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k^{*}+{\mathrm{\&alpha;}}_k)+\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{y}_k({\mathrm{\&alpha;}}_k^{*}-{\mathrm{\&alpha;}}_k)---\left(7\right)$

进而求得：α_k及可通过(7)求得，利用α_k，

and KKT条件[8]计算出b_l(l＝1，2，…，P).代入(3)式有：

$F\left(x\right)=<\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})H\left(x^k\right),H\left(x\right)>+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l=\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_k-{\mathrm{\&alpha;}}_k^{*})\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x\right)k(x^k,x)+\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x\right)b_l---\left(8\right)$

根据式(8)，可以得到FMK如下：

$K(x^k,x)=\underset{l=1}{\overset{P}{\mathrm{\&Sigma;}}}{h}_l\left(x^k\right)h_l\left(x\right)k(x^k,x)---\left(9\right)$

步骤B、描述获得模糊隶属核函数及支持向量回归函数的算法：

步骤B1：T利用模糊C均值聚类方法划分训练集合(x^k，y^k)(k＝1，2，…，m)，获得类中心θ^j和宽度(j＝1，2，…，Q，s＝1，2，…，n)；取定类数P及重叠参数λ；

步骤B2：将θ^j，

和λ代入隶属函数

进而由(3)可以确定h_l(x)；

步骤B3：利用网格搜索方法计算K(x^k，x)中的超参数(c，σ)，(c，σ)∈[2^-5，2¹²]×[2^-10，2⁵]；

步骤B4：给定ε，求解优化问题(7)，获得α及α^*，进而求得b_l(l＝1，…，P)，最终根据(8)获得支持向量回归函数F(x)；

步骤C、将得到的支持向量回归函数F(x)应用在话务量预测中。