CN104462019B - 一种稀疏表示下支持向量机核函数选择方法及其应用 - Google Patents

Abstract

本发明将稀疏表示理论应用于支持向量机核函数选择，是一种支持向量机核函数选择的新方法及应用。本发明步骤：(1)给定具体样本数据并预处理→(2)选取与构造满足Mercer条件的SVM核函数稀疏字典→(3)稀疏编码的求解→(4)根据求解出的稀疏编码选择SVM核函数类型→(5)相应的SVM参数优化并确定支持向量机模型→(6)输出预测结果。本发明运用稀疏理论对样本数据的属性表示和建模能力，有效地利用实际问题的样本数据先验信息，兼顾不同核函数的度量特性进行SVM建模，具有较强的泛化能力，克服了传统的SVM模型选择方法中人为指定核函数类型而导致模型不能达到最优性能的缺点。

Description

一种稀疏表示下支持向量机核函数选择方法及其应用

技术领域

本发明将稀疏表示理论应用于支持向量机核函数选择，是一种支持向量机核函数选择的新方法及应用。

背景技术

支持向量机(Support Vector Machine，SVM)是20世纪90年代Vapnik基于统计学习理论提出的一种新的机器学习方法。SVM是一种基于核的学习方法，核函数选取对支持向量机性能有着重要的影响，如何有效地进行核函数选择是SVM研究领域的一个重要问题。由于不同核函数蕴藏的几何度量特征各异，选择不同的核函数导致SVM泛化能力存在差异。所以，针对具体实际问题,选择什么样的核函数是至关重要的，也是SVM应用领域遇到的一个重大难题。传统的SVM核函数选择的方法是人为指定，导致存在很大的局限性和盲目性。因此，研究开发一种能兼顾不同核函数的度量特征，充分利用给定具体问题的样本先验信息，且具有通用性的核函数选择方法是SVM应用领域的研究热点。

发明内容

本发明的目的是提供一种稀疏表示下支持向量机核函数选择方法及其应用，克服支持向量机应用过程中核函数选择的盲目性，从样本先验信息出发，运用稀疏表示理论构建一种有监督的SVM核函数选择机制，完善SVM核函数选择方法，有助于SVM学习能力和泛化能力的提高。

本发明的技术方案：一种稀疏表示下支持向量机核函数选择方法，包括如下步骤：

步骤1..输入样本数据其中Rⁿ为n维数据空间，l为样本数，对X进行变换使数据的范数小于1；

步骤2..选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

所述的稀疏字典可以涵盖不同类型的SVM核函数或同一类型但参数不同的SVM核函数，以及不同类型的SVM核函数组合形式，即此稀疏字典需具备通用性和完备性；

步骤3..利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

①稀疏表示：

对于M维的空间F，空间里的任意一个X∈F，都可以通过一组的线性组合来表示，其展开式如下：

其中Φ＝[φ₁ φ₂ … φ_M]为M个SVM核函数构成的矩阵，称为字典；目标是找到一个使得式(1)成立的同时，其中非0元素的个数尽可能的少，具有较好的稀疏性，为稀疏编码；

②稀疏编码的优化模型如下：

所述的稀疏表示的稀疏性是通过将系数矩阵的l₁范数作为正则项来保证的；

当稀疏字典Ф完备时，即Ф为固定的，此时模型(2)转化为以下无约束最小二乘问题

求解模型(3)即可得到稀疏编码稀疏编码中的元素具有稀疏性；

步骤4..根据求解出的稀疏编码选取核函数类型，构建新的SVM核函数形式，即

其中K_i表示所选的第i种不同的SVM核函数类型，n为所选不同类型SVM核函数的个数；

步骤5..利用粒子群算法(PSO)进行相应的参数优化，确定适合具体问题的支持向量机模型；

步骤6..输出预测结果。

本发明详细的流程及步骤：

(1)给定具体样本数据并预处理→(2)选取与构造满足Mercer条件的SVM核函数稀疏字典→(3)稀疏编码的求解→(4)根据求解出的稀疏编码选择SVM核函数类型→(5)相应的SVM参数优化并确定支持向量机模型→(6)输出预测结果。

本发明运用稀疏理论对样本数据的属性表示和建模能力，有效地利用实际问题的样本数据先验信息(如冗余性、稀疏性和分布特征等)，兼顾不同核函数的度量特性进行SVM建模，具有较强的泛化能力。是一种有指导性的SVM核函数选择实用方法，克服了传统的SVM模型选择方法中人为指定核函数类型而导致模型不能达到最优性能的缺点。

具体实施方式

实验说明：

①本发明的应用所涉及的三组实施例数据集，一组来自工程实际污水检测实验数据，另外二组来自UCI数据库。

②以线性、多项式、RBF、Sigmoid以及满足Mercer条件的不同核函数构建完备的SVM核函数稀疏字典。

③本实验训练出来的支持向量机模型的优劣，使用均方根误差MSE和均方相关系数Scc的大小来衡量，MSE越小，Scc越大，训练所得模型就越好。

④三组数据实施例的实验均按照上述所述的步骤流程进行。。

⑤支持向量机模型中相应的参数优化采取粒子群算法(PSO)。

⑥本发明所用的核函数选择法则：依据求解出的稀疏编码选取核函数，稀疏编码值的绝对值过小的项除去，保留最大项以及和其在同一数量级的数据项。

⑦利用稀疏编码选择出SVM核函数存在两种情况：一种是只有一种SVM核函数的单一核函数(即n＝1)；另一种是存在两种或两种以上的不同类型组合的SVM核函数情形(即n≥2)。

实施例一：污水检测实验数据

A步骤：在某污水处理厂采集了57组样本数据，并对其进行预处理，使样本数据的范数小于1；然后选取污水中的DO(溶解氧)、BOD5、膜压差、产水量、日处理量、实际停留时间、进水负荷这7个参数作为输入变量，把经过膜生物技术处理后出水中的COD、NH4+-N指标作为输出变量；

B步骤：选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

C步骤：选取42组样本数据作为训练样本，15组样本数据作为测试样本，然后利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

D步骤：经稀疏编码选择出SVM核函数类型数n＝2，具体为多项式核函数和RBF径向基核函数，即为

其中k_poly为多项式核函数，k_RBF为RBF径向基核函数；

E步骤：利用粒子群算法(PSO)进行相应的参数优化，确定支持向量机模型；当输出指标为COD时，此时，ρ₁＝0.6,ρ₂＝0.4；当输出指标为NH₄ ⁺-N时，此时，ρ₁＝0.9，ρ₂＝0.1；

F步骤：当输出指标为COD时，此时，ρ₁＝0.6,ρ₂＝0.4，MSE＝0.0027,Scc＝0.9940；而当随机选取多项式类型SVM核函数时，其实施结果为：MSE＝0.0056,Scc＝0.9215，当选取RBF径向基SVM核函数时，其实施结果为：MSE＝0.0051,Scc＝0.9287；

当输出指标为NH₄ ⁺-N时，此时，ρ₁＝0.9，ρ₂＝0.1,MSE＝0.0065,Scc＝0.9625；而当随机选取多项式类型SVM核函数时，其实施结果为：MSE＝0.0085,Scc＝0.9142，当选取RBF径向基SVM核函数时，其实施结果为：MSE＝0.0093,Scc＝0.9084。

实施例二：Servo Data Set(伺服数据集)

A步骤：本组数据集来自UCI数据库，共有167组数据，并对其进行预处理，使样本数据的范数小于1；然后选取马达种类、螺丝规格、放大系数p、放大系数v等4个为输入变量，伺服电机类型为输出变量；

B步骤：选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

C步骤：选取132组样本数据作为训练样本，35组样本数据作为测试样本，然后利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

D步骤：经稀疏编码选择出SVM核函数类型数n＝1，SVM核函数类型RBF径向基核函数k_RBF，此时ρ＝1；

E步骤：利用粒子群算法(PSO)进行相应的参数优化，确定支持向量机模型；

F步骤：根据遴选出RBF径向基核函数而建立的SVM模型，其实施预测结果为MSE＝0.0080,Scc＝0.8743。而随机选取的SVM核函数类型为多项式核函数时，其实施结果为：MSE＝0.0262,Scc＝0.4965；线性核函数时，其实施结果为：MSE＝0.0262,Scc＝0.4965；Sigmoid核函数时，其实施结果为：MSE＝0.0311,Scc＝0.4690。

实施例三：Yacht Hydrodynamics Data Set(游艇流体动力学数据集)

A步骤：本组数据集来自UCI数据库，共有308组数据，用于预测游艇流体动力学性能风帆游艇的尺寸和速度；对其进行预处理，使样本数据的范数小于1；然后选取浮心纵向位置、菱形系数、船长排水量比、船宽排水量比、船长宽比、弗劳德系数等6个为输入变量，剩余阻力每单位重量的位移为输出变量；

B步骤：选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

C步骤：选取240组样本数据作为训练样本，68组样本数据作为测试样本，然后利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

D步骤：经稀疏编码选择出SVM核函数类型数n＝3，具体为线性核函数、多项式核函数和RBF径向基核函数，即为

其中k_line为线性多项式，k_poly为多项式核函数，k_RBF为RBF径向基核函数；

E步骤：利用粒子群算法(PSO)进行相应的参数优化，确定支持向量机模型；此时，ρ₁＝0.1,ρ₂＝0.1,ρ₃＝0.8；

F步骤：根据步骤D遴选出组合核函数而建立的SVM模型，其实施预测结果为：ρ₁＝0.1,ρ₂＝0.1,ρ₃＝0.8,MSE＝0.0032,Scc＝0.9934；而当随机选取多项式类型SVM核函数时，其实施结果为：MSE＝0.0042,Scc＝0.9552，当选取RBF径向基SVM核函数时，其实施结果为：MSE＝0.0044,Scc＝0.9529。

通过以上三个实施例样本数据的测试可以看出，利用稀疏表示理论所筛选出的核函数建立的支持向量机模型要优于其他核函数构建的支持向量机模型。因此，本发明将稀疏表示理论运用于支持向量机核函数选择，是一种有监督的实用方法，克服了传统的支持向量机模型选择方法中人为指定核函数类型导致模型不能达到最优性能的缺点，并具有运算速度快、非常适合实时在线SVM模型预测控制场所等特点。

Claims (4)

1.一种稀疏表示下支持向量机核函数选择方法，包括如下步骤：

步骤1.输入样本数据其中Rⁿ为n维数据空间，l为样本数，对X进行变换使数据的范数小于1；

步骤2.选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

所述的稀疏字典可以涵盖不同类型的SVM核函数或同一类型但参数不同的SVM核函数，以及不同类型的SVM核函数组合形式，即此稀疏字典需具备通用性和完备性；

步骤3.利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

①稀疏表示：

对于M维的空间F，空间里的任意一个X∈F，都可以通过一组的线性组合来表示，其展开式如下：

其中Φ＝[φ₁ φ₂…φ_M]为M个SVM核函数构成的矩阵，称为字典；目标是找到一个使得式(1)成立的同时，其中非0元素的个数尽可能的少，具有较好的稀疏性，为稀疏编码；

②稀疏编码的优化模型如下：

所述的稀疏表示的稀疏性是通过将系数矩阵的l₁范数作为正则项来保证的；

当稀疏字典Ф完备时，即Ф为固定的，此时模型(2)转化为以下无约束最小二乘问题

求解模型(3)即可得到稀疏编码稀疏编码中的元素具有稀疏性；

步骤4.根据求解出的稀疏编码选取核函数类型，构建新的SVM核函数形式，即

$K=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ρ}}_i{K}_i$

$\begin{array}{cc}s.t.& \underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ρ}}_i=1\end{array}$

其中K_i表示所选的第i种不同的SVM核函数类型，n为所选不同类型SVM核函数的个数；

步骤5.利用粒子群算法PSO进行相应的参数优化，确定适合具体问题的支持向量机模型；

步骤6.输出预测结果。

2.根据权利要求1所述的方法，其特征是：应用于污水检测实验数据中，包括如下步骤：

A步骤：在某污水处理厂采集了57组样本数据，并对其进行预处理，使样本数据的范数小于1；然后选取污水中的溶解氧DO、BOD5、膜压差、产水量、日处理量、实际停留时间、进水负荷这7个参数作为输入变量，把经过膜生物技术处理后出水中的COD、NH4+-N指标作为输出变量；

B步骤：选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

C步骤：选取42组样本数据作为训练样本，15组样本数据作为测试样本，然后利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

D步骤：经稀疏编码选择出SVM核函数类型数n＝2，具体为多项式核函数和RBF径向基核函数，即为

$K=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ρ}}_i{k}_i={\mathrm{\ρ}}_1{k}_{poly}+{\mathrm{\ρ}}_2{k}_{RBF}$

其中k_poly为多项式核函数，k_RBF为RBF径向基核函数；

E步骤：利用粒子群算法PSO进行相应的参数优化，确定支持向量机模型；当输出指标为COD时，此时，ρ₁＝0.6,ρ₂＝0.4；当输出指标为NH₄ ⁺-N时，此时，ρ₁＝0.9，ρ₂＝0.1；

F步骤：当输出指标为COD时，此时，ρ₁＝0.6,ρ₂＝0.4，MSE＝0.0027,Scc＝0.9940；而当随机选取多项式类型SVM核函数时，其实施结果为：MSE＝0.0056,Scc＝0.9215，当选取RBF径向基SVM核函数时，其实施结果为：MSE＝0.0051,Scc＝0.9287；

当输出指标为NH₄ ⁺-N时，此时，ρ₁＝0.9，ρ₂＝0.1,MSE＝0.0065,Scc＝0.9625；而当随机选取多项式类型SVM核函数时，其实施结果为：MSE＝0.0085,Scc＝0.9142，当选取RBF径向基SVM核函数时，其实施结果为：MSE＝0.0093,Scc＝0.9084。

3.根据权利要求1所述的方法，其特征是：应用于伺服数据集中，包括如下步骤：

A步骤：本组数据集来自UCI数据库，共有167组数据，并对其进行预处理，使样本数据的范数小于1；然后选取马达种类、螺丝规格、放大系数p、放大系数v等4个为输入变量，伺服电机类型为输出变量；

B步骤：选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

C步骤：选取132组样本数据作为训练样本，35组样本数据作为测试样本，然后利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

D步骤：经稀疏编码选择出SVM核函数类型数n＝1，SVM核函数类型RBF径向基核函数k_RBF，此时ρ＝1；

E步骤：利用粒子群算法PSO进行相应的参数优化，确定支持向量机模型；

F步骤：根据遴选出RBF径向基核函数而建立的SVM模型，其实施预测结果为MSE＝0.0080,Scc＝0.8743；而随机选取的SVM核函数类型为多项式核函数时，其实施结果为：MSE＝0.0262,Scc＝0.4965；线性核函数时，其实施结果为：MSE＝0.0262,Scc＝0.4965；Sigmoid核函数时，其实施结果为：MSE＝0.0311,Scc＝0.4690。

4.根据权利要求1所述的方法，其特征是：应用于游艇流体动力学数据集中，包括如下步骤：

A步骤：本组数据集来自UCI数据库，共有308组数据，用于预测游艇流体动力学性能风帆游艇的尺寸和速度；对其进行预处理，使样本数据的范数小于1；然后选取浮心纵向位置、菱形系数、船长排水量比、船宽排水量比、船长宽比、弗劳德系数等6个为输入变量，剩余阻力每单位重量的位移为输出变量；

B步骤：选取与构造满足Mercer条件的不同核函数，建立完备的SVM核函数稀疏字典；

C步骤：选取240组样本数据作为训练样本，68组样本数据作为测试样本，然后利用稀疏表示理论求得样本数据在稀疏字典下的稀疏编码；

D步骤：经稀疏编码选择出SVM核函数类型数n＝3，具体为线性核函数、多项式核函数和RBF径向基核函数，即为

$K=\underset{i=1}{\overset{n}{\Σ}}{\mathrm{\ρ}}_i{k}_i={\mathrm{\ρ}}_1{k}_{line}+{\mathrm{\ρ}}_2{k}_{poly}+{\mathrm{\ρ}}_3{k}_{RBF}$

其中k_line为线性多项式，k_poly为多项式核函数，k_RBF为RBF径向基核函数；

E步骤：利用粒子群算法PSO进行相应的参数优化，确定支持向量机模型；此时，ρ₁＝0.1,ρ₂＝0.1,ρ₃＝0.8；

F步骤：根据步骤D遴选出组合核函数而建立的SVM模型，其实施预测结果为：ρ₁＝0.1,ρ₂＝0.1,ρ₃＝0.8,MSE＝0.0032,Scc＝0.9934；而当随机选取多项式类型SVM核函数时，其实施结果为：MSE＝0.0042,Scc＝0.9552，当选取RBF径向基SVM核函数时，其实施结果为：MSE＝0.0044,Scc＝0.9529。