CN102184421A - 一种支持向量回归机的训练方法 - Google Patents
一种支持向量回归机的训练方法 Download PDFInfo
- Publication number
- CN102184421A CN102184421A CN2011101025500A CN201110102550A CN102184421A CN 102184421 A CN102184421 A CN 102184421A CN 2011101025500 A CN2011101025500 A CN 2011101025500A CN 201110102550 A CN201110102550 A CN 201110102550A CN 102184421 A CN102184421 A CN 102184421A
- Authority
- CN
- China
- Prior art keywords
- lambda
- sample
- sample point
- lagrange multiplier
- decision function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
Abstract
本发明提出一种支持向量回归机的训练方法,具体包括:步骤一:设定训练样本集合;步骤二:计算核函数矩阵并初始化;步骤三:计算第一个训练点;步骤四:计算第二个训练点;步骤五:解析拉格朗日乘子;步骤六:更新中间变量;步骤七:判断训练样本集的所有样本是否满足最优条件:步骤八:计算回归决策函数。本发明中中间变量的更新利用了前一次训练的值,减少计算量;且在求目标函数的偏导以及目标函数下降值中,充分利用中间变量,从而减少了大量的计算,实现了快速选取训练点,提高训练的收敛速度。
Description
技术领域
本发明属于人工智能、机器学习和数据挖掘领域,具体涉及一种支持向量回归机的训练方法,可广泛应用于非线性回归、时间序列分析等领域。
背景技术
支持向量机(Support Vector Machines,SVM)理论源于Vapnik提出的用于解决模式识别问题的支持向量方法,之后Vapnik在提出ε-损失函数的基础上建立ε-支持向量回归机。SVM是基于结构风险最小化原则构建的,具有很强的学习能力和泛化性能,能够较好地解决小样本、高维数、非线性、局部极小等问题,广泛应用于模式分类和非线性回归。
SVM最终归结为求解一个二次规划(QP,Quadratic Programming)问题。如果直接求解,当训练点的数量比较大时,就会造成占据的存储空间过大,致使训练的速度降低。因此常用的方法就是将问题进行分解,如选块算法、分解算法和序列最小最优化算法(sequentialminimal optimization,SMO)算法等。其中SMO算法将优化问题分解到最小,在每次迭代过程中只需要对两个拉格朗日乘子的最优化问题进行解析求解,没有矩阵运算,容易实现,是目前应用最为广泛的算法。
参考文献:Gary.W.F,Steve.L. Efficient SVM Regression Training with SMO[J].MachineLearning,2002(46):271-290中详细介绍了ε-支持向量回归机应用SMO方法求解过程中子优化问题的求解,即两个拉格朗日乘子的解析求解方法。但SMO方法中两个训练点的选取直接影响算法的精度以及收敛速度,目前没有统一的原则来确定如何选取两个训练点的方法。通常SMO方法中通过2步来实现训练点的选取:首先,从选择违反KKT条件最严重的点为第一个训练点;其次根据解的步进最大化原则来选取第二个训练点。这种选取训练点的方法主要不足有:没有确定的原则来判断违反KKT条件的严重程度,只能通过计算搜索合适的训练点;另外该方法在选择第二个训练点时只考虑解的进展,但是求解的最终的目的是使得目标函数达到最小,因此该选择方法意义不明确,很可能造成在训练过程中目标函数会增大。
发明内容
针对现有技术中SMO方法求解支持向量机回归问题时训练过程中两个训练点的选取的不足,本发明提出一种支持向量回归机的训练方法,该方法从直接逼近目标函数的角度出发,物理意义明确,并充分利用中间变量,计算简单,运算效率高。
一种支持向量回归机的训练方法,其特征在于:具体包括以下几个步骤:
步骤一:设定训练样本集合:
设定训练样本集合为输入空间的特征属性xp∈Rn,Rn为输入空间,n为输入空间的维数,输出空间的值yp∈R,R为输出空间;(xp,yp)表示第p个样本点,l为训练样本集合中样本的总数,设定不敏感损失因子ε和惩罚因子C;
步骤二:计算核函数矩阵K并进行初始化:
计算核函数矩阵K,kpq=K(xp,xq),kpq表示第p个样本点xp和第q个样本点xq的核函数积;初始化拉格朗日乘子向量λ=(λ1,λ2,...,λp,...,λl)=0,决策函数偏置b=0,决策函数向量f=(f1,f2,...,fp,...,fl)=0;其中λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,b表示决策函数的偏置,fp表示第p个样本点xp对应的决策函数值;
步骤三:对目标函数W求偏导,取使偏导数绝对值最大的分量下标作为第一个训练点;
3.1:对目标函数的拉格朗日乘子(λ1,λ2,...,λp,...,λl)求偏导数并取绝对值,得到W′=(|W′1|,|W′2|,...,|W′p|,...,|W′l|),其中表示目标函数的第p个拉格朗日乘子的偏导数,λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,fp表示第p个样本点xp对应的决策函数值,yp表示第p个样本点输出空间的值,ε为不敏感损失因子,b表示决策函数的偏置;对目标函数求偏导并取绝对值后得到的|W′1|,|W′2|,...,|W′p|,...,|W′l|按大小降序排列,其中表示降序排列后目标函数的第Ik个拉格朗日乘子的偏导数绝对值,|W′p|表示目标函数的第p个拉格朗日乘子的偏导数的绝对值,I1,I2,...,Ik,...,It表示的下标;初始化第一个训练点的迭代次数为1;
3.2:判断目标函数求偏导取绝对值后降序排列的中下标为Iindex_i的样本是否满足最优条件:
判断下标为Iindex_i的样本是否满足KKT条件,若满足KKT条件,则进入步骤3.3,若不满足KKT条件,则得到第一个训练点,下标为i=Iindex_i,进入步骤四;
3.3:判断寻找第一个训练点的迭代次数否到达训练样本集合总数l,若迭代次数达到样本总数l,则训练样本集合中所有样本点满足KKT条件,则进入步骤八,否则迭代次数增加1,返回步骤3.2;
步骤四:取使得目标函数值下降最大的下标分量作为第二个训练点:
其中kpq表示第p个样本点xp和第q个样本点xq的核函数积,kpi表示第p个样本点xp和第i个样本点xi的核函数积,kpv表示第p个样本点xp和第v个样本点xv的核函数积,kii表示第i个样本点xi和第i个样本点xi的核函数积,kiv表示第i个样本点xi和第v个样本点xv的核函数积,kvv表示第v个样本点xi和第v个样本点xv的核函数积,λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,yp表示第p个样本点输出空间的值,yi表示第i个样本点输出空间的值,yv表示第v个样本点输出空间的值,ε为不敏感损失因子,l为样本总数,和为解析求解得到两个新的拉格朗日乘子;
分别计算新的目标函数Wiv与原目标函数W的差值(ΔW1,ΔW2,...,ΔWv,...,ΔWl),其中
其中ΔWv表示对两个拉格朗日乘子λi和λv解析求解后得到的新的目标函数与原目标函数的差值,λi表示决策函数中第i个样本点对应的拉格朗日乘子,其中λv表示决策函数中第v个样本点对应的拉格朗日乘子,和表示解析求解得到的第i个和第v个拉格朗日乘子,Δλi、Δλv分别表示新的拉格朗日乘子与原来拉格朗日乘子λi、λv的差值,fv表示第v个样本点xv对应的决策函数值,fi表示第i个样本点xi对应的决策函数值,yi表示第i个样本点输出空间的值,yv表示第v个样本点输出空间的值,b为决策函数的偏置;
对ΔW1,ΔW2,...,ΔWv,...,ΔWl按大小升序排列,记为
4.2:判断是否成立,若成立,则下标为i和J1的两个拉格朗日乘子的解析解和使得目标函数下降并且下降值最大,得到第二个训练点的下标j=J1,则进入步骤五;若不成立,则下标为i的拉格朗日乘子没有相应的乘子使得目标函数下降,返回步骤3.2重新寻找第一个训练点,并设定寻找第一个训练点的迭代次数增加1;
步骤五:解析第一个训练点和第二个训练点对应的拉格朗日乘子:
步骤六:更新中间变量:
6.1:计算拉格朗日乘子进行解析求解后的决策函数的偏置bnew:
分别计算第i个样本对应的决策函数偏置bi和第j个样本对应的决策函数偏置bj:
其中,ε为不敏感损失因子,C为惩罚因子,yi和yj分别表示第i和j个样本点输出空间的值,kij表示第i个样本点和第j个样本点的核函数积,λi和λj分别表示第i和j个拉格朗日乘子,和表示解析求解后的第i和j个拉格朗日乘子,sgn(λi)和sgn(λj)分别表示取λi和λj的正负符号;
fp表示第p个样本点对应的决策函数值,λi和λj分别表示第i和j个拉格朗日乘子,和表示解析求解后的第i和j个拉格朗日乘子,b表示决策函数的偏置,bnew表示解析求解后决策函数的偏置,kip表示第i个样本点和第p个样本点的核函数积,kjp表示第j个样本点和第p个样本点的核函数积;
6.3:更新第i个拉格朗日乘子λi的值为第j个拉格朗日乘子λi的值为更新后的拉格朗日向量为λ=(λ1,λ2,…,λl),更新决策函数偏置b为bnew,更新决策函数向量(f1,f2,...,fp,...,fl)为
步骤八:计算得到的回归决策函数:
训练结束,由步骤6.3计算所得最终的拉格朗日向量为λ=(λ1,λ2,…,λl),最终的决策函数偏置为b,计算得到的回归决策函数yx为
其中λp表示最终的拉格朗日向量中第p个拉格朗日乘子,xp为训练样本集中第p个样本,x为新样本,K(xp,x)表示训练样本集中第p个样本xp与新样本x的核函数积,1≤p≤l,b表示最终的决策函数偏置,yx为新样本x对应的回归决策函数的输出。
本发明的优点在于:
(1)本发明提出的一种支持向量回归机的训练方法,从直接逼近目标函数的角度提出一种选取两个训练点的方法,物理意义明确;
(2)本发明提出的一种支持向量回归机的训练方法,中间变量的更新利用了前一次训练的值,减少计算量;
(3)本发明提出的一种支持向量回归机的训练方法,在求目标函数的偏导以及目标函数下降值中,充分利用中间变量,从而减少了大量的计算,实现了快速选取训练点,提高训练的收敛速度。
附图说明
图1:本发明提出一种支持向量回归机的训练方法的流程图。
具体实施方式
下面将结合附图对本发明作进一步的详细说明。
本发明提出一种支持向量回归机的训练方法,流程如图1所示,具体包括以下几个步骤:
步骤一:假定已知的训练样本集合为输入空间的特征属性xp∈Rn,Rn为输入空间,n为输入空间的维数,输出空间的值yp∈R,R为输出空间;(xp,yp)表示第p个样本点,l为训练样本集合中样本的总数,设定支持向量回归机的模型参数的不敏感损失因子ε和惩罚因子C。
步骤二:计算核函数矩阵
kpq表示第p个样本点xp和第q个样本点xq的核函数积,其中K(xp,xq)为选定的核函数。进行初始化,设定拉格朗日乘子向量λ=(λ1,λ2,...,λp,..,λl)=0,决策函数偏置b=0,决策函数向量f=(f1,f2,...,fp,...,fl)=0。其中λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,b表示决策函数的偏置,fp表示第p个样本点xp对应的决策函数值。
步骤三:对目标函数W求偏导,取使偏导数绝对值最大即目标函数下降最快的分量下标作为第一个训练点;
3.1:对目标函数(kpq表示第p个样本点xp和第q个样本点xq的核函数积,λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,ε为不敏感损失因子,l为样本总数)的拉格朗日乘子(λ1,λ2,...,λp,...,λl)求偏导数并取绝对值,记为W′=(|W′1|,|W′2|,...,|W′p|...,|W′l|),其中W′p=fp-b+ε|λp|-yp表示目标函数的第p个拉格朗日乘子的偏导数,λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,fp表示第p个样本点xp对应的决策函数值,yp表示第p个样本点输出空间的值,ε为不敏感损失因子,b表示决策函数的偏置。对目标函数求偏导并取绝对值后得到的|W′1|,|W′2|...,|W′p|,...,|W′l|按大小降序排列,记为将降序排列后的|W′|的下标记为(I1,I2,...,Ik,...,Il),其中表示降序排列后目标函数的第Ik个拉格朗日乘子的偏导数绝对值。|W′p|表示目标函数的第p个拉格朗日乘子的偏导数的绝对值,分别为|W′1|,|W′2|,...,|W′p|,...,|W′l|按大小降序排列后的表示,I1,I2,...,Ik,...,Il表示的下标;初始化第一个训练点的迭代次数index_i为1,index i=1;
其中表示第Iindex_i个样本点输出空间的值,表示第Iindex_i个样本点对应的决策函数值,表示决策函数中第Iindex_i个样本点对应的拉格朗日乘子,ε为不敏感损失因子,C为惩罚因子,Iindex_i表示中的下标。
判断下标为Iindex_i的样本是否满足KKT条件,若满足KKT条件,则进入步骤3.3,若不满足KKT条件,则得到第一个训练点,下标为Iindex_i,记为i=Iindex_i,进入步骤四;
3.3:判断寻找第一个训练点的迭代次数index_i是否到达训练样本集合总数l,若迭代次数index_i达到样本总数l,即,说明训练样本集合中所有样本点满足KKT条件,则进入步骤八,否则迭代次数index_i增加1,即index_i=index_i+1,返回步骤3.2;
步骤四:在得到第一个训练点下标的情况下,取使得目标函数值下降最大的下标分量作为第二个训练点:
4.1:根据步骤三得到的第一个训练点的下标i,依次对下标分别为i和v(v=1,2,...,l)(i和v都是指样本集里样本的下标)组成的两个拉格朗日乘子λi和λv进行解析求解,得到两个新的拉格朗日乘子和计算新的目标函数Wiv为
其中kpq表示第p个样本点xp和第q个样本点xq的核函数积,kpi表示第p个样本点xp和第i个样本点xi的核函数积,kpv表示第p个样本点xp和第v个样本点xv的核函数积,kii表示第i个样本点xi和第i个样本点xi的核函数积,kiv表示第i个样本点xi和第v个样本点xv的核函数积,kvv表示第v个样本点xi和第v个样本点xv的核函数积,λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,yp表示第p个样本点输出空间的值,yi表示第i个样本点输出空间的值,yv表示第v个样本点输出空间的值,ε为不敏感损失因子,l为样本总数,和为解析求解得到两个新的拉格朗日乘子。
分别计算新的目标函数Wiv与原目标函数W的差值记为(ΔW1,ΔW2,...,ΔWv,...,ΔWl),其中
其中ΔWv表示对两个拉格朗日乘子λi和λv解析求解后得到的新的目标函数与原目标函数的差值,λi表示决策函数中第i个样本点对应的拉格朗日乘子,其中λv表示决策函数中第v个样本点对应的拉格朗日乘子,和表示解析求解得到的第i个和第v个拉格朗日乘子,Δλi、Δλv分别表示新的拉格朗日乘子与原来拉格朗日乘子λi、λv的差值,fv表示第v个样本点xv对应的决策函数值,fi表示第i个样本点xi对应的决策函数值,yi表示第i个样本点输出空间的值,yv表示第v个样本点输出空间的值,b为决策函数的偏置
4.2:判断是否成立,若成立,则下标为i和J1的两个拉格朗日乘子的解析解和使得目标函数下降并且下降值最大,得到第二个训练点的下标j=J1,则进入步骤五。若不成立,则下标为i的拉格朗日乘子没有相应的乘子使得目标函数下降,返回步骤3.2重新寻找第一个训练点,并设定寻找第一个训练点的迭代次数增加1,即index_i=index_i+1;
步骤五:由步骤三和步骤四分别得到的两个训练点的下标i和j,确定两个训练点为(xi,yi)和(xj,yj),对应的拉格朗日乘子为λi和λj,对两个拉格朗日乘子进行解析求解,得到新的两个拉格朗日乘子分别为和其中(xi,yi)和(xj,yj)分别表示第i个和j个样本点。
步骤六:更新中间变量:
6.1:根据如下规则计算拉格朗日乘子进行解析求解后决策函数的偏置bnew
按下式分别计算第i个样本对应的决策函数偏置bi和第j个样本对应的决策函数偏置bj:
其中,ε为不敏感损失因子,C为惩罚因子,yi和yj分别表示第i和j个样本点输出空间的值,kij表示第i个样本点和第j个样本点的核函数积,λi和λj分别表示第i和j个拉格朗日乘子,和表示解析求解后的第i和j个拉格朗日乘子,sgn(λi)和sgn(λj)分别表示取λi和λj的正负符号。
fp表示第p个样本点对应的决策函数值,λi和λj分别表示第i和j个拉格朗日乘子,和表示解析求解后的第i和j个拉格朗日乘子,b表示决策函数的偏置,bnew表示解析求解后决策函数的偏置,kip表示第i个样本点和第p个样本点的核函数积,kjp表示第j个样本点和第p个样本点的核函数积。
6.3:更新第i个拉格朗日乘子λi的值为第j个拉格朗日乘子λj的值为更新后的拉格朗日向量为λ=(λ1,λ2,...,λl),更新决策函数偏置b为bnew,更新决策函数向量(f1,f2,...,fp,...,fl)为
b=bmew,λi和λj分别表示第i和j个拉格朗日乘子,和分别表示解析求解后的第i和j个拉格朗日乘子,b表示决策函数的偏置,bnew表示解析求解后决策函数的偏置,fp第p个样本点对应的决策函数值,表示解析求解后第p个样本点对应的决策函数值。步骤七:判断训练样本集的所有样本是否如下满足最优(Karush-Kuhn-Tucker,KKT)条件:
步骤八:训练结束,由步骤6.3计算所得最终的拉格朗日向量为λ=(λ1,λ2,…,λl),最终的决策函数偏置为b,计算得到的回归决策函数yx为
其中λp表示最终的拉格朗日向量中第p个拉格朗日乘子,xp为训练样本集中第p个样本,x为新样本,K(xp,x)表示训练样本集中第p个样本xp与新样本x的核函数积,1≤p≤l,b表示最终的决策函数偏置,yx为新样本x对应的回归决策函数的输出。
Claims (2)
1.一种支持向量回归机的训练方法,其特征在于:具体包括以下几个步骤:
步骤一:设定训练样本集合:
设定训练样本集合为输入空间的特征属性xp∈Rn,Rn为输入空间,n为输入空间的维数,输出空间的值yp∈R,R为输出空间;(xp,yp)表示第p个样本点,l为训练样本集合中样本的总数,设定不敏感损失因子ε和惩罚因子C;
步骤二:计算核函数矩阵K并进行初始化:
计算核函数矩阵K,kpq=K(xp,xq),kpq表示第p个样本点xp和第q个样本点xq的核函数积;初始化拉格朗日乘子向量λ=(λ1,λ2,...,λp,...,λl)=0,决策函数偏置b=0,决策函数向量f=(f1,f2,...,fp,...,fl)=0;其中λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,b表示决策函数的偏置,fp表示第p个样本点xp对应的决策函数值;
步骤三:对目标函数W求偏导,取使偏导数绝对值最大的分量下标作为第一个训练点;
3.1:对目标函数的拉格朗日乘子(λ1,λ2,...,λp,...,λl)求偏导数并取绝对值,得到W′=(|W′1|,|W′2|,...,|W′p|,...,|W′l|),其中表示目标函数的第p个拉格朗日乘子的偏导数,λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,fp表示第p个样本点xp对应的决策函数值,yp表示第p个样本点输出空间的值,ε为不敏感损失因子,b表示决策函数的偏置;对目标函数求偏导并取绝对值后得到的|W′1|,|W′2|,...,|W′p|,...,|W′l|按大小降序排列,其中表示降序排列后目标函数的第Ik个拉格朗日乘子的偏导数绝对值,|W′p|表示目标函数的第p个拉格朗日乘子的偏导数的绝对值,I1,I2,...,Ij,...,Il表示的下标;初始化第一个训练点的迭代次数为1;
3.2:判断目标函数求偏导取绝对值后降序排列的中下标为Iindex_i的样本是否满足最优条件:
判断下标为Iindex_i的样本是否满足KKT条件,若满足KKT条件,则进入步骤3.3,若不满足KKT条件,则得到第一个训练点,下标为i=Iindex_i,进入步骤四;
3.3:判断寻找第一个训练点的迭代次数否到达训练样本集合总数l,若迭代次数达到样本总数l,则训练样本集合中所有样本点满足KKT条件,则进入步骤八,否则迭代次数增加1,返回步骤3.2;
步骤四:取使得目标函数值下降最大的下标分量作为第二个训练点:
其中kpq表示第p个样本点xp和第q个样本点xq的核函数积,kpi表示第p个样本点xp和第i个样本点xi的核函数积,kpv表示第p个样本点xp和第v个样本点xv的核函数积,kii表示第i个样本点xi和第i个样本点ci的核函数积,kiv表示第i个样本点xi和第v个样本点xv的核函数积,kvv表示第v个样本点xi和第v个样本点xv的核函数积,λp表示决策函数中第p个样本点xp对应的拉格朗日乘子,yp表示第p个样本点输出空间的值,yi表示第i个样本点输出空间的值,yv表示第v个样本点输出空间的值,ε为不敏感损失因子,l为样本总数,和为解析求解得到两个新的拉格朗日乘子;
分别计算新的目标函数Wiv与原目标函数W的差值(ΔW1,ΔW2,...,ΔWv,...,ΔWl),其中
其中ΔWv表示对两个拉格朗日乘子λi和λv解析求解后得到的新的目标函数与原目标函数的差值,λi表示决策函数中第i个样本点对应的拉格朗日乘子,其中λv表示决策函数中第v个样本点对应的拉格朗日乘子,和表示解析求解得到的第i个和第v个拉格朗日乘子,Δλi、Δλv分别表示新的拉格朗日乘子与原来拉格朗日乘子λi、λv的差值,fv表示第v个样本点xv对应的决策函数值,fi表示第i个样本点xi对应的决策函数值,yi表示第i个样本点输出空间的值,yv表示第v个样本点输出空间的值,b为决策函数的偏置;对ΔW1,ΔW2,...,ΔWv,...,ΔWl按大小升序排列,记为
4.2:判断是否成立,若成立,则下标为i和J1的两个拉格朗日乘子的解析解和使得目标函数下降并且下降值最大,得到第二个训练点的下标j=J1,则进入步骤五;若不成立,则下标为i的拉格朗日乘子没有相应的乘子使得目标函数下降,返回步骤3.2重新寻找第一个训练点,并设定寻找第一个训练点的迭代次数增加1;
步骤五:解析第一个训练点和第二个训练点对应的拉格朗日乘子:
步骤六:更新中间变量:
6.1:计算拉格朗日乘子进行解析求解后的决策函数的偏置bnew:
分别计算第i个样本对应的决策函数偏置bi和第j个样本对应的决策函数偏置bj:
其中,ε为不敏感损失因子,C为惩罚因子,yi和yj分别表示第i和j个样本点输出空间的值,kij表示第i个样本点和第j个样本点的核函数积,λi和λj分别表示第i和j个拉格朗日乘子,和表示解析求解后的第i和j个拉格朗日乘子,sgn(λi)和sgn(λj)分别表示取λi和λj的正负符号;
fp表示第p个样本点对应的决策函数值,λi和λj分别表示第i和j个拉格朗日乘子,和表示解析求解后的第i和j个拉格朗日乘子,b表示决策函数的偏置,bnew表示解析求解后决策函数的偏置,kip表示第i个样本点和第p个样本点的核函数积,kip表示第j个样本点和第p个样本点的核函数积;
6.3:更新第i个拉格朗日乘子λi的值为第j个拉格朗日乘子λi的值为更新后的拉格朗日向量为λ=(λ1,λ2,…,λl),更新决策函数偏置b为bnew,更新决策函数向量(f1,f2,...,fp,...,fl)为
步骤七:判断训练样本集的所有样本是否满足最优条件:
步骤八:计算得到的回归决策函数:
训练结束,计算所得最终的拉格朗日向量为λ=(λ1,λ2,…,λl),最终的决策函数偏置为b,计算得到的回归决策函数yx为:
其中λp表示最终的拉格朗日向量中第p个拉格朗日乘子,xp为训练样本集中第p个样本,x为新样本,K(xp,x)表示训练样本集中第p个样本xp与新样本x的核函数积,1≤p≤l,b表示最终的决策函数偏置,yx为新样本x对应的回归决策函数的输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101025500A CN102184421A (zh) | 2011-04-22 | 2011-04-22 | 一种支持向量回归机的训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101025500A CN102184421A (zh) | 2011-04-22 | 2011-04-22 | 一种支持向量回归机的训练方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102184421A true CN102184421A (zh) | 2011-09-14 |
Family
ID=44570594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101025500A Pending CN102184421A (zh) | 2011-04-22 | 2011-04-22 | 一种支持向量回归机的训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102184421A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663491A (zh) * | 2012-03-13 | 2012-09-12 | 浙江工业大学 | 一种基于surf特征的高密度人群计数方法 |
CN103033362A (zh) * | 2012-12-31 | 2013-04-10 | 湖南大学 | 一种基于改进多变量预测模型的齿轮故障诊断方法 |
CN103761723A (zh) * | 2014-01-22 | 2014-04-30 | 西安电子科技大学 | 基于多层支持向量回归机模型的图像超分辨重建方法 |
CN108009668A (zh) * | 2017-10-31 | 2018-05-08 | 中国南方电网有限责任公司 | 一种应用机器学习的大规模地调负荷预测方法 |
CN108121998A (zh) * | 2017-12-05 | 2018-06-05 | 北京寄云鼎城科技有限公司 | 一种基于Spark框架的支持向量机训练方法 |
CN108848364A (zh) * | 2018-06-20 | 2018-11-20 | 温州大学 | 一种基于支持向量回归机的颜色空间转换的颜色校正方法 |
CN110009111A (zh) * | 2019-03-29 | 2019-07-12 | 电子科技大学 | 一种机器学习逆过程中生成最优训练集的方法 |
CN113688908A (zh) * | 2021-08-25 | 2021-11-23 | 江南大学 | 基于在线ε型孪生支持向量回归机的蓝牙信号室内传播模型校正方法 |
-
2011
- 2011-04-22 CN CN2011101025500A patent/CN102184421A/zh active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663491A (zh) * | 2012-03-13 | 2012-09-12 | 浙江工业大学 | 一种基于surf特征的高密度人群计数方法 |
CN102663491B (zh) * | 2012-03-13 | 2014-09-03 | 浙江工业大学 | 一种基于surf特征的高密度人群计数方法 |
CN103033362A (zh) * | 2012-12-31 | 2013-04-10 | 湖南大学 | 一种基于改进多变量预测模型的齿轮故障诊断方法 |
CN103033362B (zh) * | 2012-12-31 | 2015-03-25 | 湖南大学 | 一种基于改进多变量预测模型的齿轮故障诊断方法 |
CN103761723A (zh) * | 2014-01-22 | 2014-04-30 | 西安电子科技大学 | 基于多层支持向量回归机模型的图像超分辨重建方法 |
CN103761723B (zh) * | 2014-01-22 | 2016-10-26 | 西安电子科技大学 | 基于多层支持向量回归机模型的图像超分辨重建方法 |
CN108009668A (zh) * | 2017-10-31 | 2018-05-08 | 中国南方电网有限责任公司 | 一种应用机器学习的大规模地调负荷预测方法 |
CN108009668B (zh) * | 2017-10-31 | 2023-08-25 | 中国南方电网有限责任公司 | 一种应用机器学习的大规模地调负荷预测方法 |
CN108121998A (zh) * | 2017-12-05 | 2018-06-05 | 北京寄云鼎城科技有限公司 | 一种基于Spark框架的支持向量机训练方法 |
CN108121998B (zh) * | 2017-12-05 | 2020-09-25 | 北京寄云鼎城科技有限公司 | 一种基于Spark框架的支持向量机训练方法 |
CN108848364A (zh) * | 2018-06-20 | 2018-11-20 | 温州大学 | 一种基于支持向量回归机的颜色空间转换的颜色校正方法 |
CN108848364B (zh) * | 2018-06-20 | 2020-12-29 | 温州大学 | 一种基于支持向量回归机的颜色空间转换的颜色校正方法 |
CN110009111A (zh) * | 2019-03-29 | 2019-07-12 | 电子科技大学 | 一种机器学习逆过程中生成最优训练集的方法 |
CN113688908A (zh) * | 2021-08-25 | 2021-11-23 | 江南大学 | 基于在线ε型孪生支持向量回归机的蓝牙信号室内传播模型校正方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102184421A (zh) | 一种支持向量回归机的训练方法 | |
Wu et al. | Ultra‐short‐term multi‐step wind power forecasting based on CNN‐LSTM | |
CN106055791B (zh) | 基于预估校正算法的飞行器全局气动优化方法 | |
CN108205717A (zh) | 一种光伏发电功率多时间尺度预测方法 | |
CN104881706A (zh) | 一种基于大数据技术的电力系统短期负荷预测方法 | |
CN110942205B (zh) | 一种基于himvo-svm的短期光伏发电功率预测方法 | |
CN105138849A (zh) | 一种基于ap聚类的无功电压控制分区方法 | |
CN106933778A (zh) | 一种基于爬坡事件特征识别的风电功率组合预测方法 | |
CN103679263A (zh) | 基于粒子群支持向量机的雷电临近预测方法 | |
CN106778846A (zh) | 一种基于支持向量机的风电场风速预测方法 | |
CN103116762A (zh) | 一种基于自调制字典学习的图像分类方法 | |
CN106156895A (zh) | 一种基于模糊c均值聚类和分步网格搜索支持向量回归的电动汽车充电负荷预测方法 | |
CN102855412A (zh) | 一种风电功率预测方法及其装置 | |
CN105069521A (zh) | 一种基于加权fcm聚类算法的光伏电站输出功率预测方法 | |
CN104978613A (zh) | 一种考虑组件温度的光伏出力短期预测方法 | |
CN112200391B (zh) | 基于k-近邻互信息特征简化的配电网边缘侧负荷预测方法 | |
Zhang et al. | Short-term forecasting of wind power generation based on the similar day and Elman neural network | |
CN105678402A (zh) | 一种基于季节分区的光伏功率预测方法 | |
CN110110915A (zh) | 一种基于cnn-svr模型的负荷集成预测方法 | |
CN104865827A (zh) | 一种基于多工况模型的抽油机采油优化方法 | |
CN114219181A (zh) | 基于迁移学习的风电功率概率预测方法 | |
CN117439045A (zh) | 综合能源系统多元负荷预测方法 | |
CN106227767A (zh) | 一种基于领域相关性自适应的协同过滤方法 | |
Amrit et al. | Design strategies for multi-objective optimization of aerodynamic surfaces | |
Wang et al. | Accurate solar cell modeling via genetic Neural network-based Meta-Heuristic algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110914 |