CN102208030A - 基于支持向量机正则化路径的贝叶斯模型平均模型组合方法 - Google Patents
基于支持向量机正则化路径的贝叶斯模型平均模型组合方法 Download PDFInfo
- Publication number
- CN102208030A CN102208030A CN2011101492419A CN201110149241A CN102208030A CN 102208030 A CN102208030 A CN 102208030A CN 2011101492419 A CN2011101492419 A CN 2011101492419A CN 201110149241 A CN201110149241 A CN 201110149241A CN 102208030 A CN102208030 A CN 102208030A
- Authority
- CN
- China
- Prior art keywords
- model
- support vector
- bayesian
- vector machine
- regularization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于支持向量机正则化路径的贝叶斯模型平均模型组合方法,该方法包括以下步骤:计算支持向量机2-分类模型的正则化路径,得到初始模型集;在得到的正则化路径上应用贝叶斯公式求解模型的后验概率;贝叶斯模型平均预测;步骤四,得到预测输出;与广义近似交叉验证方法相比,基于支持向量机正则化路径的贝叶斯模型平均模型组合算法具有更低的分类误差,在保证较高预测精确率的同时,较大的减少了运行时间并降低了操作复杂度。
Description
技术领域
在本发明涉及支持向量机正则化路径上的模型组合,特别是一种基于贝叶斯模型平均的模型组合方法。
背景技术
支持向量机(Support Vector Machine,SVM)是Vapnik等人提出的一种基于统计学习理论的机器学习方法,它以最大化分类间隔构造最优分类超平面来提高分类器的泛化能力,较好地解决了非线性、高维数、局部极小点等问题。与传统的神经网络学习方法相比,SVM具有结构风险最小,可以逼近任意函数且保证全局最优,适用于小样本、非线性核高维建模的领域。目前,SVM已广泛应用于手写字识别、文本分类、语音识别等方面,并取得了良好的应用效果。
对于2-分类支持向量机,已知训练集:
2-分类线性分类支持向量机简单模型如下:
建立拉格朗日原函数:
令偏导等于零且KKT条件为:
, (5)
而现有技术中,支持向量机贝叶斯解释
在特征空间中决策函数可表示为:
(15)
3.正则化路径算法
Hastie等在2004年的文章中提出了支持向量机的正则化路径算法,相应的2-分类支持向量机正则化模型如下:
建立拉格朗日原函数:
各偏导等于零及KKT条件:
(24)
(3),R表示拐点的右边。
(1)样本从E进入R或L;(2)样本从L进入E;(3)样本从R进入E。
发明内容
基于上述现有技术,本发明提出了一种基于支持向量机正则化路径的贝叶斯模型平均模型组合方法,通过将支持向量机2-分类模型正则化路径上的给出的模型集进行组合,在较低的计算复杂度和较短的操作时间内给出预测能力强的组合分类器。
本发明提出了一种基于支持向量机正则化路径的贝叶斯模型平均模型组合方法,该方法包括以下步骤:
步骤一,计算支持向量机2-分类模型的正则化路径,得到初始模型集;
根据正则化路径算法,在训练数据集上运行正则化路径算法,得到初始模型集,,中的模型个数等于svmpath算法的迭代次数,且为, 的取值范围大概为[4,6],表示正类训练样本个数;表示负类训练样本个数;220104 19640827 4312
步骤二,在得到的正则化路径上应用贝叶斯公式求解模型的后验概率;
模型的后验概率为
步骤三,贝叶斯模型平均预测
步骤四,得到预测输出
并得出测试误差率,测试误差率 = 分类错误样本/样本总数。
与现有技术相比,本发明基于支持向量机正则化路径的贝叶斯模型平均模型组合算法具有更低的分类误差。在保证较高预测精确率的同时,较大的减少了运行时间并降低了操作复杂度。
附图说明
图1:R软件的安装及svmpath程序包的加载界面示意图;
图2:程序运行结果示例界面示意图。
具体实施方式
首先,计算支持向量机2-分类模型的正则化路径,得到初始模型集;然后在此基础上应用贝叶斯模型平均方法,对于给定的测试样本,得到其预测输出。实验对比新方法与经典的广义近似交叉验证方法(GACV)的预测误差和运行时间。
本发明所基于的原理是贝叶斯模型平均组合方法:
该方法的基本思想如下:首先,在上面定义的支持向量机正则化模型中,开始时赋给正则化参数一个很大的值,让递减并趋向0。随着的减少, (的范数)增加,间隔的宽度减小。随着间隔的变窄,训练点从间隔里移到间隔外。由连续性,当拉格朗日乘子从1减至0时,训练点必会落到间隔上,由此得到初始模型集。然后,通过支持向量机的贝叶斯解释,在得到的正则化路径上应用贝叶斯公式求解模型的后验概率。最后利用贝叶斯模型平均模型方法对初始模型集进行组合,求得样本预测分类概率,并得到预测输出。
本发明的实施,具体步骤如下:
第1步:得到初始模型集
计算支持向量机2-分类模型的正则化路径,得到初始模型集;即:根据背景知识中的正则化路径算法,在训练数据集上运行正则化路径算法,得到初始模型集。初始模型集,即为正则化路径上拐点处对应的函数集。中的模型个数等于svmpath算法的迭代次数,svmpath算法的迭代次数为,是介于之间的某个值,表示正类训练样本个数。类似的,表示负类训练样本个数。因而,中模型个数等于,为某个较小的数。
第2步:在得到的正则化路径上应用贝叶斯公式求解模型的后验概率
。 (25)
通过引入支持向量机的概率解释,模型的后验概率由贝叶斯公式求解。对支持向量机的损失函数进行逐点归一化,即令,从而由(17)式可以得到
, (26)
模型的后验概率为
第3步:贝叶斯模型平均预测
。 (29)
第4步:得到预测输出
并得出测试误差率。
2. SVM贝叶斯模型平均模型组合方法(SVMMC)的伪码表示
表1实验数据集示例
编号 | y | X1 | … | Xn |
1 | 1 | -0.727139 | … | -0.879908 |
2 | 1 | -0.889381 | … | -0.556582 |
3 | 1 | -0.839233 | … | -0.741339 |
4 | 1 | -0.582596 | … | -0.690531 |
… | … | … | … | … |
460 | -1 | -0.712389 | … | 0.413395 |
461 | -1 | -0.240413 | … | -0.769053 |
462 | -1 | -0.352507 | … | -0.78291 |
463 | -1 | -0.60472 | … | -0.662818 |
… | … | … | … | … |
表2:在数据集Australian上SVMMC算法与GACV方法的预测精度及运行时间的 对比
表3:在数据集Ionosphere上SVMMC算法与GACV方法的预测精度及运行时间的 对比
表4:在数据集Sonar上SVMMC算法与GACV方法的预测精度及运行时间的对比
Claims (1)
1.一种基于支持向量机正则化路径的贝叶斯模型平均模型组合方法,该方法包括以下步骤:
步骤一,计算支持向量机2-分类模型的正则化路径,得到初始模型集;
根据正则化路径算法,在训练数据集上运行正则化路径算法,得到初始模型集 ,,中的模型个数等于svmpath算法的迭代次数,且为, 的取值范围大概为[4,6],表示正类训练样本个数;表示负类训练样本个数;步骤二,在得到的正则化路径上应用贝叶斯公式求解模型的后验概率;
模型的后验概率为
步骤三,贝叶斯模型平均预测
步骤四,得到预测输出
并得出测试误差率,测试误差率 = 分类错误样本/样本总数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101492419A CN102208030A (zh) | 2011-06-03 | 2011-06-03 | 基于支持向量机正则化路径的贝叶斯模型平均模型组合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011101492419A CN102208030A (zh) | 2011-06-03 | 2011-06-03 | 基于支持向量机正则化路径的贝叶斯模型平均模型组合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102208030A true CN102208030A (zh) | 2011-10-05 |
Family
ID=44696852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011101492419A Pending CN102208030A (zh) | 2011-06-03 | 2011-06-03 | 基于支持向量机正则化路径的贝叶斯模型平均模型组合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102208030A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982373A (zh) * | 2012-12-31 | 2013-03-20 | 山东大学 | 一种混合svm回归算法的oin神经网络训练方法 |
CN106197710A (zh) * | 2015-05-26 | 2016-12-07 | 江苏宏联物联网信息技术有限公司 | 基于支持向量机预测算法的高压设备无线温度在线监测系统 |
CN106339608A (zh) * | 2016-11-09 | 2017-01-18 | 中国科学院软件研究所 | 一种基于在线变分贝叶斯支持向量回归的交通事故率预测系统 |
CN106485263A (zh) * | 2016-09-14 | 2017-03-08 | 东软集团股份有限公司 | 训练样本的处理方法及装置 |
CN106531157A (zh) * | 2016-10-28 | 2017-03-22 | 中国科学院自动化研究所 | 语音识别中的正则化口音自适应方法 |
CN107004160A (zh) * | 2014-11-27 | 2017-08-01 | 隆沙有限公司 | 采用多个二进制支持向量机计算类的后验概率 |
CN111598170A (zh) * | 2020-05-18 | 2020-08-28 | 北京航空航天大学 | 考虑模型选择不确定性的裂纹检出概率评估方法 |
-
2011
- 2011-06-03 CN CN2011101492419A patent/CN102208030A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982373A (zh) * | 2012-12-31 | 2013-03-20 | 山东大学 | 一种混合svm回归算法的oin神经网络训练方法 |
CN102982373B (zh) * | 2012-12-31 | 2015-04-22 | 山东大学 | 一种混合svm回归算法的oin神经网络训练方法 |
CN107004160A (zh) * | 2014-11-27 | 2017-08-01 | 隆沙有限公司 | 采用多个二进制支持向量机计算类的后验概率 |
US10726349B2 (en) | 2014-11-27 | 2020-07-28 | Longsand Limited | Calculating posterior probability of classes |
CN106197710A (zh) * | 2015-05-26 | 2016-12-07 | 江苏宏联物联网信息技术有限公司 | 基于支持向量机预测算法的高压设备无线温度在线监测系统 |
CN106485263A (zh) * | 2016-09-14 | 2017-03-08 | 东软集团股份有限公司 | 训练样本的处理方法及装置 |
CN106485263B (zh) * | 2016-09-14 | 2019-10-11 | 东软集团股份有限公司 | 训练样本的处理方法及装置 |
CN106531157A (zh) * | 2016-10-28 | 2017-03-22 | 中国科学院自动化研究所 | 语音识别中的正则化口音自适应方法 |
CN106531157B (zh) * | 2016-10-28 | 2019-10-22 | 中国科学院自动化研究所 | 语音识别中的正则化口音自适应方法 |
CN106339608A (zh) * | 2016-11-09 | 2017-01-18 | 中国科学院软件研究所 | 一种基于在线变分贝叶斯支持向量回归的交通事故率预测系统 |
CN111598170A (zh) * | 2020-05-18 | 2020-08-28 | 北京航空航天大学 | 考虑模型选择不确定性的裂纹检出概率评估方法 |
CN111598170B (zh) * | 2020-05-18 | 2022-04-22 | 北京航空航天大学 | 考虑模型选择不确定性的裂纹检出概率评估方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sharma | Deep challenges associated with deep learning | |
CN102208030A (zh) | 基于支持向量机正则化路径的贝叶斯模型平均模型组合方法 | |
Duan et al. | Multi-category classification by soft-max combination of binary classifiers | |
CN103617459A (zh) | 一种多影响因素下商品需求信息预测方法 | |
Chen et al. | Density-based logistic regression | |
Kang et al. | Exact simulation of the Wishart multidimensional stochastic volatility model | |
Ştefan | A comparison of data classification methods | |
CN103279746A (zh) | 一种基于支持向量机的人脸识别方法及系统 | |
CN103020167A (zh) | 一种计算机中文文本分类方法 | |
Nystrup et al. | Feature selection in jump models | |
CN102184422B (zh) | 一种平均错分代价最小化的分类器集成方法 | |
US9355196B2 (en) | Model estimation device and model estimation method | |
CN113011689B (zh) | 软件开发工作量的评估方法、装置及计算设备 | |
Liu et al. | Using multi-class AdaBoost tree for prediction frequency of auto insurance | |
Sun et al. | Knowledge-guided bayesian support vector machine for high-dimensional data with application to analysis of genomics data | |
CN103942421A (zh) | 基于噪声扰动的测试数据预测方法 | |
US8805841B2 (en) | Clustering system, method and program | |
US8868473B2 (en) | Decision making with analytically combined split conditions | |
CN101894297A (zh) | 判别设备、判别方法和计算机程序 | |
Hajargasht et al. | Accurate computation of marginal data densities using variational Bayes | |
CN112182211B (zh) | 文本分类方法及装置 | |
Freund et al. | Condition number analysis of logistic regression, and its implications for standard first-order solution methods | |
Spånberg | Maximum a posteriori estimation of dynamic factor models with incomplete data | |
Cai et al. | Credit scoring using incremental learning algorithm for SVDD | |
Sheng et al. | Change-point analysis for binomial autoregressive model with application to price stability counts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20111005 |