CN111950604A - 基于最小重建误差搜索降维和粒子群优化的多分类支持向量机的图像识别分类方法 - Google Patents
基于最小重建误差搜索降维和粒子群优化的多分类支持向量机的图像识别分类方法 Download PDFInfo
- Publication number
- CN111950604A CN111950604A CN202010729446.3A CN202010729446A CN111950604A CN 111950604 A CN111950604 A CN 111950604A CN 202010729446 A CN202010729446 A CN 202010729446A CN 111950604 A CN111950604 A CN 111950604A
- Authority
- CN
- China
- Prior art keywords
- classification
- support vector
- particle
- vector machine
- particles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 113
- 238000012706 support-vector machine Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005457 optimization Methods 0.000 title claims abstract description 25
- 230000009467 reduction Effects 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 14
- 238000011423 initialization method Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 8
- 238000002790 cross-validation Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于最小重建误差搜索降维和粒子群优化的多分类支持向量机的图像识别分类方法，用于进行图像内容识别和分类。该方法首先通过最小重建误差搜索降维算法的最优参数，接着运用优化后的最小重建误差搜索算法对手写数字数据集中的样本进行降维，从中提取出关键信息，将维度降到17维。其次根据数据集中样本类别数量构建多个一对一的支持向量机分类器，将其组合起来间接的实现多分类。然后以训练后的最高分类精确度作为目标，运用群智能优化算法对每个支持向量机分类器的参数进行全局寻优，得到最终的具有高识别精确度的图像识别分类方法。
Description
技术领域
本发明属于计算机应用技术领域，具体是基于最小重建误差搜索KPCA图像降维和多种群PSO-SVMs分类的图像识别分类方法。
背景技术
人类对于图像的识别能力是很强的，然而在当今社会，数据量暴增的背景下，所有的图像识别工作全部都由人亲历亲为不仅费时费力，而且效率低下。随着计算机技术以及模式识别的飞速发展，图像识别也逐渐成为了信息时代的一门重要的技术，各类复杂、精确的数学模型应运而生，计算机因此可以帮助人类处理大量的物理信息。
在模式识别的领域中，手写数字识别是其中一个非常重要的部分，随着大数据时代的到来，数据成为一种财富，成为一种推进技术发展的能量。人们对于手写数字的识别精确度有了更高的追求。目前，对于脱机状态下的手写数字的识别效果并不够好。因此，对于手写数字识别分类的研究具有重大的现实意义。
计算机的图像识别技术是一个高维度的识别技术。不管图像自身的分辨率如何，其产生的数据往往具有较高的维度，这给计算机的识别带来了非常大的困难。
发明内容
基于上述现有技术的不足，针对大数据时代背景下，人们对于手写数字的识别精确度有了更高的追求，本发明提出了一种基于KPCA(最小重建误差搜索)和PSO-SVMs(基于粒子群优化的多分类支持向量机)的图像识别分类方法。
本发明的技术方案为：一种基于KPCA和PSO-SVMs的图像识别分类方法，包括下列步骤：
步骤1：获取数据后，基于最小重建误差，采用交叉验证的方格搜索来寻找最小化重建前图像误差的核方法和超参数(gamma)，并使用优化后的KPCA算法将原本的图像数据(64维，8*8图像上各像素点灰度值)降至17维。
步骤2：创建k(k-1)/2个二分类支持向量机，使用一对一法构建多分类支持向量机。
步骤3：采用均匀初始化方法，初始化第一代粒子作为各个种群的领导者，每个粒子代表一种参数选择方案。
步骤4：采用均匀初始化方法，在第一代粒子周围初始化各个种群的第二代粒子，使其均匀分散在第一代粒子周围，每个粒子代表一种参数选择方案。
步骤5：通过计算比较适应值，选择出各种群领导者和全局领导者。
步骤6：更新pso公式，并为粒子的速度增加变异可能性，提升粒子脱离局部最优的能力。
步骤7：计算各粒子所代表参数在支持向量机上的分类表现，并作为其适应值来评价每个种群中的粒子。
步骤8：如满足终止条件，进入步骤9，否则跳入步骤5进行循环。
步骤9：结束。
进一步，所述的步骤1包含下列步骤：
步骤1.1：在原始空间中找到一个贴近重建点的点，基于重建功能，采用交叉验证的方格搜索来寻找可以直接找到最小化重建前图像误差的核方法和超参数(gamma)，得到对于该数据集的最优KPCA降维算法。
步骤1.2：该手写数字数据集总共有0-9十个类别，获取数据后将图像数据(64维，8*8)
通过步骤1.1优化后的KPCA算法进行降维，降至17个维度。
进一步，所述的步骤2包含下列步骤：
步骤2.1：在任意两类样本之间设计一个支持向量机，共创建45个支持向量机。
步骤2.2：将45个支持向量机用一对一法间接的构造成多分类器。
进一步，所述的步骤3包含下列步骤：
步骤3.1：初始化PSO算法的参数，如迭代次数iter_num，惯性权重ω，r1 r2 r3随机数，函数的上下界，学习因子C1 C2 C3。
步骤3.2：初始化第一代种群的的种群大小，初始化n个第一代粒子作为各个种群的领导者(即产生n个种群)，随机初始化粒子的位置，速度，适应值，本发明采用均匀初始化的方法，即让n个第一代粒子的位置，均匀的分布在函数的上界与下界之间，使得初始化的第一代粒子能够布满整个决策空间。
进一步，所述的步骤4包含下列步骤：
步骤4.1：在每个第一代粒子周围初始化形成一群第二代粒子。初始化各个第二代粒子的PSO算法参数，如迭代次数iter_num，惯性权重ω，r1 r2 r3随机数，函数的上下界，学习因子C1 C2 C3。其中ω计算公式如下：
步骤4.2：初始化各个第二代种群的的种群大小，围绕各自的种群领导者初始化m个第二代粒子的位置，速度，适应值，本发明采用均匀初始化的方法，即让m个第二代粒子的位置，均匀的分布在第一代粒子周围，使得初始化的第二代粒子能够均匀布满该种群负责的搜索空间，以便于进行后期的精细搜索。
进一步，所述的步骤5包含下列步骤：
步骤5.1：将各个粒子所代表的参数传入SVMs中进行训练，返回在测试集上的正确率就是各个粒子的适应值fitness。
步骤5.2：在每个种群中选择出适应值最高的作为该种群的领导者gbest。
步骤5.3：在各个种群的领导者中选择出适应值最高的作为全局领导者abest。
进一步，所述的步骤6包含下列步骤：
步骤6.1：统计获取每个粒子的最佳位置pbest，各个粒子所在种群的种群领导者gbest以及全局领导者abest。
步骤6.2：各个粒子更新自己的速度vi、位置xi，公式如下：
vi＝ω*vi+C1*r1*(pbest-xi)+C2*r2*(gbest-xi)+C3*r3*(abest-xi)
xi＝xi+vi
步骤6.3：各个种群选取适应值倒数前20％的粒子进行变异，将速度变为相反值，增加其逃离局部最优的能力，公式如下：
vi＝-vi
进一步，所述的步骤7包含下列步骤：
将本次迭代得到的各个粒子所代表的参数传入SVMs中进行训练，返回在测试集上的正确率就是各个粒子的适应值fitness，用来评价粒子的好坏。
最后，为了验证算法的可行性，本发明将基于KPCA和PSO-SVMs的图像识别分类方法在手写数字数据集上进行测试。
本发明具有以下技术效果：
根据步骤1，本发明利用简单线性回归应用于数据集，发现数据集并不是线性的。于是采用了更适合于非线性数据集的无监督的核主成分分析降维算法(KPCA)对手写数字图像进行降维，将数据在更高维度上进行投影，找到合适的高维线性分类平面，将维度从原本的64维降至17维。为之后的SVM分类器训练以及提升分类效果做好数据准备。
根据步骤2，本发明采用了一对一法进行多分类支持向量机的构建，在任意两类样本之间设计一个SVM，共设计45个SVM，当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别。该方法可以将二分类支持向量机构造成可以实现多分类的分类器。
根据步骤3，本发明采用了均匀初始化的方法来初始第一代粒子的初始位置，与一般的随机初始化不同，该初始化方法能够将第一代粒子均匀的分布在整个问题求解空间，将整个决策空间分为多个小的空间。它的优点在于能够在一定程度上解决粒子群早熟(得到相对较优的结果)的问题，使得种群在搜索的过程中多样性增加。
根据步骤4，本发明采用了在第一代粒子周围均匀初始化第二代粒子初始位置的方法，与一般的随机初始化不同，该初始化方法能够将所有粒子分成多个种群，均匀的分布在整个金融投资的决策空间，它的优点在于能够在一定程度上解决搜索空间中解的精确度不够的问题，增加对搜索空间的精细搜索能力。同时随着迭代的进行不断降低ω，实现迭代初期速度较快，进行全局搜索，迭代后期速度较慢，进行局部搜索。
根据步骤5，本发明在原始PSO算法的基础上增加了多个种群，并设置了一个全局领导者。全局领导者为所有种群中最好的粒子。所有粒子的速度更新均收到全局领导者的影响，它的优点在于能够在一定程度上加快算法的收敛速度。
根据步骤6，本发明在粒子更新速度的同时增加了粒子变异的可能性，设置适应值靠后的粒子向反方向变异，它的优点在于能够在一定程度上降低种群陷入局部最优的风险，并提高种群的多样性。
由此可见，该方法的效果是可以优化多分类支持向量机模型，提高手写数字图像识别分类准确率。
附图说明
图1是本发明中的一种基于KPCA和PSO-SVMs的图像识别分类方法流程图；
图2是本发明中提出的经优化后的KPCA算法降维效果对比图。
图3是该算法在手写数据集上的测试效果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
本发明的算法思路为：
支持向量机(SVM)是一种常见的二分类器，以结构风险最小化为目标，具有很好的泛化能力与学习能力，被广泛应有于信号分类、人脸识别、文本分类、垃圾邮件过滤等领域。当支持向量机处理多分类问题时，需要通过组合多个二分类器来实现多分类器的构造，常采用一对多法和一对一法。支持向量机在性能优化上也存在较大空间，可以通过调整核函数参数gamma和惩罚因子C来优化其分类性能，使其达到最优。粒子群优化算法(PSO)启发式寻优算法，利用群体中的个体对信息的共享使得整个种群的运动在问题求解空间中产生从无序到有序的演化过程，从而得到最优解。然而当问题求解空间过大，优化目标精度需求高时，传统PSO算法往往不能实现最终寻优。多种群粒子群算法应运而生。它通过分批初始化粒子，将整个问题求解空间分解成多个区域，并通过全局领导者引导粒子群向最优区域搜索，并增加寻优的精确度，从而达到优化目标的精确度。
本发明的一种基于KPCA和PSO-SVMs的图像识别分类方法，包括下列步骤：
步骤1：获取数据后，基于最小重建误差，采用交叉验证的方格搜索来寻找最小化重建前图像误差的核方法和超参数(gamma)，并使用优化后的KPCA算法将原本的图像数据(64维，8*8图像上各像素点灰度值)降至17维。
步骤2：创建k(k-1)/2个二分类支持向量机(k是总类别数)，使用一对一法构建多分类支持向量机。
步骤3：采用均匀初始化方法，初始化第一代粒子作为各个种群的领导者，每个粒子代表一种参数选择方案。
步骤4：采用均匀初始化方法，在第一代粒子周围初始化各个种群的第二代粒子，使其均匀分散在第一代粒子周围，每个粒子代表一种参数选择方案。
步骤5：通过计算比较适应值，选择出各种群领导者和全局领导者。
步骤6：更新pso公式，并为粒子的速度增加变异可能性，提升粒子脱离局部最优的能力。
步骤7：计算各粒子所代表参数在支持向量机上的分类表现，并作为其适应值来评价每个种群中的粒子。
步骤8：如满足终止条件，进入步骤9，否则跳入步骤5进行循环。
步骤9：结束。
整个过程的流程图如下图1所示。
上述的步骤1包含下列步骤：
步骤1.1：使用Python中的Scikit-Learn包里的fit_inverse_transform函数在原始空间中找到一个贴近重建点的点，基于重建功能，采用交叉验证的方格搜索的方法将获取的数据分成3份训练集和1份验证集，通过4次测试，每次都更换不同的验证集，取平均值作为最终结果来验证核函数和超参数gamma的各种组合，来寻找可以直接找到最小化重建前图像误差的核方法和超参数(gamma)，得到对于该数据集的最优KPCA降维算法；
步骤1.2：该手写数字数据集总共有0-9十个类别，获取数据后将图像数据(64维，8*8)通过步骤1.1优化后的KPCA算法进行降维，先用一个非线性映射核函数
将输入空间中的矩阵X中的所有样本映射到一个高维甚至无穷维的空间，使其在高维空间中线性可分，公式如下(R是样本，上标是样本维数)：
常用非线性映射核函数有多项式核函数(Poly)、高斯径向基核函数(RBF)、Sigmoid核函数，公式如下：
Poly：k(x,y)＝(xTy+c)d,d∈N,c≥0,(d、c均为参数)
RBF：
(σ为参数)
Sigmoid：k(x,y)＝tanh(axTy+r),(a和r均为参数)
之后进行在超平面上保留最大方差进行投影，使均方距离最小。最后将数据维数降至17个维度。
上述的步骤2包含下列步骤：
步骤2.1：在任意两类样本之间设计一个支持向量机，共创建45个支持向量机，支持向量机数量计算公式如下：
步骤2.2：将45个支持向量机用一对一法间接的构造成多分类器。
上述的步骤3包含下列步骤：
步骤3.1：初始化PSO算法的参数，如迭代次数iter_num，惯性权重ω，r1 r2 r3随机数，函数的上下界，学习因子C1 C2 C3,其中惯性权重ω的更新公式为：
步骤3.2：初始化第一代种群的的种群大小，初始化n个第一代粒子作为各个种群的领导者(即产生n个种群)，随机初始化粒子的位置，速度，适应值，本发明采用均匀初始化的方法，即让n个第一代粒子的位置，均匀的分布在函数的上界与下界之间，使得初始化的第一代粒子能够布满整个决策空间，其中max_vel、min_vel是粒子的最大速度、最小速度，max_x、min_x是决策空间的最大位置和最小位置，具体公式为：
vi＝random*(max_vel-min_vel)，i∈(1,n)
xi＝random*(max_x-min_vel)，i∈(1,n)
上述的步骤4包含下列步骤：
步骤4.1：在每个第一代粒子周围初始化形成一群第二代粒子。初始化各个第二代粒子的PSO算法参数，如迭代次数iter_num，惯性权重ω，r1 r2 r3随机数，函数的上下界，学习因子C1 C2 C3。其中ω计算公式如下：
步骤4.2：初始化各个第二代种群的的种群大小，围绕各自的种群领导者Xj初始化m个第二代粒子的速度，位置，适应值，本发明采用均匀初始化的方法，即让m个第二代粒子的位置，均匀的分布在第一代粒子周围，使得初始化的第二代粒子能够均匀布满该种群负责的搜索空间，以便于进行后期的精细搜索，速度的初始化方法不变，位置的初始化方法改为以种群领导者位置为圆心，第二代粒子的位置均以圆心向外随机生成，具体公式为：
vi＝random*(max_vel-min_vel)，i∈(1,n)
上述的步骤5包含下列步骤：
步骤5.1：将各个粒子所代表的参数传入SVMs中进行训练，返回在测试集上的正确率就是各个粒子的适应值fitness。
步骤5.2：在每个种群中选择出适应值最高的作为该种群的领导者gbest。
gbest＝max(fitnessi),i∈(1,m)
步骤5.3：在各个种群的领导者中选择出适应值最高的作为全局领导者abest。
abest＝max(fitnessj),j∈(1,n)
上述的步骤6包含下列步骤：
步骤6.1：统计获取每个粒子的最佳位置pbest，各个粒子所在种群的种群领导者gbest以及全局领导者abest。
步骤6.2：各个粒子更新自己的速度vi、位置xi，公式如下：
vi＝ω*vi+C1*r1*(pbest-xi)+C2*r2*(gbest-xi)+C3*r3*(abest-xi)
xi＝xi+vi
步骤6.3：各个种群选取适应值倒数前20％的粒子进行变异，将速度变为相反值，增加其逃离局部最优的能力，公式如下：
vi＝-vi
上述的步骤7包含下列步骤：
将本次迭代得到的各个粒子所代表的参数传入SVMs中进行训练，返回在测试集上的正确率就是各个粒子的适应值fitness，用来评价粒子的好坏。
最后，为了验证算法的可行性，本发明将基于KPCA和PSO-SVMs的图像识别分类方法在手写数字数据集上进行测试。
表1符号说明
经优化后的KPCA算法的降维效果如下图2所示。
从上图可以清晰看出经过降维后，在同样的SVMs分类器上分类精确度上升50％以上，花费时间减少50％以上，效果明显。
在手写数据集上的测试结果如下图3所示。
综上，本发明的一种基于KPCA和PSO-SVMs的分类算法，用于手写数字图像识别分类问题。该方法首先运用无监督的核主成分分析算法对图像数据进行降维，将高维图像数据降到较低维度，避免算法陷入“维度灾难”。其次用一对一法构建可用于多分类的支持向量机模型。然后利用多种群粒子群算法对每一个支持向量机的参数进行优化，训练出用于手写数字图像识别分类的模型，使该模型在识别手写数字的准确率达到：98.3％。
Claims (8)
1.一种基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，包括下列步骤：
步骤1：获取图像数据后，基于最小重建误差，采用交叉验证的方格搜索来寻找最小化重建前图像误差的核方法和超参数，并使用优化后的最小重建误差搜索KPCA算法将原本的64维，8*8图像上各像素点灰度值的图像数据降至17维；
步骤2：创建k(k-1)/2个二分类支持向量机，k是总类别数，使用一对一法构建多分类支持向量机；
步骤3：采用均匀初始化方法，初始化第一代粒子作为各个种群的领导者，每个粒子代表一种参数选择方案；
步骤4：采用均匀初始化方法，在第一代粒子周围初始化各个种群的第二代粒子，使其均匀分散在第一代粒子周围，每个粒子代表一种参数选择方案；
步骤5：通过计算比较适应值，选择出各种群领导者和全局领导者；
步骤6：更新粒子群优化算法pso公式，并为粒子的速度增加变异可能性，提升粒子脱离局部最优的能力；
步骤7：计算各粒子所代表参数在支持向量机上的分类表现，并作为其适应值来评价每个种群中的粒子；
步骤8：如满足终止条件，进入步骤9，否则跳入步骤5进行循环；
步骤9：结束。
2.根据权利要求1所述的基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，所述的步骤1包含下列步骤：
步骤1.1：在原始空间中找到一个贴近重建点的点，基于重建功能，采用交叉验证的方格搜索来寻找可以直接找到最小化重建前图像误差的核方法和超参数gamma，得到对于该数据集的最优KPCA降维算法；
步骤1.2：该手写数字数据集总共有0-9十个类别，获取数据后将64维，8*8图像上各像素点灰度值的图像数据通过步骤1.1优化后的KPCA算法进行降维，降至17个维度。
3.根据权利要求1所述的基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，所述的步骤2包含下列步骤：
步骤2.1：在任意两类样本之间设计一个支持向量机，共创建45个支持向量机。
步骤2.2：将45个支持向量机用一对一法间接的构造成多分类器。
4.根据权利要求1所述的基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，所述的步骤3包含下列步骤：
步骤3.1：初始化粒子群优化算法PSO的参数，包括迭代次数iter_num，惯性权重ω，r1r2r3随机数，函数的上下界，学习因子C1 C2 C3；
步骤3.2：初始化第一代种群的的种群大小，初始化n个第一代粒子作为各个种群的领导者，即产生n个种群，随机初始化粒子的位置，速度，适应值，本发明采用均匀初始化的方法，即让n个第一代粒子的位置，均匀的分布在函数的上界与下界之间，使得初始化的第一代粒子能够布满整个决策空间。
5.根据权利要求1所述的基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，所述的步骤4包含下列步骤：
步骤4.1：在每个第一代粒子周围初始化形成一群第二代粒子，初始化各个第二代粒子的PSO算法参数，包括迭代次数iter_num，惯性权重ω，r1 r2 r3随机数，函数的上下界，学习因子C1 C2 C3，其中ω计算公式如下：
其中，iter_num为粒子群算法迭代的总次数；now_num为当前的迭代次数；
步骤4.2：初始化各个第二代种群的的种群大小，围绕各自的种群领导者初始化m个第二代粒子的位置，速度，适应值，本发明采用均匀初始化的方法，即让m个第二代粒子的位置，均匀的分布在第一代粒子周围，使得初始化的第二代粒子能够均匀布满该种群负责的搜索空间，以便于进行后期的精细搜索。
6.根据权利要求1所述的基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，所述的步骤5包含下列步骤：
步骤5.1：将各个粒子所代表的参数传入支持向量机SVMs中进行训练，返回在测试集上的正确率就是各个粒子的适应值fitness；
步骤5.2：在每个种群中选择出适应值最高的作为该种群的领导者gbest；
步骤5.3：在各个种群的领导者中选择出适应值最高的作为全局领导者abest。
7.根据权利要求1所述的基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，所述的步骤6包含下列步骤：
步骤6.1：统计获取每个粒子的最佳位置pbest，各个粒子所在种群的种群领导者gbest以及全局领导者abest；
步骤6.2：各个粒子更新自己的速度vi、位置xi，公式如下：
vi＝ω*vi+C1*r1*(pbest-xi)+C2*r2*(gbest-xi)+C3*r3*(abest-xi)
xi＝xi+vi
步骤6.3：各个种群选取适应值倒数前20％的粒子进行变异，将速度变为相反值，增加其逃离局部最优的能力，公式如下：
vi＝-vi。
8.根据权利要求1所述的基于最小重建误差搜索KPCA和粒子群优化的多分类支持向量机的图像识别分类方法，其特征在于，所述的步骤7包含下列步骤：将本次迭代得到的各个粒子所代表的参数传入SVMs中进行训练，返回在测试集上的正确率就是各个粒子的适应值fitness，用来评价粒子的好坏；最后，为了验证算法的可行性，采用本发明的图像识别分类方法在手写数字数据集上进行测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729446.3A CN111950604B (zh) | 2020-07-27 | 2020-07-27 | 基于最小重建误差搜索降维和粒子群优化的多分类支持向量机的图像识别分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729446.3A CN111950604B (zh) | 2020-07-27 | 2020-07-27 | 基于最小重建误差搜索降维和粒子群优化的多分类支持向量机的图像识别分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950604A true CN111950604A (zh) | 2020-11-17 |
| CN111950604B CN111950604B (zh) | 2024-05-14 |
Family
ID=73338140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010729446.3A Active CN111950604B (zh) | 2020-07-27 | 2020-07-27 | 基于最小重建误差搜索降维和粒子群优化的多分类支持向量机的图像识别分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950604B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418317A (zh) * | 2020-11-24 | 2021-02-26 | 西南交通大学 | 一种基于pso-svm的精密加工结构件识别分类的方法 |
| CN112488205A (zh) * | 2020-11-30 | 2021-03-12 | 桂林电子科技大学 | 基于优化kpca算法的神经网络图像分类识别方法 |
| CN112668613A (zh) * | 2020-12-07 | 2021-04-16 | 中国西安卫星测控中心 | 基于气象预报和机器学习的卫星红外成像效果预测方法 |
| CN116028822A (zh) * | 2023-03-30 | 2023-04-28 | 国网福建省电力有限公司 | 一种电能表误差状态评估方法、系统、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682682A (zh) * | 2016-10-20 | 2017-05-17 | 北京工业大学 | 一种基于粒子群优化算法对支持向量机的优化方法 |
| CN107944349A (zh) * | 2017-11-07 | 2018-04-20 | 武汉大学 | 基于粒子群‑支持向量机的gis局部放电类型模式识别方法 |
| CN108765412A (zh) * | 2018-06-08 | 2018-11-06 | 湖北工业大学 | 一种带钢表面缺陷分类方法 |
-
2020
- 2020-07-27 CN CN202010729446.3A patent/CN111950604B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682682A (zh) * | 2016-10-20 | 2017-05-17 | 北京工业大学 | 一种基于粒子群优化算法对支持向量机的优化方法 |
| CN107944349A (zh) * | 2017-11-07 | 2018-04-20 | 武汉大学 | 基于粒子群‑支持向量机的gis局部放电类型模式识别方法 |
| CN108765412A (zh) * | 2018-06-08 | 2018-11-06 | 湖北工业大学 | 一种带钢表面缺陷分类方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418317A (zh) * | 2020-11-24 | 2021-02-26 | 西南交通大学 | 一种基于pso-svm的精密加工结构件识别分类的方法 |
| CN112488205A (zh) * | 2020-11-30 | 2021-03-12 | 桂林电子科技大学 | 基于优化kpca算法的神经网络图像分类识别方法 |
| CN112668613A (zh) * | 2020-12-07 | 2021-04-16 | 中国西安卫星测控中心 | 基于气象预报和机器学习的卫星红外成像效果预测方法 |
| CN116028822A (zh) * | 2023-03-30 | 2023-04-28 | 国网福建省电力有限公司 | 一种电能表误差状态评估方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950604B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950604B (zh) | 基于最小重建误差搜索降维和粒子群优化的多分类支持向量机的图像识别分类方法 | |
| Zheng et al. | Improvement of generalization ability of deep CNN via implicit regularization in two-stage training process | |
| Yin et al. | Scene classification based on single-layer SAE and SVM | |
| Ding et al. | A review on multi-class TWSVM | |
| Zhang et al. | Kernel-induced label propagation by mapping for semi-supervised classification | |
| Impedovo et al. | A novel prototype generation technique for handwriting digit recognition | |
| Ghadhban et al. | Segments interpolation extractor for finding the best fit line in Arabic offline handwriting recognition words | |
| Giorginis et al. | Fast data reduction by space partitioning via convex hull and MBR computation | |
| Osadchy et al. | Recognition using hybrid classifiers | |
| Basit et al. | MapReduce-based deep learning with handwritten digit recognition case study | |
| Chen et al. | Stability-based preference selection in affinity propagation | |
| Leila et al. | Combining neural networks for Arabic handwriting recognition | |
| Kostinger et al. | Joint learning of discriminative prototypes and large margin nearest neighbor classifiers | |
| Aamir et al. | An efficient normalized restricted Boltzmann machine for solving multiclass classification problems | |
| Xu et al. | Boosting separability in semisupervised learning for object classification | |
| Gorokhovatskyi et al. | Application a Committee of Kohonen Neural Networks to Training of Image Classifier Based on Description of Descriptors Set | |
| Tang et al. | Improving invariance in visual classification with biologically inspired mechanism | |
| Chen et al. | Cascading Training for Relaxation CNN on Handwritten Character Recognition | |
| Chergui et al. | Combining Neural Networks for Arabic Handwriting Recognition. | |
| CN112257792A (zh) | 一种基于svm的实时视频目标动态分类方法 | |
| Mao et al. | Optimizing locally linear classifiers with supervised anchor point learning | |
| Liu et al. | Offline handwritten Chinese character recognition based on DBN fusion model | |
| Wei et al. | MGA for feature weight learning in SVM—a novel optimization method in pedestrian detection | |
| Senthil et al. | An Efficient Handwritten Digit Recognition Based on Convolutional Neural Networks with Orthogonal Learning Strategies | |
| Qin et al. | Enhancing the ensemble of exemplar-SVMs for binary classification using concurrent selection and ensemble learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |