CN111523684A - 一种基于支持向量机和杂草算法结合的目标分类方法 - Google Patents

Abstract

本发明涉及机器学习及目标分类领域，具体涉及一种基于支持向量机和杂草算法结合的目标分类方法，包括杂草算法优化步骤、支持向量机进行二分类步骤，杂草算法优化步骤包括种群初始化、生长繁殖、空间扩散、竞争排斥、重复。本发明的有益效果：利用杂草算法不断调优核函数参数的选择，能够快速找到支持向量机核函数的最优参数，从而支持向量机在目标分类过程中精度更高，可靠性高，精度高，适应面广泛。

Description

一种基于支持向量机和杂草算法结合的目标分类方法

技术领域

本发明涉及机器学习及目标分类领域，具体涉及一种基于支持向量机和杂草算法结合的目标分类方法。

背景技术

支持向量机(SVM)是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。在机器学习领域用于目标分类中应用较为广泛，在高维数据中以及线性不可分时，还会用到核函数，把低维度数据映射到高维数据空间，但此时核函数的参数选择对分类精度至关重要。支持向量机在人像识别、文本分类等模式识别(pattern recognition)问题中应用广泛。特别是在目标分类中，判断目标物是否出现在图像中，都得到广泛使用，用支持向量机(SVM)进行目标分类依然是学术界热点研究的方向，在实践中，人工智能领域也有众多支持向量机应用的案例。一些线性不可分的问题可能是非线性可分的，即特征空间存在超曲面将正类和负类分开。使用非线性函数可以将非线性可分问题从原始的特征空间映射到更高维的希尔伯特空间。特别是当数据维数较高在平面上利用SVM二分类难以区分时，就要引进核函数，将数据升到更高维度，以让数据可分。而对于核函数的选择，基本靠主管经验给其随意赋值，往往核函数的参数值选择不当，将会大大降低分类精度，导致训练时迭代时间过长。

发明内容

本发明的目的在于克服现有技术中存在的问题，提供一种基于支持向量机和杂草算法结合的目标分类方法，它可以实现至少一定程度上解决现有技术的问题。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现的：

一种基于支持向量机和杂草算法结合的目标分类方法，包括：

1)杂草算法优化步骤

1.1)种群初始化，一定数目的杂草以随机方式在D维空间扩散分布；

1.2)生长繁殖，每个杂草种子生长到开花,然后根据其适应性产生种子，父代杂草产生的种子个数与母体的适应度成线性关系；

1.3)空间扩散，以父代为轴线(均值)，子代个体以正态分布方式扩散在D维空间中，迭代过程中，每一代的标准差按如下规律进行变化，

其中：σ_iter为第iter次迭代的标准差值，σ_initial为起始标准差值，σ_final为最终标准差值，iter_max为最大迭代次数，n为非线性调和指数；

1.4)竞争排斥，经过数代的繁殖后，克隆产生的后代数目将超过环境资源的承受能力，通过预先设定的最大种群数目确定最大种群大小，当达到最大种群数目时先按前面规则自由繁殖，扩散完成后，再将父代和子代一起进行排列，按适应值大小进行淘汰，以达到种群上限要求；

1.5)：重复步骤1.2)至步骤1.4)，直至满足设定的最优解条件或者达到最大迭代次数；

2)支持向量机进行二分类步骤

设所求的分类面表达式为：

该分类面若能将训练样本线性分开，则：

对于有限个数的样本，存在ε，s.t.

即：

其中

综上所述，线性SVM的数学模型可以描述为：

给定的训练样本集(x₁,y₁)，......，(x_l,y_l)y_i∈{+1,-1}

本质上是求解如下优化问题：

优化目标：

约束条件：y_i(＜w,x_i＞+b)≥1i＝1,2,3,......,l，引进核函数，将内积从＜x⁽ⁱ⁾,x＞，映射到＜φ(x⁽ⁱ⁾),φ(x)＞。

本发明的有益效果：利用杂草算法不断调优核函数参数的选择，能够快速找到支持向量机核函数的最优参数，从而支持向量机在目标分类过程中精度更高，可靠性高，精度高，适应面广泛。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

杂草算法即Invasive Weed Optimization，是伊朗德黑兰大学的A.R.Mehrabian以及C.Lucas在2006于Ecological Informatics杂志上发表论文《A novel numericaloptimization algorithm inspired from weed colonization》中首次提出。所谓杂草是指那些生长力旺盛的、具有入侵性的、对栽培的农作物构成严重威胁的植物。数千年的历史可以说明，杂草是一个“永远的赢家”：人类耕作以及手工除杂草已经有数千年的历史了，但杂草还是存在于地球每个角落；除草剂诞生六十多年了，但杂草还是存在于地球每个角落；杂草具有超强的生存能力以及自我改造能力(近年来除草剂抗性杂草的诞生就是很好的佐证)。

杂草入侵的一般过程是：适应环境、乘机居留、占据地盘、结籽繁殖、扶养种群、随机应变、逐渐密集、适者生存、竞争消亡，适应性好的个体获得更多的生存机会。占据一定区域的杂草克隆行为的一般特征如下:农作物没有充分利用的资源为杂草创造了发展空间；杂草通过种子扩散抓住机会进入地里，进而通过繁殖而不断的殖民，最终控制整块土地；生物多样性使杂草具有很好地夺取有利生存空间的特性,随着时间的推移,通过自然选择和竞争生存，成为本地化改进的杂草；杂草总能在农季开始的最佳时间在植物群落中最大化其适应性。

在杂草的入侵过程中，相邻植株会由于生长年限、植株大小和相对距离而相互影响。因此，植物的出生、成长和繁殖会受到植株密度、种群和植物群的适应性的影响。在植物群落中，适应性的3个主要因素(繁殖、与竞争者进行生存斗争和躲避天敌)是相互矛盾的。适应性的提高可以使植物能够生存更长时间，而对于植物适应性的估计必须考虑以上3个因素。植物的自然进化选择方式有多种，其中有两种选择方式比较重要，分别是r选择和k选择。r选择是要从植物群中选择出能够长得快、繁殖快和消亡快的植物并让这些植物去占据不稳定的和不可预测的环境，k选择是要从植物群中选择出能够长得慢、繁殖慢和消亡慢的具有很强的竞争性的植物去占据一个具有高竞争压力、资源有限、稳定的和可预测的环境。r选择对应于杂草算法的全局探索方式，k选择对应于杂草算法的局部搜索方式。

一种基于支持向量机和杂草算法结合的目标分类方法，包括：

1)杂草算法优化步骤

1.1)种群初始化，一定数目的杂草以随机方式在D维空间扩散分布；

1.2)生长繁殖，每个杂草种子生长到开花,然后根据其适应性产生种子，父代杂草产生的种子个数与母体的适应度成线性关系；

1.3)空间扩散，以父代为轴线(均值)，子代个体以正态分布方式扩散在D维空间中，迭代过程中，每一代的标准差按如下规律进行变化，

其中：σ_iter为第iter次迭代的标准差值，σ_initial为起始标准差值，σ_final为最终标准差值，iter_max为最大迭代次数，n为非线性调和指数；

1.4)竞争排斥，经过数代的繁殖后，克隆产生的后代数目将超过环境资源的承受能力，通过预先设定的最大种群数目确定最大种群大小，当达到最大种群数目时先按前面规则自由繁殖，扩散完成后，再将父代和子代一起进行排列，按适应值大小进行淘汰，以达到种群上限要求；

1.5)：重复步骤1.2)至步骤1.4)，直至满足设定的最优解条件或者达到最大迭代次数；

2)支持向量机进行二分类步骤，支持向量机通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

设所求的分类面表达式为：

该分类面若能将训练样本线性分开，则：

对于有限个数的样本，存在ε，s.t.

即：

其中

综上所述，线性SVM的数学模型可以描述为：

给定的训练样本集(x₁,y₁)，......，(x_l,y_l)y_i∈{+1,-1}

本质上是求解如下优化问题：

优化目标：

约束条件：y_i(＜w,x_i＞+b)≥1i＝1,2,3,......,l，而在实际中，数据在低维往往是不可分的。为此，需引进核函数，即需要把内积从＜x⁽ⁱ⁾,x＞，映射到＜φ(x⁽ⁱ⁾),φ(x)＞。引入核函数的重要原因是样例可能存在线性不可分的情况，而将特征映射到高维空间后，往往就可分了，引入的高斯核函数

也叫做径向基函数(RadialBasis Function简称RBF)。它能够把原始特征映射到无穷维。

根据野草算法初始值的选择，其检测出的分类的正确率会有很大的偏差，当初始值选择在0附近时，其正确率在第二代发生错误。当初始值选择在10附近时，其正确率一直保持在100％，当其值选择在10^4附近时，正确率稳定在56％。由此可见野草算法其初始值的选择对结果影响很大。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (1)

1.一种基于支持向量机和杂草算法结合的目标分类方法，其特征在于，包括：

1)杂草算法优化步骤

1.1)种群初始化，一定数目的杂草以随机方式在D维空间扩散分布；

1.2)生长繁殖，每个杂草种子生长到开花,然后根据其适应性产生种子，父代杂草产生的种子个数与母体的适应度成线性关系；

1.3)空间扩散，以父代为轴线(均值)，子代个体以正态分布方式扩散在D维空间中，迭代过程中，每一代的标准差按如下规律进行变化，

其中：σ_iter为第iter次迭代的标准差值，σ_initial为起始标准差值，σ_final为最终标准差值，iter_max为最大迭代次数，n为非线性调和指数；

1.4)竞争排斥，经过数代的繁殖后，克隆产生的后代数目将超过环境资源的承受能力，通过预先设定的最大种群数目确定最大种群大小，当达到最大种群数目时先按前面规则自由繁殖，扩散完成后，再将父代和子代一起进行排列，按适应值大小进行淘汰，以达到种群上限要求；

1.5)：重复步骤1.2)至步骤1.4)，直至满足设定的最优解条件或者达到最大迭代次数；

2)支持向量机进行二分类步骤

设所求的分类面表达式为：

该分类面若能将训练样本线性分开，则：

对于有限个数的样本，存在ε，s.t.

即：

其中

综上所述，线性SVM的数学模型可以描述为：

给定的训练样本集(x₁,y₁)，......，(x_l,y_l)y_i∈{+1,-1}

本质上是求解如下优化问题：

优化目标：

约束条件：y_i(＜w,x_i＞+b)≥1i＝1,2,3,......,l，引进核函数，将内积从＜x⁽ⁱ⁾,x＞，映射到＜φ(x⁽ⁱ⁾),φ(x)＞。