CN110929888B - 一种基于随机紧凑高斯核函数的粮食作物病害预测方法 - Google Patents

Abstract

本发明涉及一种粮食作物病害预测方法，尤其是一种基于支持向量机的随机紧凑高斯核的粮食作物病害预测方法，属于机器学习在粮食的预测技术领域。本发明在传统单尺度高斯核函数的支持向量机的基础上，扩展了高斯核函数的参数，提出的多尺度高斯核支持向量机，能够对其中的核函数参数随机化赋值，提升了支持向量机参数选择的效率。通过在粮食作物大豆病害标准数据集Soybean上的实验表明，与传统单尺度高斯核函数的支持向量机相比，该方法不仅能够提升大豆病害数据预测的精度，学习模型参数选取的时间仅需传统SVM高斯核方法的不到1％的时间。

Description

一种基于随机紧凑高斯核函数的粮食作物病害预测方法

技术领域

本发明涉及一种粮食作物病害预测方法，特别是一种基于随机紧凑高斯核函数的粮食作物病害预测方法。

背景技术

粮食作物作为我国最主要的经济作物之一，对我们的日常生活有着非常重要的作用。由于气候变化等因素的影响，粮食作物很容易感染各种类型的病害。例如，大豆在生长过程中所面临的病害主要有根腐病、菌核病、灰斑病、霜霉病、紫斑病等数十种。病害预防不及时会致使大豆产量降低，产生大量的经济损失。因此，粮食作物病害的诊断检测是一项重要且紧迫的工作。

针对粮食作物病害的传统检测方法是靠人类感官判断，不仅效率低、准确率差且难度大，需要检测人员具备较强的专业知识或经验，难以大范围推广。生物学和化学的检测方法在病害检测中的应用也较多，但是这种检测方法对检测样品的精度以及检测者的操作技术要求都很高，且成本高、耗时长、对样品产生破坏较多，还容易造成环境污染。

随着科技的发展，计算机智能识别机器学习技术逐渐被应用于粮食作物病害的自动诊断与防治领域，支持向量机SVM是近年应用于分类问题和回归问题上最成功的学习机器之一。对于分类问题，由于大多数样本点在原始空间中是线性不可分的，SVM采用非线性映射的方法，将原始空间样本的输入向量x映射到高维特征空间φ(x)中，使样本在高维空间中线性可分。由于输入向量在特征空间中的内积主要利用核函数来度量，使用不同的核函数会映射到不同的特征空间，所以核函数类型的确定以及核参数的选择是影响SVM泛化性能的主要因素。

当前对于参数选择的方法主要有两种：首先是基于测试精度的方法，通过测试非训练样本在某个参数值上的错误率，然后不断修正参数使错误率更小。具体的技术有Doan提出的十折交叉验证法(10-Cross Validation)，但是这种方法在参数空间较大的时候花费的计算代价太大，研究学者们将现有的一些优化技术集成到参数选择的方法中，如粒子群优化(Particle Swarm Optimization,简称PSO)方法和基因算法；其次是基于某种理论界的逼近方法，如基于影响函数(Influence Function)的估计和VC维的界。

上述技术在一定的程度上缓解了模型选择的问题，但是没有从根本上解决问题。对于一个学习算法，训练速度快，泛化能力强和不用调节太多的参数是各个应用领域所追求的理想情况。然而这几方面在SVM身上是矛盾的，追求训练速度就得牺牲泛化性能，追求泛化性能就得花费大量时间来选择最优的模型。

高斯核函数是SVM学习器最常使用的核函数之一，训练样本的每个特征对分类的贡献是不同的，所有特征都设置相同的核参数，则难以区分每个特征的贡献度。当训练样本的特征数目较少时，设置一个核函数参数对训练模型影响较小。当训练样本特征数目较多时，应该对每个特征都设置相应的核函数参数。但是如果核函数参数较多时，使用上述提到的模型选择方法计算代价非常巨大，且很难找到符合样本实际分布的最佳参数组合。因此，现有技术中尚无一种基于随机紧凑高斯核函数的粮食作物病害预测方法。

发明内容

本发明所解决的技术问题在于提供一种基于随机紧凑高斯核函数的粮食作物病害预测方法。

实现本发明目的的技术解决方案为：一种基于随机紧凑高斯核函数的粮食作物病害预测方法，包括以下步骤：

步骤1、建立粮食作物病害数据样本集；

步骤2、确定支持向量机SVM训练模型在粮食作物病害数据样本集上的参数组合(C,σ)的最优值，其中C为SVM训练模型的惩罚系数参数，σ为SVM训练模型的核参数；

步骤3、利用最优参数组合(C,σ)的支持向量机SVM训练模型测试数据样本集，得到粮食作物病害的种类。

优选的，所述步骤1中粮食作物病害数据样本集为：

其中x_i∈R^d为影响粮食作物病害症状的数据，t_i∈{-1,1}为类别，包括正类和负类，R^d为d维特征个数，N为数据样本的个数。

优选的，所述步骤2确定支持向量机SVM训练模型在粮食作物病害数据样本集上的参数组合(C,σ)的最优值具体为：

步骤2-1、将粮食作物数据样本集S划分为训练集S_train和测试集S_test；

步骤2-2、确定支持向量机SVM训练模型的核函数及其参数σ；

步骤2-3、从候选集T中选择一个元素作为支持向量机SVM训练模型的参数C，然后从候选集T删去该元素，所述候选集T是指候选参数集合；

步骤2-4、计算支持向量机SVM训练模型的核矩阵K(x_i,x_j)，其中，x_i，x_j为影响粮食作物病害症状的数据，i＝1,…,N,j＝1,…,N；

步骤2-5、确定使支持向量机SVM训练模型对偶优化的最优解，所用公式为:

Minimize:

Subject to:

其中

为SVM的核函数，

是对x做变换的函数，将样本映射到更高维的空间，α_i为非负拉格朗日乘子，每个拉格朗日乘子α_i对应着一个训练样本(x_i,t_i)，t_i为粮食作物病害数据的类别；

步骤2-6、求解法向量w和偏置b，所用公式为：

式中w为SVM的权值向量，b为SVM的阈值；

步骤2-7、确定支持向量机SVM训练模型f(x)，模型公式为：

式中sgn为符号函数，返回参数的正负；

步骤2-8、使用支持向量机SVM训练模型f(x)对测试集S_test进行预测，得到预测准确率A_k，其中k为第k次迭代；之后执行步骤2-3，直至候选集T为空；

步骤2-9、从集合A＝[A₁,…A_k,…]中找出最大值，并标记出相应的参数C的值，从而确定支持向量机SVM训练模型在粮食作物病害数据样本集上的参数组合(C,σ)。

优选的，所述步骤2-1中将粮食作物数据样本集S划分为训练集S_train和测试集S_test的划分策略为：将样本集S中前n个样本设为训练集S_train，其它样本作为测试集S_test。

优选的，所述步骤2-2中SVM的核函数采用高斯多尺度核函数，其形式为：

其中σ＝[σ₁,…,σ_d]为核函数的参数，为d维向量，x,z∈R^d分别为影响粮食作物病害症状的样本，且x＝[x₁,…,x_d],z＝[z₁,…,z_d]。

优选的，所述步骤2-2确定支持向量机SVM训练模型的核函数及其参数σ采用随机赋值方法，具体为：

步骤2-2-1、从区间(0,1)内随机生成均匀分布的随机向量σ；

步骤2-2-2、设置σ＝d×σ,其中d为样本集S中特征的数目。

优选的，所述步骤2-3中候选集T为用户设置的候选参数集合，设为T＝[1,10,100,1000,10000,100000]。

优选的，所述步骤2-5中SVM的对偶优化问题是由SVM的初始优化问题转换得到，SVM的初始优化问题如下式所示：

Minimize:

Subject to:

ξ_i≥0,i＝1,...,N

其中C为用户需要调节的参数，作用是调节分类间隔和训练错误两者的权重；映射函数

的作用是将输入向量x_i映射到特征空间Z，w是垂直于超平面的法向量。

本发明与现有技术相比，其显著优点为：1)本发明扩充了高斯核函数的参数，从1维到d维，能够区分每个特征的贡献度；2)本发明提升核函数参数选择的效率，基于某连续取样分布概率随机赋值参数的值，在不降低支持向量机泛化性能的同时能够节省参数选取的时间，提升模型选择的效率；相比于传统的单参数变量选择的核函数的方法，本发明不仅具有较好的泛化性能，而且能够节省大量的参数选择的时间，适合粮食作物病害在线预测的应用。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明的基于随机紧凑高斯核函数的粮食作物病害预测方法流程图。

具体实施方式

高斯核函数是SVM学习器最常使用的核函数之一，其形式为

SVM中的高斯核在实际计算等同于求解下式：

可以看出式(1)中x_i为训练样本输入向量x的第i维向量，σ对所有‖x_i-z_i‖²的影响都是相同的。

为了能便于理解本发明，下面先对传统的支持向量机分类方法进行介绍。传统支持向量机分类过程如下：

步骤A、给定训练样本集(x_i,t_i),i＝1,...,N，其中x_i∈R^d,t_i∈{-1,1}。根据经验风险最小化原则，同时最大化分类间隔和最小化训练错误，求解SVM的优化问题：

Minimize:

Subject to:

ξ_i≥0,i＝1,...,N

其中C为用户需要调节的参数，作用是调节分类间隔和训练错误两者的权重。映射函数

的作用是将输入向量x_i映射到特征空间Z。w是垂直于超平面的法向量。

步骤B、将SVM的优化问题转化为对偶问题求解：

Minimize:

Subject to:

得到最优解α^*。其中

为SVM的核函数，α_i为非负拉格朗日乘子，每个拉格朗日乘子α_i对应着每个训练样本(x_i,t_i)。核函数采用单尺度高斯核函数，形式为

参数C和核函数的参数的选取使用网格选取法，在下面的参数范围里选取最优参数组合：{0.001,0.01,0.05,0.1,0.2,0.5,1,2,5,10,20,50,100,1000,10000}X{0.001,0.01,0.1,0.2,0.4,0.8,1,2,5,10,20,50,100,1000,10000}。

步骤C、求解法向量w^*和偏置b^*。其中

步骤D、根据步骤3得到的法向量w^*和偏置b^*，得到支持向量机分类模型f(x)。

步骤E、利用支持向量机分类模型f(x)对测试样本进行预测。

为了克服传统支持向量机在分类应用中使用的核函数参数对样本的每个特征赋予相同权重的缺点，相比于传统的SVM算法，使得本发明提出的改进SVM在不损失泛化性能的情况下提升分类训练的效率。首先收集粮食作物病害数据样本集

验证样本集

其中x_i∈R^d为影响粮食作物病害症状的特征，主要有日期、植物生长是否规范，发芽率，损坏的区域，是否受过冰雹，温度，叶子是否异常，种子是否变色，种子大小，种子是否异常，菌核是否存在，根部是否腐烂等等。t_i∈{-1,1}为类别，包括正类和负类。所述基于随机紧凑核的粮食作物病害预测方法，包括如下步骤：

步骤1、寻找SVM在给定样本集合上的参数组合(C,σ)的最优值：

步骤1.1：将数据样本集S划分为训练集S_train和测试集S_test。划分策略是将样本集S中前n个样本设为训练集S_train，其它样本作为测试集S_test，其中n一般设为N/2。

步骤1.2：确定SVM的核函数及其参数σ。SVM的核函数采用高斯多尺度核函数，其形式为：

其中σ＝[σ₁,…,σ_d]为核函数的参数，为d维向量。参数σ的设置采用随机赋值方法，其具体步骤如下：

步骤1.2.1：从区间(0,1)内随机生成均匀分布的随机向量σ。

步骤1.2.2：设置σ＝d×σ,其中d为样本集S中特征的数目。

步骤1.3：从候选集T中选择一个元素作为SVM的参数C，然后从候选集T删去该元素，重复迭代执行步骤1.3-1.8步，直至候选集T为空。候选集T为用户设置的候选参数集合，一般设为T＝[1,10,100,1000,10000,100000]。

步骤1.4：计算SVM的核矩阵K(x_i,x_j),i＝1,…,N,j＝1,…,N

步骤1.5：求解SVM的对偶优化问题：

Minimize:

Subject to:

得到最优解α^*。其中

为SVM的核函数，α_i为非负拉格朗日乘子，每个拉格朗日乘子α_i对应着每个训练样本(x_i,t_i)。SVM的对偶优化问题是根据SVM的初始优化问题得到：

Minimize:

Subject to:

ξ_i≥0,i＝1,...,N

其中C为用户需要调节的参数，作用是调节分类间隔和训练错误两者的权重。映射函数

的作用是将输入向量x_i映射到特征空间Z。w是垂直于超平面的法向量。

步骤1.6：求解法向量w^*和偏置b^*。其中

步骤1.7：得到SVM分类模型f(x)，其中

步骤1.8：使用f(x)对测试集S_test进行预测，得到预测准确率A_k，其中k为第k次迭代。

步骤1.9：从集合A＝[A₁,…A_k,…]中找出最大值，并标记出相应的参数C的值。

步骤1.10：输出SVM的最优参数值(C,σ)。

步骤2、利用最优(C,σ)的SVM训练模型测试验证样本集。使用SVM分类模型f(x)对证样本集V进行预测，得到预测准确率。

验证样本集的划分采用随机生成迭代法。每次迭代随机生成乱序的粮食作物病害数据样本集，按需将前面若干个样本作为训练集，其它样本作为测试样本。对每次迭代生成的测试样本利用学习模型f(x)预测得到测试精度，迭代运行10次，取其平均测试精度(Testing accuracy(TA))和方差(STD)作为指标。另外，学习模型的参数选取时间(PS)和训练时间(TS)也作为指标进行比较。

下面通过UCI标准数据库中的大豆病害数据集Soybean(Small)，对传统的高斯核SVM和本发明的随机化高斯核SVM(RSVM)两种算法进行实验，并对它们的结果进行比较。参数设置如下：高斯核SVM的参数C和核函数使用网格选取法，在下面的参数范围里选取最优参数组合：{0.001,0.01,0.05,0.1,0.2,0.5,1,2,5,10,20,50,100,1000,10000}×{0.001,0.01,0.1,0.2,0.4,0.8,1,2,5,10,20,50,100,1000,10000}。RSVM的参数C在下述参数范围里选择一个参数：{1,10,100,1000,10000,100000}，核函数的参数随机选取。

下面结合实施例对本发明做进一步详细的描述。

实施例

Soybean(Small)数据集

该数据集的目的是通过大豆数据判断疾病信息。该数据包括47个样本，将前20个样本设为正类，后面的27个样本作为负类。每个样本包括35个特征，包括date，plant-stand，precip，temp，hail，crop-hist，area-damaged，severity，seed-tm，germination，plant-growt，leaves，leafspots-halo，leafspots-marg，leafspot-size，leaf-shread，leaf-malf，leaf-mild，stem，lodging，stem-canker，canker-lesio，fruiting-bodies，external decay，mycelium，int-discolor，sclerotia，fruit-pods，fruit spots，seed，mold-growth，seed-discolor，seed-size，shriveling，roots。实验对样本随机排序10次，每次将前20个样本设为训练样本，其余的样本设为测试样本。两种算法的指标比较是基于10次结果的平均，如表1所示。

表1

从表1可以看出，在大豆数据疾病数据集Soybean(Small)上，在参数选取时间的指标上，本发明提出的随机化核SVM方法的参数选取时间仅需传统SVM高斯核参数选取时间的不到1％。在大豆病害预测在线应用中，这种算法的性能可以节省大量的计算代价；在学习模型的训练时间上看，本发明要优于传统的高斯核SVM；在平均测试精度(Testingaccuracy(TA))和方差(STD)的指标上看，本发明在每次随机产生的数据集上的TA都达到100％，这表明选取的参数对不同分布的数据集都是鲁棒的。

Claims (6)

1.一种基于随机紧凑高斯核函数的粮食作物病害预测方法，其特征在于，包括以下步骤：

步骤1、建立粮食作物病害数据样本集；所述粮食作物病害数据样本集为：

其中x_i∈R^d为影响粮食作物病害症状的数据，t_i∈{-1,1}为类别，包括正类和负类，R^d为d维特征个数，N为数据样本的个数；

步骤2、确定支持向量机SVM训练模型在粮食作物病害数据样本集上的参数组合(C,σ)的最优值，其中C为SVM训练模型的惩罚系数参数，σ为SVM训练模型的核参数；具体为：

步骤2-1、将粮食作物数据样本集S划分为训练集S_train和测试集S_test；

步骤2-2、确定支持向量机SVM训练模型的核函数及其参数σ；

步骤2-3、从候选集T中选择一个元素作为支持向量机SVM训练模型的参数C，然后从候选集T删去该元素，所述候选集T是指候选参数集合；

步骤2-4、计算支持向量机SVM训练模型的核矩阵K(x_i,x_j)，其中，x_i，x_j为影响粮食作物病害症状的数据，i＝1,…,N,j＝1,…,N；

步骤2-5、确定使支持向量机SVM训练模型对偶优化的最优解，所用公式为:

其中

为SVM的核函数，

是对x做变换的函数，将样本映射到更高维的空间，α_i为非负拉格朗日乘子，每个拉格朗日乘子α_i对应着一个训练样本(x_i,t_i)，t_i为粮食作物病害数据的类别；

步骤2-6、求解法向量w和偏置b，所用公式为：

式中w为SVM的权值向量，b为SVM的阈值；

步骤2-7、确定支持向量机SVM训练模型f(x)，模型公式为：

式中sgn为符号函数，返回参数的正负；

步骤2-8、使用支持向量机SVM训练模型f(x)对测试集S_test进行预测，得到预测准确率A_k，其中k为第k次迭代；之后执行步骤2-3，直至候选集T为空；

步骤2-9、从集合A＝[A₁,…A_k,…]中找出最大值，并标记出相应的参数C的值，从而确定支持向量机SVM训练模型在粮食作物病害数据样本集上的参数组合(C,σ)；

步骤3、利用最优参数组合(C,σ)的支持向量机SVM训练模型测试数据样本集，得到粮食作物病害的种类。

2.根据权利要求1所述的基于随机紧凑高斯核函数的粮食作物病害预测方法，其特征在于，步骤2-1中将粮食作物数据样本集S划分为训练集S_train和测试集S_test的划分策略为：将样本集S中前n个样本设为训练集S_train，其它样本作为测试集S_test。

3.根据权利要求1所述的基于随机紧凑高斯核函数的粮食作物病害预测方法，其特征在于，步骤2-2中SVM的核函数采用高斯多尺度核函数，其形式为：

其中σ＝[σ₁,…,σ_d]为核函数的参数，为d维向量，x,z∈R^d分别为影响粮食作物病害症状的样本，且x＝[x₁,…,x_d],z＝[z₁,…,z_d]。

4.根据权利要求3所述的基于随机紧凑高斯核函数的粮食作物病害预测方法，其特征在于，步骤2-2确定支持向量机SVM训练模型的核函数及其参数σ采用随机赋值方法，具体为：

步骤2-2-1、从区间(0,1)内随机生成均匀分布的随机向量σ；

步骤2-2-2、设置σ＝d×σ,其中d为样本集S中特征的数目。

5.根据权利要求1所述的基于随机紧凑高斯核函数的粮食作物病害预测方法，其特征在于，步骤2-3中候选集T为用户设置的候选参数集合，设为T＝[1,10,100,1000,10000,100000]。

6.根据权利要求1所述的基于随机紧凑高斯核函数的粮食作物病害预测方法，其特征在于，步骤2-5中SVM的对偶优化问题是由SVM的初始优化问题转换得到，SVM的初始优化问题如下式所示：

ξ_i≥0,i＝1,...,N

其中C为用户需要调节的参数，作用是调节分类间隔和训练错误两者的权重；映射函数

的作用是将输入向量x_i映射到特征空间Z，w是垂直于超平面的法向量。

Images