CN112232387A - 基于lselm-rfe的粮食作物病害症状的有效特征识别方法 - Google Patents

Abstract

本发明公开了一种基于LSELM‑RFE的粮食作物病害症状的有效特征识别方法，该方法首先初始化有效特征排序表和当前特征子集表，并获取当前训练样本集，接着训练最小二乘超限学习机分类器并计算特征的排序系数，找出排序得分最小的因素特征，然后更新有效特征排序表和当前特征子集表，并重复以上步骤直至当前特征子集表为空。本发明的方法相比于传统的递归特征消除类方法，只需调节学习模型参数C，能快速识别粮食作物病害症状的有效特征。通过在UCI标准数据库中的Soybean数据集上的实验表明，相比传统SVM‑RFE方法，本发明方法仅需3％的计算时间，而且仅需1个有效特征在测试集上得到最高的测试精度，识别出的特征更有效。

Description

基于LSELM-RFE的粮食作物病害症状的有效特征识别方法

技术领域

本发明属于粮食作物病害症状的有效特征识别领域，特别涉及一种基于LSELM-RFE的粮食作物病害症状的有效特征识别方法。

背景技术

大豆是作为我国乃至世界的经济作物之一，对人们的日常生活起着举足轻重的作用。由于经济发展所带来的环境污染问题越来越严重，空气污染和土壤污染，以及昆虫传播等诸多原因都可能引发大豆病害，造成大豆品质的下降。随着轮作周期不断减少，病虫害预防不及时致使大豆产量降低，大豆的价格不断提升。

在大豆的种植生产过程中，病虫害危害不仅会降低其产量及质量，而且对其生产效益可产生不可逆转的影响。大豆病虫害种类繁多，其中危害大豆粒荚的病害主要有大豆炭疽病(Soybean Anthracnose)、大豆紫斑病(Soybean Purple Speck)、大豆赤霉病(Soybean Fusarium Head Blight，又称大豆粉霉病)、大豆荚枯病(Soybean Pod Blight)、大豆轮纹病(Soybean Zonate Spot)、大豆黑痘病(Soybean Scab)、大豆灰斑病(frog-eye-leaf-spot)、大豆兰格苞叶斑病(alternaria leaf spot)等数十种。针对大豆各种病害的诊断监测一直以来都是一项重要且紧迫的工作。

针对粮食作物病害的传统检测方法是靠人类感官判断，不仅效率低、准确率差且难度大，需要检测人员具备较强的专业知识或经验，难以大范围推广。生物学和化学的检测方法在病害检测中的应用也较多，但是这种检测方法对检测样品的精度以及检测者的操作技术要求都很高，且成本高、耗时长、对样品产生破坏较多，还容易造成环境污染。随着科技的发展，计算机智能识别机器学习技术逐渐被应用于粮食作物病害的自动诊断与防治领域，为粮食作物病害的无损检测及快速诊断奠定了理论基础。但是大豆病害症状表现具有复杂性和模糊性，病害种类与表现特征之间存在着较强的潜在规律，难以用精确数学模型表示。不同的病害种类呈现出的病斑区域的形状特征、颜色特征及纹理特征存在较强独立性又相互关联。找出最能代表某种病害种类的表现特征，是识别病害和对病害进行防治的关键手段。

识别影响粮食作物发生病害的有效特征在机器学习领域可以看作是一种特征选择问题，即收集到的发生某种病害的粮食作物数据的多个表现特征中选取最能体现病害症状的有效特征。目前的特征选择方法主要有：过滤法(Filter)：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。封装法(Wrapper)：根据目标函数(通常是预测效果评分)，每次选择若干特征，或者排除若干特征。相对于过滤法方法，封装法方法找到的特征子集分类性能通常更好。

支持向量机递归特征消除(SVM-RFE)是Guyon等人提出的包装器算法。它使用从SVM模型中支持向量的权重得出的得分函数访问特征，并递归地消除得分最低的特征。重复此过程，直到模型中剩下少量变量为止。由于其在微阵列分类中的成功应用，SVM-RFE获得了极大的欢迎，并被公认为最有效的特征选择方法之一。尽管SVM-RFE在分类率上表现更好，但是它通常需要大量的计算，尤其是针对于非线性SVM的应用。由于非线性SVM中的映射函数是未知的，因此无法显式计算权重向量。尽管可以通过特殊策略将线性SVM-RFE扩展到非线性情况，但它将花费额外的计算成本。虽然目前有很多研究从各种角度提升SVM-RFE的效率，但是SVM固有的模型选择问题还是会为SVM-RFE引入大量额外的计算代价。

发明内容

本发明的目的在于针对上述现有技术存在的问题，提供一种基于LSELM-RFE的粮食作物病害症状的有效特征识别方法。

实现本发明目的的技术解决方案为：一种基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，所述方法包括以下步骤：

步骤1，构建粮食作物病害症状的数据样本集X，空的有效特征排序表r，以及初始化的有效特征子集指标表s＝[1,2,…,d]，其中d表示特征的总数；

步骤2，构建当前训练样本集X₀；

步骤3，训练分类器LSELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的有效特征后的集合；

步骤4、基于训练后的分类器，计算训练样本集X₀中表s中第i个指标对应的有效特征的排序系数；

步骤5，获取当前排序系数最小的有效特征f；

步骤6，更新关键因素特征排序表r，具体为：在有效特征排序表r的第一个元素之前加入有效特征f在表s中对应的s(f)；

步骤7，更新因素特征子集指标表s，具体为：从表s中消除s(f)；

步骤8，判断表s是否为空，若是，则终止上述LSELM-RFE方法的过程，返回有效特征排序表r，否则返回步骤2继续执行。

进一步地，步骤1中所述数据样本集X为：

式中，x_i∈R^d表示第i个数据样本包括d个特征，t_i∈{-1,1}为类别，1表示该粮食作物样本存在病害，-1表示粮食作物样本不存在病害，N为数据样本的个数。

进一步地，步骤2所述构建当前训练样本集X₀，具体为：

从数据样本集X的所有因素特征中选取集合s中的有效特征构成训练样本集X₀，表示为X₀＝X(:,s)。

进一步地，步骤3所述训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，具体过程包括：

步骤3-1，选取最小二乘超限学习机模型参数，包括隐节点个数L和惩罚因子C；

步骤3-2，随机赋值输入权值a和隐藏层偏置b，其中a∈R^N×L，b∈R^L；

步骤3-3，选取激活函数G(a,b,x)，其中x为从训练样本集X₀中删除表s中第i个指标对应的有效特征后的集合，表示为X₀(:,s(-i))；

步骤3-4，构建隐藏层输出矩阵H：

步骤3-5，计算超限学习机核矩阵K_ELM：

K_ELM＝HH^T

步骤3-6，计算输出权值

其中I为N×N的单位矩阵，T＝[t₁,…,t_N]^T。

进一步地，步骤4中计算训练样本集X₀中表s中第i个指标对应的有效特征的排序系数，计算公式为：

rank(i)＝||β^(-i)||

式中，rank(i)表示表s中第i个指标对应的有效特征的排序系数。

本发明与现有技术相比，其显著优点为：1)本发明只需调节一个参数，即惩罚因子C，其它的模型参数从均匀分布中随机产生；2)本发明能够快速识别粮食作物病害症状的有效特征，并得到所有特征对粮食作物病害症状影响的排名；相比于传统的特征选择方法，本发明识别的有效特征，不仅能够提升粮食作物病害症状的识别精度，还能节省大量学习模型的训练时间，适合粮食作物病害症状识别的应用，以便针对症状及时消除病害，提高粮食产量。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于LSELM-RFE的粮食作物病害症状的有效特征识别方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明LSELM-RFE方法利用LSELM学习模型在数据集上训练得到的权重向量对特征进行排序。在每一次循环中，具有最小排序系数的特征将被移除，然后LSELM对剩余的特征重新训练以获取新的排序系数。LSELM-RFE方法通过迭代执行这一过程，最后得到一个特征排序表。利用该排序列表，可以定义若干个嵌套的特征子集

在SVM-RFE方法中，一般使用SVM算法的预测精度来评估这些特征子集的优劣。为了方便比较，本发明提出的LSELM-RFE方法训练得到的特征排序表也使用SVM的预测精度来选择最佳特征子集。

为了能便于理解本发明，下面先对SVM方法进行介绍。SVM模型分类过程如下：

步骤A，给定训练样本集(x_i,t_i)，i＝1,...,N，其中x_i∈R^d，t_i∈{-1,1}。根据经验风险最小化原则，同时最大化分类间隔和最小化训练错误，求解SVM的优化问题：

ξ_i≥0,i＝1,…,N

式中，C为用户需要调节的参数，作用是调节分类间隔和训练错误两者的权重。映射函数

的作用是将输入向量x_i映射到特征空间Z。w为垂直于超平面的法向量。

步骤B，将SVM的优化问题转化为对偶问题求解：

得到最优解α^*。其中

为SVM的核函数，α_i为非负拉格朗日乘子，每个拉格朗日乘子α_i对应着每个训练样本(x_i,t_i)。核函数采用单尺度高斯核函数，形式为：

参数C和核函数的参数的选取使用网格选取法，在下面的参数范围里选取最优参数组合：{0.001,0.01,0.05,0.1,0.2,0.5,1,2,5,10,20,50,100,1000,10000}×{0.001,0.01,0.1,0.2,0.4,0.8,1,2,5,10,20,50,100,1000,10000}。

步骤C、求解法向量w^*和偏置b^*。其中

步骤D、根据步骤C得到的法向量w^*和偏置b^*，得到支持向量机分类模型f(x)：

步骤E、利用支持向量机分类模型f(x)对测试样本进行预测。

为了克服传统SVM-RFE在识别影响用户购物意图的关键因素应用中存在的识别速度慢和需要耗费大量时间进行模型选择的问题，本发明提出的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，首先收集粮食作物病害数据样本集，包括训练样本集

测试样本集

其中x_i∈R^d为粮食作物病害的相关特征，主要有日期、植物生长是否规范，发芽率，损坏的区域，是否受过冰雹，温度，叶子是否异常，种子是否变色，种子大小，种子是否异常，菌核是否存在，根部是否腐烂等等。t_i∈{-1,1}为类别，包括正类和负类。

综上述分析，在一个实施例中，结合图1，提供了一种基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，所述方法包括以下步骤：

步骤1，构建粮食作物病害症状的数据样本集X，空的有效特征排序表r，以及初始化的有效特征子集指标表s＝[1,2,…,d]，其中d表示特征的总数；

步骤2，构建当前训练样本集X₀；

步骤3，训练分类器LSELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的有效特征后的集合；

步骤4、基于训练后的分类器，计算训练样本集X₀中表s中第i个指标对应的有效特征的排序系数；

步骤5，获取当前排序系数最小的有效特征f；

步骤6，更新关键因素特征排序表r，具体为：在有效特征排序表r的第一个元素之前加入有效特征f在表s中对应的s(f)；

步骤7，更新因素特征子集指标表s，具体为：从表s中消除s(f)；

步骤8，判断表s是否为空，若是，则终止上述LSELM-RFE方法的过程，返回有效特征排序表r，否则返回步骤2继续执行；

步骤9，利用SVM算法在测试样本集V上由因素特征排序表的若干嵌套子集组成的测试集上测试数据的预测精确率。取测试精度(TA)作为预测指标，另外将ELM-RFE算法的运行时间(TS)也作为指标。

进一步地，在其中一个实施例中，步骤1中所述数据样本集X为：

式中，x_i∈R^d表示第i个数据样本包括d个特征，t_i∈{-1,1}为类别，1表示该粮食作物样本存在病害，-1表示粮食作物样本不存在病害，N为数据样本的个数。

进一步地，在其中一个实施例中，步骤2所述构建当前训练样本集X₀，具体为：

从数据样本集X的所有因素特征中选取集合s中的有效特征构成训练样本集X₀，表示为X₀＝X(:,s)。

进一步地，在其中一个实施例中，步骤3所述训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，具体过程包括：

步骤3-1，选取最小二乘超限学习机模型参数，包括隐节点个数L和惩罚因子C；

步骤3-2，随机赋值输入权值a和隐藏层偏置b，其中a∈R^N×L，b∈R^L；

步骤3-3，选取激活函数G(a,b,x)，其中x为从训练样本集X₀中删除表s中第i个指标对应的有效特征后的集合，表示为X₀(:,s(-i))；

步骤3-4，构建隐藏层输出矩阵H：

步骤3-5，计算超限学习机核矩阵K_ELM：

K_ELM＝HH^T

步骤3-6，计算输出权值

其中I为N×N的单位矩阵，T＝[t₁,…,t_N]^T。

进一步地，在其中一个实施例中，步骤3-1中隐节点个数L的取值大于1000，惩罚因子C选取大于0的正数。

进一步地，在其中一个实施例中，步骤3-2中所述输入权值a和隐藏层偏置b分别从均匀概率分布(-1,1)^N×L和(0,1)^L中随机产生。

进一步地，在其中一个实施例中，步骤3-3中所述激活函数为非线性分段连续函数。

进一步地，在其中一个实施例中，步骤4中计算训练样本集X₀中表s中第i个指标对应的有效特征的排序系数，计算公式为：

rank(i)＝||β^(-i)||

式中，rank(i)表示表s中第i个指标对应的有效特征的排序系数。

作为一种具体示例，在其中一个实施例中，对本发明基于LSELM-RFE的粮食作物病害症状的有效特征识别方法进行进一步验证说明。下面通过UCI标准数据库中的大豆病害数据集Soybean(large)，对传统的SVM-RFE和本发明的LSELM-RFE两种算法进行实验，并对它们的结果进行比较。参数设置如下：传统的SVM-RFE的参数C和核函数σ使用网格选取法，在下面的参数范围里选取最优参数组合：{0.001,0.01,0.05,0.1,0.2,0.5,1,2,5,10,20,50,100,1000,10000}×{0.001,0.01,0.1,0.2,0.4,0.8,1,2,5,10,20,50,100,1000,10000}。LSELM-RFE的参数C在下面的参数范围里选取最优参数：{0.001,0.01,0.05,0.1,0.2,0.5,1,2,5,10,20,50,100,1000,10000}，LSELM-RFE的输入权值a和隐藏层偏置b分别从均匀概率分布(-1,1)^N×L和(0,1)^L中随机产生。

大豆病害数据集Soybean(large)的目的是通过大豆数据判断疾病信息。从该数据集中抽取frog-eye-leaf-spot病害类型数据，共40条，设为正类。另外抽取alternarialeaf-spot病害类型数据，共40条，设为负类。每条数据由35个特征组成，包括date，plant-stand，precip，hail，crop-hist，area-damaged，severity，seed-tmt，germination，plant-growth，leaves，leafspots-halo，leafspots-marg，leafspot-size，leaf-shread，leaf-malf，leaf-mild，stem，lodging，stem-cankers，canker-lesion，fruiting-bodies，external decay，mycelium，int-discolor，sclerotia，fruit-pods，fruit spots，seed，mold-growth，seed-discolor，seed-size，shriveling，roots。为了实施本发明的方法，将该数据集的前20个划为训练样本集X，其余的60个样本划为测试样本集V。分别选取特征排序表的前5，10,15,20,15个特征作为嵌套子集来预测测试样本集的精度。

对传统的SVM-RFE和本发明的LSELM-RFE两种算法的对比结果如下表1和表2所示。

表1算法计算代价比较

	模型参数	参数选取时间(s)	算法执行时间(s)
				SVM-RFE	(10,5)	3.8410	0.234727
LSELM-RFE	0.1	0.1260	0.273961

表2不同的嵌套子集测试精度比较(％)

嵌套子集	5	10	20	30	35	最佳
							SVM-RFE	80.00	80.00	80.00	80.00	80.00	81.67(1)
LSELM-RFE	80.00	80.00	80.00	80.00	80.00	83.33(1)

从表1可以看出，在Soybean(large)数据集上，在参数选取时间的指标上，LSELM-RFE方法的参数选取时间只有SVM-RFE方法的3％。而算法的执行时间LSELM-RFE和SVM-RFE两者相差不大。在粮食作物病害症状的有效特征识别应用中，本发明的算法可以节省大量的计算代价。

从表2可以看出，SVM-RFE在嵌套子集的特征为1时首先达到最高的测试精度81.67％，而LSELM-RFE在嵌套子集的特征为1时也达到最高的测试精度83.33％，相比SVM-RFE要高出1个百分点。这表明，本发明的方法识别出的特征更有效。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，所述方法包括以下步骤：

步骤1，构建粮食作物病害症状的数据样本集X，空的有效特征排序表r，以及初始化的有效特征子集指标表s＝[1,2,…,d]，其中d表示特征的总数；

步骤2，构建当前训练样本集X₀；

步骤3，训练分类器LSELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的有效特征后的集合；

步骤4、基于训练后的分类器，计算训练样本集X₀中表s中第i个指标对应的有效特征的排序系数；

步骤5，获取当前排序系数最小的有效特征f；

步骤6，更新关键因素特征排序表r，具体为：在有效特征排序表r的第一个元素之前加入有效特征f在表s中对应的s(f)；

步骤7，更新因素特征子集指标表s，具体为：从表s中消除s(f)；

步骤8，判断表s是否为空，若是，则终止上述LSELM-RFE方法的过程，返回有效特征排序表r，否则返回步骤2继续执行。

2.根据权利要求1所述的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，步骤1中所述数据样本集X为：

式中，x_i∈R^d表示第i个数据样本包括d个特征，t_i∈{-1,1}为类别，1表示该粮食作物样本存在病害，-1表示粮食作物样本不存在病害，N为数据样本的个数。

3.根据权利要求2所述的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，步骤2所述构建当前训练样本集X₀，具体为：

从数据样本集X的所有因素特征中选取集合s中的有效特征构成训练样本集X₀，表示为X₀＝X(:,s)。

4.根据权利要求3所述的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，步骤3所述训练分类器ELMtrain，分类器的输入为从训练样本集X₀中删除表s中第i个指标对应的因素特征后的集合，具体过程包括：

步骤3-1，选取最小二乘超限学习机模型参数，包括隐节点个数L和惩罚因子C；

步骤3-2，随机赋值输入权值a和隐藏层偏置b，其中a∈R^N×L，b∈R^L；

步骤3-3，选取激活函数G(a,b,x)，其中x为从训练样本集X₀中删除表s中第i个指标对应的有效特征后的集合，表示为X₀(:,s(-i))；

步骤3-4，构建隐藏层输出矩阵H：

步骤3-5，计算超限学习机核矩阵K_ELM：

K_ELM＝HH^T

步骤3-6，计算输出权值

其中I为N×N的单位矩阵，T＝[t₁,…,t_N]^T。

5.根据权利要求4所述的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，步骤3-1中隐节点个数L的取值大于1000，惩罚因子C选取大于0的正数。

6.根据权利要求5所述的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，步骤3-2中所述输入权值a和隐藏层偏置b分别从均匀概率分布(-1,1)^N×L和(0,1)^L中随机产生。

7.根据权利要求6所述的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，步骤3-3中所述激活函数为非线性分段连续函数。

8.根据权利要求7所述的基于LSELM-RFE的粮食作物病害症状的有效特征识别方法，其特征在于，步骤4中计算训练样本集X₀中表s中第i个指标对应的有效特征的排序系数，计算公式为：

rank(i)＝||β^(-i)||

式中，rank(i)表示表s中第i个指标对应的有效特征的排序系数。

Images