CN111814878B - 基于ssda-helm-softmax的农业投入品实时分类预测方法 - Google Patents

基于ssda-helm-softmax的农业投入品实时分类预测方法 Download PDF

Info

Publication number
CN111814878B
CN111814878B CN202010658944.3A CN202010658944A CN111814878B CN 111814878 B CN111814878 B CN 111814878B CN 202010658944 A CN202010658944 A CN 202010658944A CN 111814878 B CN111814878 B CN 111814878B
Authority
CN
China
Prior art keywords
ssda
data
layer
input
softmax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010658944.3A
Other languages
English (en)
Other versions
CN111814878A (zh
Inventor
杨灵
江晗菁
王青秀
陈宁夏
吴霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkai University of Agriculture and Engineering
Original Assignee
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkai University of Agriculture and Engineering filed Critical Zhongkai University of Agriculture and Engineering
Priority to CN202010658944.3A priority Critical patent/CN111814878B/zh
Publication of CN111814878A publication Critical patent/CN111814878A/zh
Application granted granted Critical
Publication of CN111814878B publication Critical patent/CN111814878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

基于SSDA‑HELM‑SOFTMAX的农业投入品实时分类预测方法，包括下列步骤：采集农业投入品投入前后的数据，对数据进行预处理，由训练样本集得到分类预测模型，将测试样本输入得到分类预测结果；预测模型采用自编码神经网络逐层预训练加微调方式获得初始化参数，并将SSDA的解码部分去掉，与层级结构ELM网络连接，将初始化权值对SSDA‑HELM进行初始化设置得到最优解，并将提取的特征值送入SOFTMAX分类器。本发明构建基于SSDA‑HELM‑SOFTMAX的农业投入品分类预测模型，该预测模型具有学习速度快、预测准确率高、泛化能力强以及不易陷于局部最优解等优良特性，同时模型稳定性高。

Description

基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法
技术领域
本发明涉及农业生产的智能化技术领域，尤其涉及基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法。
背景技术
近年来，农产品溯源系统已经逐渐被应用到实际生产过程中，但溯源信息主要由人工录入，难以取得消费者和监管者的信任，溯源信息不可信问题已经成为溯源系统难以推广的主要原因之一。影响农产品种植过程质量安全的主要因素有三种：投入品污染、空气污染和土壤污染。对于空气污染，可以将自动采集的环境数据保存到溯源系统；对于土壤污染，可以将土壤检测报告保存到溯源系统；对于投入品污染，是指生产过程中实施的化肥、农药等投入品的污染，目前主要是记录农产品农残检测报告，但传统的化学、生物检测方法均需要对样品进行前处理，存在操作过程复杂、耗时过长以及破坏样品等诸多缺陷，不能实时、在线检测，同时也难以应对大量检测。
近年来，深度学习方法的高速发展直接推动了人工智能技术在农业环境等领域的深入应用，尤其在基于实时数据和先验数据相结合的预测预警等领域表现出了极大的优势。随着人工智能、传感器等技术的快速发展，Extreme Learning Machine(ELM)神经网络作为机器学习的重要组成部分，具有学习速度快速，泛化性能优异，不易陷入局部最优等特点，在各个领域得到了广泛应用，如负荷预测、交通流量预测、故障诊断等。因此，基于深度学习理论，开展农业投入品的实时在线预测，提高投入品预测精度，确保溯源信息的实时、准确，具有重要的研究意义。然而，作物种植环境复杂多变，对农业投入品理化参数影响因子众多并呈现非线性变化，采用传统BP神经网络分类预测农业投入品，存在局部收敛、计算效率差及泛化性能差的问题，采用ELM神经网络分类预测农业投入品，也存在两个问题：一是ELM神经网络在建模过程中输入权值及隐藏层偏差均是随机产生，无法保证参数最优，最终训练模型具有一定的随机性，从而降低分类效果；二是随机性初始参数还可能使得ELM隐藏层节点数多于传统参数调节神经网络，导致测试时间变长，因此，如何为ELM神经网络提供高效的预训练参数成为性能提高的关键。
发明内容
本发明的目的是克服上述现有技术的缺点，提供一种学习速度快、预测精度好、泛化性能好、模型稳定的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法。
本发明是通过以下技术方案来实现的：
基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，包括下列步骤：
S1、采集作物种植环境中农业投入品投入前后的数据，所述数据包括投入前后的理化参数及其变化值；
S2、对数据进行特征分析；需要运用不同的特征提取方法对数据进行特征提取；
S3、对所述数据进行预处理，形成训练样本集；
S4、由训练样本集得到SSDA-HELM-SOFTMAX农业投入品分类预测模型；
S5、将测试样本输入所述SSDA-HELM-SOFTMAX农业投入品分类预测模型，得到农业投入品分类预测结果；其中，测试样本也需经过预处理再输入预测模型中，预处理过程同训练样本，依次包括数据异常处理、数据降噪处理和数据归一化处理。
所述S4步骤中由训练样本集得到SSDA-HELM-SOFTMAX农业投入品分类预测模型的方法为：将所述训练样本集中的数据送入SDAE输入层进行SSDA预训练，采用非监督学习方法，逐层预训练加微调得到初始化权值(即输入权重Wi和隐层偏置bi)；预训练完成后将SSDA的解码部分去掉，连接HELM网络，将得到的所述初始化权值作为HELM的初始权值，构建SSDA-HELM网络，得到农业投入品的特征值；提取各农业投入品的特征值，并将提取的特征值送入SOFTMAX分类器进行分类预测，得到最终的SSDA-HELM-SOFTMAX农业投入品分类预测模型。如此，可克服HELM初始值不稳定、导致模型不稳定的缺陷。
进一步优化的技术方案是，所述S4步骤中由训练样本集得到SSDA-HELM-SOFTMAX农业投入品预测模型的具体算法步骤为：
S41、选择SSDA网络的隐藏层数，初始化SSDA网络深度k，X1＝X；X＝[x(1)，x(2)，...，x(m)]T，隐藏层的节点数为
Figure BDA0002577791910000043
将SSDA网络的解码部分删除，与HELM网络对接，构建所述SSDA-HELM网络；
S42、从第一隐藏层开始，通过SSDA网络训练得到隐藏层的输入权重Wi和隐层偏置bi，并将权重Wi和隐层偏置bi作为输入权值对所述SSDA-HELM网络进行初始化；
S43、由预训练得到的输入权重Wi和隐藏层偏置bi，计算隐藏层输出矩阵A：Ai＝Hi-1Wli，其中Ai为第i层节点输出；Hi-1为第i层节点输入(亦即第i-1层的输出)；Wli为权值矩阵；
S44、根据ELM理论：
Figure BDA0002577791910000041
Figure BDA0002577791910000042
其中，H是隐层节点的输出，β为输出权重，T为期望输出，g(x)为激活函数，Wi＝[wi，1，wi，2，...，wi，n]T为输入节点和第i个隐节点之间的权重，βi为第i个隐节点和输出节点之间的权重，bi是第i个隐层节点的偏置，Wi·Xj表示的是Wi和Xj的内积；
计算神经网络输出权重矩阵
Figure BDA0002577791910000051
Figure BDA0002577791910000052
其中，/>
Figure BDA0002577791910000053
为矩阵A的广义逆矩阵；
S45、进一步计算输出结果：
Figure BDA0002577791910000054
其中/>
Figure BDA0002577791910000055
为第i层输出，Hi-1为第i层输入(亦即第i-1层的输出)，g(·)为隐藏层的激活函数；
S46、重复上述步骤S42～S45，直至完成最后一层隐藏层的输出计算，得到特征值(即最后一层的输出)；
S47、将提取的特征作为输入值，送入SOFTMAX分类器进行分类预测。
进一步优化的技术方案是，所述步骤S41中SSDA网络训练得到各隐藏层的输入权重Wi和隐层偏置bi的方法为：
构建多个自编码器，每一个自编码器对应一个隐藏层，用于预训练θi∈{Wi,bi}参数；每一层自编码器隐藏层的输入层为上一层自编码器的隐藏层输出，输出层是上一层隐藏层的重构；采用贪婪逐层训练法进行逐层非监督训练每一个自编码器，得到SSDA网络各层的权值，再通过反向传播算法整体逐层微调权重，训练出SSDA网络最优权重；
自编码器的编码过程为:
Figure BDA0002577791910000056
其中，W1分别是输入层到隐含层和隐含层到输出层的权重矩阵，b1是隐含层和输出层的单位偏置系数；σ(·)表示激活函数，选取logsig函数；θ表示网络的参数矩阵，θi∈{Wi,bi}。
进一步优化的技术方案是，所述SSDA网络训练的网络参数设置为：学习速率为0.1，预训练最大迭代次数为400，微调最大迭代次数为300，稀疏参数为0.5，稀疏惩罚项参数为3，激活函数采用sigmoid函数，微调损失函数为：
Figure BDA0002577791910000061
本发明的方法可应用于各类农业投入品的分类预测，同样也可适用于各类介质(如水、空气、土壤等)中各种参数的输入，作为农业生产中较大的一类——土壤，进一步优选的方案是，所述作物为藿香，所述作物种植环境为土壤，所述农业投入品为硫酸铵、钾肥、磷肥、波尔多液、瑞毒霉、吡虫啉、二甲戊灵、溴菌腈中的几种。
所述S1步骤中的理化参数主要包括土壤中的水分含量、电导率和pH值，当然也可根据作物实际，同时选择土壤的其它参数，如金属元素残留、有机质含量等。
进一步优化的技术方案是，所述水分含量、电导率和pH值分别由插入土壤中的湿度传感器、EC传感器和pH传感器得到。
进一步优化的技术方案是，所述S3步骤中对数据进行预处理，包括依次进行数据异常处理、数据降噪处理和数据归一化处理。
数据异常分两类：数据缺失和数据离群。为了准确监测投入品施用时的数据突变值，本发明可采用均值法处理数据异常，即每15秒轮询一次传感器数据，对每一分钟检测到的数据求均值并保存。当发生数据缺失时，对这分钟采集到的其他数据求均值，并进行保存，由于采集的传感器数据是连续的，数据是正常分布，也不存在连续缺失，因此采用均值法误差不大。当发生数据离群时，将检测其他传感器数据是否发生突变，如果同时存在数据突变，则记录突变数据，否则作为异常值摒弃。
传感器采集的数据存在大量噪声，如果直接将传感器采集数据作为模型输入，将对投入品特征提取和模型预测的精准度产生较大干扰，因此，消除数据噪声是预测模型构建的重要基础之一。传统滤波降噪方法，例如傅里叶变换等，只能描述信号在频率域中的变化，无法分辨出信号在时间轴上的瞬时变化。而小波降噪法对信号具有自适应性，可以在去除噪声的同时最大程度保留原始信号信息，小波降噪法大致分为3类：基于阈值小波降噪方法、基于模极大值小波变换降噪方法、基于相邻尺度小波系数相关性降噪方法，其中基于阈值小波降噪方法实现简单、计算量小、降噪效果良好，因此本发明可采用基于阈值小波降噪方法，实现模型输入关键影响因子噪声的去除，为预测模型构建提供良好的数据基础。
进一步优化的技术方案是，所述数据降噪处理采用基于阈值法的小波降噪方法，其步骤为：
A、对数据信号进行预处理；
B、选择小波基函数；
C、高频阈值小波系数去噪；
D、小波逆变换信号重构；
E、计算信噪比和均方根误差；
F、判断是否满足最大信噪比和最小均方根误差，如是，得到最佳小波降噪方案；如否，重复步骤C～E，直至满足最大信噪比和最小均方根误差。
由于投入品在施用过程中采集的理化参数具有不同的量纲，数值间的差别很大，如果直接将采集所得数据作为模型的输入数据，则对投入品分类预测产生很大干扰，因此，需要对数据进行归一化处理。数据归一化处理的目的：一是为了将数据缩放到小的特定范围内，方便后续数据处理；二是为了简化计算，消除表达式中不同量纲的影响。
进一步优化的技术方案是，所述数据归一化处理采用z-score方法对样本集特征数据进行归一化预处理，如下式所示：
Figure BDA0002577791910000081
其中yi为第i个数据归一化后的特征值，xi为第i个数据的特征值，μ为所有样本数据的平均数，σ为所有样本数据的标准差。
本发明通过训练得到农业投入品分类预测模型，由此实现对农业投入品的实时在线预测和溯源追踪；预测模型采用自编码神经网络逐层预训练加微调方式获得初始化参数，将栈式稀疏去噪自编码器模型的解码部分去掉，与层级结构的极限学习机神经网络进行连接，构建基于SSDA-HELM-SOFTMAX的农业投入品分类预测模型，为农业投入品准确分类预测奠定基础，该预测模型克服了采用传统神经网络分类预测农业投入品存在局部收敛、计算效率差及泛化性能差的问题，利用HELM极限学习机使用最小二乘法来计算输出网络权值，不需进行反馈调整权值，具有学习速度快、预测准确率高、泛化能力强以及不易陷于局部最优解等优良特性；利用自编码网络的预训练方法来对SSDA-HELM模型进行参数初始化，解决HELM极限学习机的随机初始化参数导致网络模型不稳定问题，模型稳定性高。
附图说明
图1为本发明农业投入品实时分类预测方法的预测流程图。
图2为本发明数据降噪处理的流程图。
图3为本发明第一层隐藏层的自编码器的网络结构图。
图4为本发明最后一层隐藏层的自编码器的网络结构图。
图5为本发明SSDA预训练模型图。
图6为本发明SSDA-HELM-SOFTMAX农业投入品分类预测模型的模型图。
图7为本发明SSDA-HELM-SOFTMAX农业投入品分类预测模型建立的流程图。
图8为本发明SSDA-HELM-SOFTMAX农业投入品分类预测模型的预测结果图，图中纵坐标1-吡虫啉，纵坐标2-波尔多液，纵坐标3-瑞毒霉，纵坐标4-磷肥，纵坐标5-二甲戊灵，纵坐标6-钾肥，纵坐标7-硫酸铵，纵坐标8-溴菌腈，横向圆圈代表实际值，上下波动的圆圈代表预测值。
具体实施方式
基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，包括下列步骤：
S1、采集作物种植环境中农业投入品投入前后的数据，所述数据包括投入前后的理化参数及其变化值；
S2、对数据进行特征分析；
S3、对所述数据进行预处理，形成训练样本集；
S4、由训练样本集得到SSDA-HELM-SOFTMAX农业投入品分类预测模型；
S5、将测试样本输入所述SSDA-HELM-SOFTMAX农业投入品分类预测模型，得到农业投入品分类预测结果；
所述S4步骤中由训练样本集得到SSDA-HELM-SOFTMAX农业投入品分类预测模型的方法为：将所述训练样本集中的数据送入SDAE输入层进行SSDA预训练，从复杂输入数据中提取相关特征，采用非监督学习方法，逐层预训练加微调得到初始化权值(即输入权重Wi和隐层偏置bi)；预训练完成后将SSDA的解码部分去掉，连接HELM网络，将得到的所述初始化权值作为HELM的初始权值，构建SSDA-HELM网络，得到农业投入品的特征值；提取各农业投入品的特征值，并将提取的特征值送入SOFTMAX分类器进行分类预测，得到最终的SSDA-HELM-SOFTMAX农业投入品分类预测模型。如此，可克服HELM初始值不稳定、导致模型不稳定的缺陷。
本发明适用于各类作物各类农业投入品的实时分类预测，为更清楚的阐述本发明的构思和技术方案，本实施例以藿香常用农业投入品为对象进一步说明，其实时分类预测方法如图1所示，包括下列步骤：
1、农业投入品数据采集
种植作物为藿香，所选用农业投入品为藿香种植中常用的硫酸铵、钾肥、磷肥、波尔多液、瑞毒霉、吡虫啉、二甲戊灵、溴菌腈这8种投入品，其中，硫酸铵、钾肥、磷肥是藿香种植常用的氮磷钾肥料，波尔多液常用于治疗褐斑病，瑞毒霉常用于治疗枯萎病，吡虫啉常用于灭杀蚜虫，二甲戊灵常用于旱田作物除草，溴菌腈常用于杀菌。上述投入品均从中国广州的当地商店购买，按照各自常用倍数配置其水溶液以备使用，准备若干个充满土壤的底部可排水的花盆，并将其置于露天环境中。将EC传感器、pH传感器和湿度传感器插入土壤中，打开电源以实时收集传感器数据。将200mL每种投入品水溶液喷入土壤中，记录输入前后的土壤参数数据，包括水分比例(输入前)、电导率(输入前)、pH值(输入前)、水分比(输入后)、电导率(输入后)、pH值(输入后)，收集每种投入品投入前后的土壤中传感器探测的上述数据及变化数据，作为模型的输入。
2、数据特征分析
传感器数据繁乱纷杂，难以分析，但农业投入品在相同配比下，其pH值、电导率等理化特性相对固定，在施入前后，传感器数据存在突变，同时受土壤化学特性、传感器接触时间等影响，因此可从投入前后的pH值、电导率和水分数据的变化进行分析，找出相关规律。另一方面可通过无监督的神经网络训练和非线性映射，从输入数据中获得特征。
3、数据预处理
由于农作物种殖环境复杂多变，土壤对数据采集也存在一定影响，传感器采集的数据存在大量噪声，在构建投入品预测模型过程中，如果直接将传感器采集数据作为模型输入数据，则特征提取和模型预测的精准度受数据质量影响较大，因此，数据清洗是预测模型构建的重要基础。由于在试验中，主要需要采集实时的投入品理化参数和参数变化值，因此，在数据预处理中，主要进行数据异常处理、数据降噪处理及数据归一化处理。
(1)数据异常处理
由于传感器与土壤的接触不充分，太阳能供电不稳定等原因，采集的传感器数据存在异常值问题。数据异常分两类：数据缺失和数据离群。为了准确监测投入品施用时的数据突变值，本文采用均值法处理数据异常，即每15秒轮询一次传感器数据，对每一分钟检测到的数据求均值并保存。当发生数据缺失时，对这分钟采集到的其他数据求均值，并进行保存。由于采集的传感器数据是连续的，数据是正常分布，也不存在连续缺失，因此采用均值法误差不大；当发生数据离群时，将检测其他传感器数据是否发生突变，如果同时存在数据突变，则记录突变数据，否则作为异常值摒弃。
(2)数据降噪处理
由于在复杂大田环境下采集的传感器数据存在大量噪声，如果直接将传感器采集数据作为模型输入，将对投入品特征提取和模型预测的精准度产生较大干扰，因此，消除数据噪声是预测模型构建的重要基础之一。传统滤波降噪方法，例如傅里叶变换等，只能描述信号在频率域中的变化，无法分辨出信号在时间轴上的瞬时变化。而小波降噪法对信号具有自适应性，可以在去除噪声的同时最大程度保留原始信号信息，小波降噪法大致分为3类：基于阈值小波降噪方法、基于模极大值小波变换降噪方法、基于相邻尺度小波系数相关性降噪方法，其中基于阈值小波降噪方法实现简单、计算量小、降噪效果良好，因此本实施例采用基于阈值小波降噪方法，实现模型输入关键影响因子噪声的去除，为预测模型构建提供良好的数据基础。
其降噪过程如图2所示，其步骤为：
A、对数据信号进行预处理；
B、选择小波基函数；
C、高频阈值小波系数去噪；
D、小波逆变换信号重构；
E、计算信噪比和均方根误差；
F、判断是否满足最大信噪比和最小均方根误差，如是，得到最佳小波降噪方案；如否，重复步骤C～E，直至满足最大信噪比和最小均方根误差。
具体可调用相关的函数计算得到。
(3)数据归一化处理
由于投入品在施用过程中采集的理化参数具有不同的量纲，数值间的差别很大，如果直接将采集所得数据作为模型的输入数据，则对投入品分类预测产生很大干扰，因此，需要对数据进行归一化处理。数据归一化处理的目的：一是为了将数据缩放到小的特定范围内，方便后续数据处理；二是为了简化计算，消除表达式中不同量纲的影响。
本实施例采用z-score方法对样本集特征数据X进行归一化预处理，如下式：
Figure BDA0002577791910000141
其中yi为第i个数据归一化后的特征值，xi为第i个数据的特征值，μ为所有样本数据的平均数，σ为所有样本数据的标准差。
4、SSDA预训练及模型搭建
首先构建多个自编码器，每一个自编码器对应于一个隐藏层，用于预训练θi∈{Wi,bi}参数，自编码网络结构图如图3、图4所示。其中图3对应的是第一层隐藏层的自编码器，输入层与前馈神经网络的输入层一致，输出层是输入层的重构。图4是最后一层隐藏层的自编码器，输入层是上一层隐藏层的值，输出层是上一层隐藏层的重构。采用贪婪逐层训练法进行逐层非监督训练每一个自编码器，得到SSDA网络各层的权值，再通过反向传播算法整体逐层微调权重，训练出SSDA网络最优权重，用训练后的最优参数作为HELM模型的初始化参数。网络参数设置为：学习速率为0.1，预训练最大迭代次数为400，微调最大迭代次数为300，稀疏参数为0.5，稀疏惩罚项参数为3，激活函数采用sigmoid函数。微调损失函数为：
Figure BDA0002577791910000142
SSDA预训练模型图如图5所示。
通过SSDA预训练，可从复杂输入数据中提取相关特征，采用非监督学习方法，逐层预训练加微调得到初始化权值。预训练完成后将SSDA的解码部分去掉，连接HELM网络，从而构建SSDA-HELM模型，将SDAE训练的权值对SSDA-HELM模型进行初始化设置，提取农业投入品的特征值。之后将提取的特征值送入SOFTMAX分类器进行分类预测，得到最终的SSDA-HELM-SOFTMAX农业投入品分类预测模型，如图6。
上述SSDA-HELM-SOFTMAX模型是将SDAE作为前端进行预训练以提供初始化权值，训练后的参数作为多层ELM模型的初始化参数以得到最优解，在输出层使用SOFTMAX进行分类。在模型训练过程中，先将传感器采集到的投入品理化参数及变化值作为训练样本送入SDAE输入层，SDAE隐藏层从复杂输入数据中提取相关特征，采用非监督学习方法，逐层预训练加微调得到初始化权值。将SDAE的解码部分去掉，连接ELM网络，将获取的初始化权值作为初始值进行赋值，最后采用SOFTMAX进行分类。
由训练样本集得到SSDA-HELM-SOFTMAX农业投入品预测模型的具体算法如图7所示，其步骤为：
步骤1、选择SSDA网络的隐藏层数，初始化SSDA网络深度k，X1＝X；X＝[x(1)，x(2)，...，x(m)]T，隐藏层的节点数为
Figure BDA0002577791910000151
将SSDA网络的解码部分删除，与HELM网络对接，构建所述SSDA-HELM网络；
步骤2、从第一隐藏层开始，通过SSDA网络训练得到各隐藏层的输入权重Wi和隐层偏置bi，并将权重Wi和隐层偏置bi作为输入权值对所述SSDA-HELM网络进行初始化；
步骤3、由预训练得到的输入权重Wi和隐藏层偏置bi，计算隐藏层输出矩阵A：Ai＝Hi-1Wli，其中Ai为第i层节点输出；Hi-1为第i层节点输入(亦即第i-1层的输出)；Wli为权值矩阵；；
步骤4、根据ELM理论：
Figure BDA0002577791910000161
Figure BDA0002577791910000162
其中，H是隐层节点的输出，β为输出权重，T为期望输出，g(x)为激活函数，Wi＝[wi，1，wi，2，...，wi，n]T为输入节点和第i个隐节点之间的权重，βi为第i个隐节点和输出节点之间的权重，bi是第i个隐层节点的偏置。Wi·Xj表示的是Wi和Xj的内积；
计算神经网络输出权重矩阵
Figure BDA0002577791910000163
Figure BDA0002577791910000164
其中，/>
Figure BDA0002577791910000165
为矩阵A的广义逆矩阵；
步骤5、进一步计算输出结果：
Figure BDA0002577791910000166
其中/>
Figure BDA0002577791910000167
为第i层输出，Hi-1为第i层输入(亦即第i-1层的输出)，g(·)为隐藏层的激活函数；
步骤6、重复上述步骤2至步骤5，直至完成所有隐藏层的输出计算，得到特征值(即最后一层的输出)；
步骤7、将提取的特征作为输入值，送入SOFTMAX分类器进行分类预测。
5、将测试样本预处理后输入SSDA-HELM-SOFTMAX农业投入品分类预测模型，计算农业投入品预测结果。其中，测试样本同训练样本一样，其数据预处理的步骤依次包括数据异常处理、数据降噪处理和数据归一化处理。
上述稀疏自编码SAE算法与HELM模型算法采用现有技术中的通用算法：
栈式自编码器的编码过程:
Figure BDA0002577791910000176
解码过程如下:
Figure BDA0002577791910000171
式中:W1,W2分别是输入层到隐含层和隐含层到输出层的权重矩阵，b1,b2分别是隐含层和输出层的单位偏置系数；σ(·)表示激活函数，选取logsig函数；θ表示网络的参数矩阵，θi∈{Wi,bi}。
自编码器的目标是找到最优参数矩阵并以此最小化输入值与输出值的误差。
重构误差损失函数表示为：
Figure BDA0002577791910000172
式中:loss表示损失函数；R表示权重衰减项，该项的加入能够有效防止过拟合。m是样本数量，x(i)和
Figure BDA0002577791910000173
分别表示第i个样本的输入和输出特征；ni表示网络层数，sl表示第l层的单元数目，λ是权重衰减系数。
在自编码器的隐含层加入稀疏性限制后，就构成了稀疏自编码器(SAE)。稀疏性限制就是通过抑制网络神经元的激活实现控制网络参数数量，同时也能够实现数据特征更有效的提取。
Figure BDA0002577791910000174
代表着自编码器中隐含层神经元j的激活度，其平均激活度/>
Figure BDA0002577791910000175
可表示为：
Figure BDA0002577791910000181
当神经元输出结果接近1时，我们认为其处于激活状态；当神经元输出结果接近0时，我们则认为其处于抑制状态。引入稀疏性参数ρ，ρ的值趋近于0，使
Figure BDA0002577791910000182
让大部分神经元被抑制。为了实现稀疏性限制，在代价函数中加入稀疏惩罚项，则总的代价函数为：
Figure BDA0002577791910000183
式中：β是稀疏惩罚项系数，
Figure BDA0002577791910000184
是对隐层神经元j的稀疏惩罚项。稀疏惩罚项的表达式为：
Figure BDA0002577791910000185
式中：s2是隐含层的神经元数目。当
Figure BDA0002577791910000186
时，稀疏惩罚项取得唯一的极小值，也就是说最小化惩罚项能够使隐含层的平均激活度接近稀疏参数。
ELM模型中，假设有N个不同的样本(xi，ti)，其中xi＝xi1，xi2，...，xin T∈Rn，ti＝ti1，ti2，…，tim T∈Rm,对于一个有L个隐层节点的神经网络可以表示为：
Figure BDA0002577791910000187
其中，g(x)为激活函数，Wi＝[wi，1，wi，2，...，wi，n]T为输入节点和第i个隐节点之间的权重，βi为第i个隐节点和输出节点之间的权重，bi是第i个隐层节点的偏置。Wi·Xj表示的是Wi和Xj的内积。
为了确保神经网络模型输出的误差最小，需求出，使得
Figure BDA0002577791910000188
导入，得到：
Figure BDA0002577791910000191
假设：H是隐层节点的输出，β为输出权重，T为期望输出，其中：
Figure BDA0002577791910000192
Figure BDA0002577791910000193
则上式，得到Hβ＝T；
为了能够训练单隐层神经网络，我们希望获得
Figure BDA0002577791910000194
Figure BDA0002577791910000195
其中，i＝1，...，L,
上式等价于最小化如下损失函数：
Figure BDA0002577791910000196
从上式可知：如果采用基于梯度算法，需要在迭代过程中调整参数，而在ELM算法中，一旦随机确定输入权重Wi和隐层偏置bi，则，隐层输出矩阵H就可以通过最小二乘解
Figure BDA0002577791910000197
唯一确定：
Figure BDA0002577791910000198
其中，
Figure BDA0002577791910000199
是矩阵H的广义逆矩阵，同时，/>
Figure BDA00025777919100001910
具有2个条件：1、范数是最小的；2、值是唯一的。
本发明实施例采用SSDA模型对原始数据进行无监督训练，获取预训练参数，采用SSDA-HELM模型来提取农业投入品特征，再送入SOFTMAX分类器进行分类预测。将特征数据作为输入，计算预测投入品的概率，并将投入品品种作为输出，对建立的预测模型进行测试，测试集样本为240次，投入品部分预测结果如图8所示，其中预测错误次数为6个，模型准确率为97.08％。
为了研究模型预测的准确率，与同样结构的BP、SAE-SOFTMAX、DBN-SOFTMAX模型进行了对比，分别采用BP模型、SAE模型、DBN模型提取特征，SAE-SOFTMAX、DBN-SOFTMAX模型采用SOFTMAX分类器进行预测分类。测试结果表明，SAE-SOFTMAX、DBN-SOFTMAX模型的预测准确率高于BP神经网络，其原因是由于SAE、DBN采用无监督的训练模式，相比BP神经网络的Back propagation的机制，最后得到的数据是通过学习输入数据的结构得到的，提取的特征质量较好；而SAE和DBN的区别在于前者是非线性变换找到主特征方向，后者是基于样本的概率分布来提取高层表示，说明基于样本的概率分布提取的高层特征更符合投入品特征参数特点。同时，SSDA-HELM模型采用SSDA模型进行预训练，获取HELM初始化最优参数，解决了初始化参数不稳定问题，发挥了HELM模型泛化能力强和不易陷于局部最优的特性，故预测准确率最高。
为了进一步研究预测模型决定系数(R-Square)和均方根误差(RMSE)等性能参数，比较了BP和自编码神经网络(SAE)、DBN建模方法，与本发明方法的优劣性，在建模过程中，使用留一法进行交叉验证，以进一步测试模型的鲁棒性和适应性。从决定系数(R-Square)和均方根误差(RMSE)等参数性能看，当观察SAE模型时，其校准集的性能与BP相同。然而，交叉验证的决定系数均小于BP，均方根误差比BP更大，表明虽然该模型在预测准确率上优于BP模型，但不如BP模型稳定。
同时，观察SSDA-HELM模型可以看出校准集和交叉验证的决定系数与其他模型相比最大，均达到了0.99，说明该模型稳定性较好。同时，SSDA-HELM模型中RMSEC和RMSECV最小，分别为0.02和0.12。因此，SSDA-HELM模型与BP、SAE和DBN相比，均方根误差最小。同时，SSDA-HELM模型与DBN模型相比，由于HELM的输出矩阵是通过最小二乘解计算产生，一旦输入权值和隐层偏置确定，则输出矩阵唯一确定，在这个过程中不涉及权值优化问题，也就解决了神经网络常见的陷入局部最优，不合适的学习率以及过拟合问题。因此，SSDA-HELM模型比DBN模型更稳定。从准确率看，在同样的实验条件下，SSDA-HELM模型准确率比DBN模型更高。下一步，我们将开展在大田中对多点采集的数据进行交叉融合实验，从而减少外部环境和传感器精度对预测分类的影响。
综上所述，利用HELM极限学习机使用最小二乘法来计算输出网络权值，不需进行反馈调整权值，具有学习速度快，泛化能力强以及不易陷于局部最优解等优良特性，来提取投入品特征，利用自编码网络的预训练方法来对SSDA-HELM模型进行参数初始化，解决HELM极限学习机的随机初始化参数导致网络模型不稳定问题，结果表明：本发明提出的方法准确度达到97.08％，比BP神经网络、DBN-SOFTMAX、SAE-SOFTMAX神经网络提高4.08％、1.78％、1.58％，具有较好的预测精度和泛化性能，可为农业投入品实时在线预测提供理论依据和参数支持。
上列详细说明是针对本发明可行实施例的具体说明，该实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。

Claims (9)

1.基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，包括下列步骤：
S1、采集作物种植环境中农业投入品投入前后的数据，所述数据包括投入前后的理化参数及其变化值；
S2、对数据进行特征分析；
S3、对所述数据进行预处理，形成训练样本集；
S4、由训练样本集得到SSDA-HELM-SOFTMAX农业投入品分类预测模型；
S5、将测试样本输入所述SSDA-HELM-SOFTMAX农业投入品分类预测模型，得到农业投入品分类预测结果；
所述S4步骤中由训练样本集得到SSDA-HELM-SOFTMAX农业投入品分类预测模型的方法为：将所述训练样本集中的数据送入SDAE输入层进行SSDA预训练，采用非监督学习方法，逐层预训练加微调得到初始化权值；预训练完成后将SSDA的解码部分去掉，连接HELM网络，将得到的所述初始化权值作为HELM的初始权值，构建SSDA-HELM网络，得到农业投入品的特征值；提取各农业投入品的特征值，并将提取的特征值送入SOFTMAX分类器进行分类预测，得到最终的SSDA-HELM-SOFTMAX农业投入品分类预测模型；
所述S4步骤中由训练样本集得到SSDA-HELM-SOFTMAX农业投入品预测模型的具体算法步骤为：
S41、选择SSDA网络的隐藏层数，初始化SSDA网络深度k，X1＝X；X＝[x(1)，x(2)，...，x(m)]T，隐藏层的节点数为
Figure FDA0004202204430000028
将SSDA网络的解码部分删除，与HELM网络对接，构建所述SSDA-HELM网络；
S42、从第一隐藏层开始，通过SSDA网络训练得到隐藏层的输入权重Wi和隐层偏置bi，并将权重Wi和隐层偏置bi作为输入权值对所述SSDA-HELM网络进行初始化；
S43、由预训练得到的输入权重Wi和隐藏层偏置bi，计算隐藏层输出矩阵A：Ai＝Hi-1Wli，其中Ai为第i层节点输出；Hi-1为第i层节点输入；Wli为权值矩阵；
S44、根据ELM理论：
Figure FDA0004202204430000021
Figure FDA0004202204430000022
其中，H是隐层节点的输出，β为输出权重，T为期望输出，g(x)为激活函数，Wi＝[wi，1，wi，2，...，wi，n]T为输入节点和第i个隐节点之间的权重，βi为第i个隐节点和输出节点之间的权重，bi是第i个隐层节点的偏置；Wi·Xj表示的是Wi和Xj的内积；计算神经网络输出权重矩阵
Figure FDA0004202204430000023
Figure FDA0004202204430000024
其中，/>
Figure FDA0004202204430000025
为矩阵A的广义逆矩阵；
S45、进一步计算输出结果：
Figure FDA0004202204430000026
其中/>
Figure FDA0004202204430000027
为第i层输出，Hi-1为第i层输入，g(·)为隐藏层的激活函数；/>
S46、重复上述步骤S42～S45，直至完成最后一层隐藏层的输出计算，得到特征值；
S47、将提取的特征作为输入值，送入SOFTMAX分类器进行分类预测。
2.根据权利要求1所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述S41步骤中SSDA网络训练得到隐藏层的输入权重Wi和隐层偏置bi的方法为：
构建多个自编码器，每一个自编码器对应一个隐藏层，用于预训练θi∈{Wi,bi}参数；每一层自编码器隐藏层的输入层为上一层自编码器的隐藏层输出，输出层是上一层隐藏层的重构；采用贪婪逐层训练法进行逐层非监督训练每一个自编码器，得到SSDA网络各层的权值，再通过反向传播算法整体逐层微调权重，训练出SSDA网络最优权重；
自编码器的编码过程为:h＝fθ1(x)＝σ(W1x+b1)，
其中，W1是输入层到隐含层和隐含层到输出层的权重矩阵，b1是隐含层和输出层的单位偏置系数；σ(·)表示激活函数，选取logsig函数；θ表示网络的参数矩阵，θi∈{Wi,bi}。
3.根据权利要求2所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述SSDA网络训练的网络参数设置为：学习速率为0.1，预训练最大迭代次数为400，微调最大迭代次数为300，稀疏参数为0.5，稀疏惩罚项参数为3，激活函数采用sigmoid函数，微调损失函数为：
Figure FDA0004202204430000041
4.根据权利要求1所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述作物为藿香，所述作物种植环境为土壤，所述农业投入品为硫酸铵、钾肥、磷肥、波尔多液、瑞毒霉、吡虫啉、二甲戊灵、溴菌腈中的几种。
5.根据权利要求1至4任一项所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述S1步骤中的理化参数包括土壤中的水分含量、电导率和pH值，所述水分含量、电导率和pH值分别由插入土壤中的湿度传感器、EC传感器和pH传感器得到。
6.根据权利要求1至4任一项所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述S3步骤中对数据进行预处理，包括依次进行数据异常处理、数据降噪处理和数据归一化处理。
7.根据权利要求6所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述数据异常处理的方法为：每15秒轮询一次数据，对每一分钟内检测到的数据求均值并保存；当发生数据缺失时，对这分钟采集到的其他数据求均值并进行保存；当发生数据离群时，判断其它数据是否发生突变，如果同时存在数据突变，则记录突变数据，否则作为异常值摒弃。
8.根据权利要求6所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述数据降噪处理采用基于阈值法的小波降噪方法，其步骤为：
A、对数据信号进行预处理；
B、选择小波基函数；
C、高频阈值小波系数去噪；
D、小波逆变换信号重构；
E、计算信噪比和均方根误差；
F、判断是否满足最大信噪比和最小均方根误差，如是，得到最佳小波降噪方案；如否，重复步骤C～E，直至满足最大信噪比和最小均方根误差。
9.根据权利要求6所述的基于SSDA-HELM-SOFTMAX的农业投入品实时分类预测方法，其特征在于，所述数据归一化处理采用z-score方法对样本集特征数据进行归一化预处理，如下式所示：
Figure FDA0004202204430000051
其中yi为第i个数据归一化后的特征值，xi为第i个数据的特征值，μ为所有样本数据的平均数，σ为所有样本数据的标准差。
CN202010658944.3A 2020-07-09 2020-07-09 基于ssda-helm-softmax的农业投入品实时分类预测方法 Active CN111814878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010658944.3A CN111814878B (zh) 2020-07-09 2020-07-09 基于ssda-helm-softmax的农业投入品实时分类预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010658944.3A CN111814878B (zh) 2020-07-09 2020-07-09 基于ssda-helm-softmax的农业投入品实时分类预测方法

Publications (2)

Publication Number Publication Date
CN111814878A CN111814878A (zh) 2020-10-23
CN111814878B true CN111814878B (zh) 2023-06-06

Family

ID=72842722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010658944.3A Active CN111814878B (zh) 2020-07-09 2020-07-09 基于ssda-helm-softmax的农业投入品实时分类预测方法

Country Status (1)

Country Link
CN (1) CN111814878B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159311A (zh) * 2020-12-31 2021-07-23 光华临港工程应用技术研发(上海)有限公司 神经元网络的反向传播算法的学习方法
CN113011913A (zh) * 2021-02-19 2021-06-22 金陵科技学院 一种改进sae-bp的时间序列视频收益预测方法
CN113468537B (zh) * 2021-06-15 2024-04-09 江苏大学 一种基于改进自编码器的特征提取及漏洞利用攻击检测方法
CN115393396B (zh) * 2022-08-18 2024-02-02 西安电子科技大学 一种基于掩码预训练的无人机目标跟踪方法
CN116341614B (zh) * 2023-04-10 2023-10-03 华北电力大学（保定） 基于深层自编码网络的无线电干扰激发函数的预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846410A (zh) * 2018-05-02 2018-11-20 湘潭大学 基于稀疏自动编码深度神经网络的电能质量扰动分类方法
CN109086817A (zh) * 2018-07-25 2018-12-25 西安工程大学 一种基于深度信念网络的高压断路器故障诊断方法
CN110188774A (zh) * 2019-05-27 2019-08-30 昆明理工大学 一种基于深度学习的电涡流扫描图像分类识别方法
CN110298264A (zh) * 2019-06-10 2019-10-01 上海师范大学 基于堆叠降噪自编码器的人体日常行为活动识别优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846410A (zh) * 2018-05-02 2018-11-20 湘潭大学 基于稀疏自动编码深度神经网络的电能质量扰动分类方法
CN109086817A (zh) * 2018-07-25 2018-12-25 西安工程大学 一种基于深度信念网络的高压断路器故障诊断方法
CN110188774A (zh) * 2019-05-27 2019-08-30 昆明理工大学 一种基于深度学习的电涡流扫描图像分类识别方法
CN110298264A (zh) * 2019-06-10 2019-10-01 上海师范大学 基于堆叠降噪自编码器的人体日常行为活动识别优化方法

Also Published As

Publication number Publication date
CN111814878A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814878B (zh) 基于ssda-helm-softmax的农业投入品实时分类预测方法
Deng et al. Soil water simulation and predication using stochastic models based on LS-SVM for red soil region of China
CN108710974B (zh) 一种基于深度置信网络的水体氨氮预测方法及装置
CN110689179A (zh) 基于时空序列混合模型的水华预测方法
CN111210128B (zh) 一种基于人工智能及随机自适应阈值的湿地预警方法
Chen et al. Three-dimensional short-term prediction model of dissolved oxygen content based on pso-bpann algorithm coupled with kriging interpolation
CN110109193A (zh) 一种基于drnn神经网络的茄子温室温度智能化检测装置
CN108960530A (zh) 基于长短时记忆网络的大田植被覆盖率指标的预测方法
Yue et al. Prediction of maize growth stages based on deep learning
CN116029435B (zh) 一种生猪设施养殖环境舒适度预警系统
Mishra et al. Wet and dry spell analysis of Global Climate Model-generated precipitation using power laws and wavelet transforms
CN113159439A (zh) 一种作物产量的预测方法、系统、存储介质和电子设备
CN114298134A (zh) 风电功率预测方法及装置、电子设备
Huang et al. Extracting fuzzy if–then rules by using the information matrix technique
CN115392393A (zh) 一种温度测量仪状态检测方法
Liu et al. Soil water content forecasting by ANN and SVM hybrid architecture
Takianngam et al. Discrete Wavelet Transform and One-Class Support Vector Machines for anomaly detection in wireless sensor networks
Mohapatra et al. Statistical analysis and evaluation of feature selection techniques and implementing machine learning algorithms to predict the crop yield using accuracy metrics
Ruß et al. Estimation of neural network parameters for wheat yield prediction
Markinos et al. Introducing Fuzzy Cognitive Maps for decision making in precision agriculture
Gaucherel Self-organization of patchy landscapes: hidden optimization of ecological processes
CN115017798A (zh) 基于深度学习的土壤耕作层水分温度预测方法
CN112749807A (zh) 一种基于生成模型的量子态层析方法
Li et al. Forecast of gross output value of agriculture and forestry in Guangxi based on holt-winters model
Park et al. Generation of prescription maps for curative and preventative site-specific management of bean leaf beetles (Coleoptera: Chrysomelidae)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant