CN112115984A - 基于深度学习的茶园异常数据校正方法、系统和存储介质 - Google Patents

基于深度学习的茶园异常数据校正方法、系统和存储介质 Download PDF

Info

Publication number
CN112115984A
CN112115984A CN202010887051.6A CN202010887051A CN112115984A CN 112115984 A CN112115984 A CN 112115984A CN 202010887051 A CN202010887051 A CN 202010887051A CN 112115984 A CN112115984 A CN 112115984A
Authority
CN
China
Prior art keywords
data
tea garden
model
lstm
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010887051.6A
Other languages
English (en)
Inventor
张武
冯金磊
万盛民
苗犇犇
王瑞卿
汪涛
江朝晖
饶元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202010887051.6A priority Critical patent/CN112115984A/zh
Publication of CN112115984A publication Critical patent/CN112115984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习的茶园异常数据校正方法、系统和存储介质，该校正方法包括：采集目标茶园的环境数据并对此预处理，将预处理后的目标茶园的环境数据作为输入数据输入到卷积神经网络‑支持向量机CNN‑SVM中，对数据进行异常检测，同时还输入到长短期记忆神经网络LSTM中，对环境数据进行预测；当CNN‑SVM模型检测数据为异常数据时，提取出由CNN‑SVM模型检测出异常数据的时间特征，并在LSTM模型预测的数据中选取具有相同时间特征的数据进行校正，然后输出到茶园数据集中。本发明不仅能够校正异常数据，还能根据异常数据判断传感器故障具体地点，具有较高的校正准确率、特异度和泛化能力。

Description

基于深度学习的茶园异常数据校正方法、系统和存储介质
技术领域
本发明涉及一种基于深度学习的茶园异常数据校正方法，属于茶园物联网数据识别领域。
背景技术
物联网技术的应用使得农业生产领域产生和积累了大量的数据，为农业智能管理和决策提供了丰富的数据来源。
然而，由于受复杂的农业生产环境和农业成产成本等因素的影响，数据中也含有大量的异常数据，影响了数据的可用性。
因此，异常数据的校正是农业数据处理过程中首先要解决的问题。但目前大部分研究人员是对异常数据检测进行研究，还没有成熟的技术方法对茶园环境数据进行异常数据校正。
异常数据的校正一方面可以提高数据的质量，另一方面能够提升异常数据源的识别，可以发现物联网系统中存在的问题并进行处理。
以往的传感器异常数据侧重于异常数据检测问题，很少考虑到传感器异常数据的校正问题。
发明内容
本发明的目的在于提供一种基于深度学习的茶园异常数据校正方法、系统和计算机可读存储介质，以实现茶园物联网传感器异常数据的检测并能对异常数据进行校正。
为此，本发明一方面提供了一种基于深度学习的茶园异常数据校正方法，包括：采集步骤：采集目标茶园的环境数据并对此预处理；异常数据检测步骤：将预处理后的目标茶园的环境数据作为输入数据，输入到卷积神经网络-支持向量机CNN-SVM中，对数据进行异常检测，输出检测到的异常数据；数据预测步骤：将预处理后的目标茶园的环境数据作为输入数据，输入到长短期记忆神经网络LSTM中，对环境数据进行预测，输出预测的茶园数据；输出步骤：当CNN-SVM模型检测数据为正常数据时，则输出到茶园数据集中；当CNN-SVM模型检测数据为异常数据时，提取出由CNN-SVM模型检测出异常数据的时间特征，并在LSTM模型预测的数据中选取具有相同时间特征的数据进行校正，然后再输出到茶园数据集中。
根据本发明的另一方面，提供了一种基于深度学习的茶园异常数据校正系统，一种基于深度学习的茶园异常数据校正系统，包括：采集单元，用于采集目标茶园的环境数据并对此预处理；异常数据检测单元，用于将预处理后的目标茶园的环境数据作为输入数据，输入到卷积神经网络-支持向量机CNN-SVM中，对异常数据进行检测，输出检测到的异常数据；数据预测单元，用于将预处理后的目标茶园的环境数据作为输入数据，输入到长短期记忆神经网络LSTM中，对环境数据进行预测，输出预测的茶园数据；输出单元，用于当CNN-SVM模型检测数据为正常数据时，则输出到茶园数据集中；当CNN-SVM模型检测数据为异常数据时，提取出由CNN-SVM模型检测出异常数据的时间特征，并在LSTM模型预测的数据中选取具有相同时间特征的数据进行校正，然后再输出到茶园数据集中。
本发明还提供了一种计算机可读存储介质，存储有茶园异常数据校正程序，所述程序在被执行时实现根据本发明的基于深度学习的茶园异常数据校正方法的步骤。
本发明利用深度学习算法，融合了卷积神经网络、支持向量机和长短期记忆网络，实现茶园环境异常数据的校正。与传统方法相比，卷积神经网络能精确地提取茶园环境数据特征，与支持向量机的结合能够有效的对茶园环境数据进行分类，克服了数据缺失、采集不稳定、自然灾害等外部影响，LSTM网络提取了时间特征，能够加强后面的时间节点对前面时间节点的感知力，能充分利用采集的环境数据，提高了准确率、特异度，对环境数据进行准确预测，两者所融合的模型能够实现异常数据的准确校正，并且具有较高的鲁棒性。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明中茶园异常数据校正方法流程图。
图2是本发明中茶园异常数据校正模型结构示意图。
图3是本发明中茶园异常数据校正模型测试集准确率变化图。
图4是本发明中茶园异常数据校正模型测试集Loss变化图。
图5是本发明中茶园异常数据校正模型输出图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。
本发明既能检测异常数据又能进一步对异常数据进行校正，使用卷积神经网络和支持向量机结合的算法对环境数据先进行异常数据检测，再提取出异常数据的时间节点，然后运用长短时记忆网络对环境数据进行预测，用预测数据与异常数据相同节点的预测值对异常数据进行校正，建立泛化能力强、预报准确率高的茶园数据校正模型。
本发明的基于深度学习的茶园异常数据校正方法，包括以下步骤：
1、茶园环境数据采集：每10分钟对目标茶园的环境数据进行一次实时采集记录，共采集近一年的数据量，预计6×24×350＝50400条数据记录。
2、数据预处理：在训练模型前，需要对所采集茶园数据做标准化处理，将不同量级数据统一转化为同一量级，保证不同范围的输入数据有着相同的作用，标准化处理采用Z-score标准化方法，公式如下：
x*＝(x-μ)/σ
其中x为原始数据，μ为所有样本数据的均值，σ为所有样本数据的标准差，x*为标准化后数据。
将标准化处理后的茶园数据做时间切片，使用滑动窗口模型实现对时序数据的处理，实现在线式检测，经过试验验证(表1)，滑动窗口模型大小定为9。最后将初始数据按照7:3进行划分训练集和测试集，并分别在训练集和测试集中加入10％的异常数据，用于之后模型的训练和测试。
表1 确定滑动窗口尺寸
滑动窗口尺寸 训练100次正确率 训练500次平均正确率
Q＝7 89.350％ 96.002％
Q＝8 89.450％ 95.996％
Q＝9 89.470％ 96.101％
Q＝10 89.330％ 95.990％
Q＝11 89.310％ 95.938％
3、设计CNN-SVM网络模型架构：本实施例中使用TensorFlow2.0框架来实现深度学习的快速原型。
本实施例中选用CNN-SVM网络架构对茶园数据进行检测，CNN-SVM模型构成如图2所示，CNN-SVM神经网络架构包括四层卷积层、两层池化层、一层Dropout层、两层全连接层和一层SVM层。
将预处理后的训练集依次经过两层卷积层、池化层、两层卷积层、池化层、一层Dropout层和两层全连接层进行有效特征提取，修正CNN-SVM模型参数，提高模型精度，最后将有效特征输入到SVM层进行多分类；Dropout层为了防止训练出来的模型过拟合，它在模型训练过程中更新参数时暂时随机断开指定数量的神经元，Dense层是全连接层，其运算为OD＝f(sn⊙WD+bD)，其中f为激活函数，WD为权重矩阵，bD为偏置值。
使用卷积神经网络模型的具体参数为：
第一层为卷积层，一维卷积核个数为64，滤波核大小为4的向量，padding为same，激活函数为Relu函数。
第二层为卷积层，一维卷积核个数为64，滤波核大小为4的向量，padding为same，激活函数为Relu函数。
第三层为池化层，池化方式选择为最大池化，pool_size为2。
第四层为卷积层，一维卷积核个数为32，滤波核大小为2的向量，padding为same，激活函数为Relu函数。
第五层为卷积层，一维卷积核个数为32，滤波核大小为2的向量，padding为same，激活函数为Relu函数。
第六层为池化层，池化方式选择为最大池化，pool_size为2。
第七层为展平层。
第八层为AlphaDropout层，丢弃率为0.5。
第九层为全连接层，神经元个数为128，激活函数为Relu函数。
第十层为全连接层，神经元个数为64，激活函数为Relu函数。
最后一层为SVM层，SVM层中核函数采用径向基核函数(RBF)，惩罚系数C＝5.32，scoring为roc_auc，decision_function_shape为ovo，gamma为0.1。表2为随迭代次数的增加CNN-SVM模型的准确率(Accuracy)，微精度(Micro-Precision)，微召回率(Micro-Recall)，微特异度(Micro-Specificity)和Micro-F1的变化情况。
表2 CNN-SVM模型性能评价
Figure BDA0002655892930000041
Figure BDA0002655892930000051
4、设计LSTM网络模型架构：LSTM模型对茶园环境数据进行预测，LSTM模型构成如图2所示，包括三层LSTM层、一层Dropout层和一层Dense层；将经过预处理后训练集输入通过3个LSTM层。
第一层LSTM单元有128个节点，第二层LSTM单元有64个节点，第三层LSTM单元有32个节点，激活函数采用Relu函数，LSTM层使用LSTM函数对输入数据进行计算；再将计算后的数据输入到Dropout层，其中Dropout层是为了防止训练出的模型过拟合，它在模型训练过程中更新参数时暂时随机断开指定数量的神经元。
LSTM单元内部的计算过程为：设当前时刻n，cell的值为
Figure BDA0002655892930000052
计算公式为：
Figure BDA0002655892930000053
其中xn为n时刻的输入数据，sn-1为n-1时刻隐藏层的输出值，Uc、ba分别为对应的权值和偏置。
输入门决定了多少新数据加入cell状态中来：in＝σ(Uixn+Wisn-1+Vicn-1+bi)，Ui、Wi、Vi分别为对应的权值，bi为偏置。
遗忘门决定了丢弃哪些信息：fn＝σ(Ufxn+Wfsn-1+Vfcn-1+bf)，其中Uf、Wf、Vf分别为对应的权值，bf为偏置量；当前时刻n，cell的状态值为：
Figure BDA0002655892930000054
输出门决定输出哪些信息：on＝σ(Uoxn+Wosn-1+Vocn-1+bO)，Uo、Wo、Vo分别为对应的权值，bo为偏置量；LSTM单元的输出为：sn＝ontanh⊙(cn)，⊙为逐点相乘。
使用长短时记忆网络的具体参数为：
第一层为LSTM层，Units为128，return_sequences为true；
第二层为LSTM层，Units为64，return_sequences为true，激活函数为relu函数；
第三层为LSTM层，Units为32，return_sequences为true，激活函数为relu函数；
第四层为Dropout层，丢弃率为0.5；
第五层为Dense层，Dense层的神经元个数为8。
表3为随迭代次数的增加LSTM模型的平均绝对误差(MAE)、均方根误差(RMSE)和R平方值(R2)的变化情况。
表3 LSTM模型性能评价
Figure BDA0002655892930000061
5、网络训练(调参和优化)：先将隐藏状态初始化为0，将当前minibatch的隐藏状态作为接下来隐藏状态的初始值，每个minibatch的大小为12。本发明中CNN-SVM模型和LSTM模型的epochs为1000，学习率为0.01(learningrate，lr)，每训练200epochs后lr衰减100倍。
在训练的过程中，依据交叉熵(CrossEntropy Loss)计算误差向量，根据反向传播算法更新模型的权重。再将测试集中的茶园环境数据输入至训练好的模型结构中，通过依据原始数据检测和预测的某时刻茶园数据与期望值之间的差距，对模型的网络参数进行调整。
6、异常数据校正：最终将训练、测试后的CNN-SVM模型和LSTM模型作为茶园异常数据校正模型。将预处理后的目标茶园的环境数据作为输入数据，通过CNN对输入数据进行学习，最终当CNN-SVM模型检测数据为正常数据时，则输出到茶园数据集中；当CNN-SVM模型检测时序数据时连续异常数据小于3个，先保留数据，并提取出异常数据的时间点A，再使用LSTM模型预测到的A时间的数据校正异常数据并输入到茶园数据集中；当连续异常数据大于等于3个时，则根据异常数据判断故障地点并输出；经验证茶园异常数据校正模型的准确率约95.91％，如图3所示；茶园异常数据校正模型的损失值约为0.1941，如图4所示；茶园异常数据校正模型的输出，如图5所示。
本发明所采用的方法充分利用了茶园采集的历史数据，运用CNN-SVM模型和LSTM模型，识别茶园环境异常数据特征，并进行分类，基于历史数据和LSTM算法，对茶园数据进行检测和预测，提升了对茶园环境数据校正的精度和效率。该方法具有较强的鲁棒性。
本发明还提供了一种基于深度学习的茶园异常数据校正系统，包括采集单元、异常数据检测单元、数据预测单元、以及输出单元。
采集单元用于采集目标茶园的环境数据并对此预处理。
异常数据检测单元用于将预处理后的目标茶园的环境数据作为输入数据，输入到卷积神经网络-支持向量机CNN-SVM中，对异常数据进行检测。
数据预测单元用于将预处理后的目标茶园的环境数据作为输入数据，输入到长短期记忆神经网络LSTM中，对环境数据进行预测。
输出单元用于当CNN-SVM模型检测数据为正常数据时，则输出到茶园数据集中；当CNN-SVM模型检测数据为异常数据时，提取出由CNN-SVM模型检测出异常数据的时间特征，并在LSTM模型预测的数据中选取具有相同时间特征的数据进行校正，然后再输出到茶园数据集中。
在本发明的其他实施例中，将目标茶园的环境数据校正替换为预定目标的物联网传感器数据校正，并对此进行异常数据校正。该预定目标例如田地的物联网传感器数据校正、果园的物联网传感器数据校正、山林的物联网传感器数据校正、鱼塘的物联网传感器数据校正等。
本茶园异常数据校正系统可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接。
本茶园异常数据校正程序为软件，可存储在计算机可读存储介质中，例如包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的茶园异常数据校正方法，其特征在于，包括：
采集步骤：采集目标茶园的环境数据并对此预处理；
异常数据检测步骤：将预处理后的目标茶园的环境数据作为输入数据，输入到卷积神经网络-支持向量机CNN-SVM中，对数据进行异常检测，输出检测到的异常数据；
数据预测步骤：将预处理后的目标茶园的环境数据作为输入数据，输入到长短期记忆神经网络LSTM中，对环境数据进行预测，输出预测出下一时间段的茶园数据；
输出步骤：当CNN-SVM模型检测数据为正常数据时，则输出到茶园数据集中；当CNN-SVM模型检测数据为异常数据时，提取出由CNN-SVM模型检测出异常数据的时间特征，并在LSTM模型预测的数据中选取具有相同时间特征的数据进行校正，然后再输出到茶园数据集中。
2.根据权利要求1所述的基于深度学习的茶园异常数据校正方法，其特征在于，包括：当CNN-SVM模型连续检测到异常数据到达设定次数时，则进行报错，并且在模型内对异常数据进行分析，输出对应的故障传感器的具体位置。
3.根据权利要求1所述的基于深度学习的茶园异常数据校正方法，其特征在于，所述卷积神经网络-支持向量机CNN-SVM和长短期记忆神经网络LSTM的构建方法如下：
步骤1：收集茶园预订时间范围内的环境数据，作为原始数据M；
步骤2：对收集到的数据进行预处理，构造待训练模型的训练集M1和测试集M2；
步骤3：将训练集M1输入卷积神经网络-支持向量机CNN-SVM进行训练并保存模型参数，然后利用测试集M2对CNN-SVM模型的模型参数进行调优，获得异常数据检测模型；以及
步骤4：将训练集M1输入长短期记忆神经网络LSTM中进行训练并保存模型参数，然后利用测试集M2对LSTM模型的模型参数进行调优，得到茶园数据预测模型。
4.根据权利要求3所述的基于深度学习的茶园异常数据校正方法，其特征在于，在步骤1中，在传感器采集茶园环境数据时，得到原始数据的特征具体如下：空气湿度、空气温度、测试点下20cm、40cm和60cm的土壤温度和土壤湿度共8个数据特征，并且每条时间点数据包含对应的类别标签。
5.根据权利要求3所述的基深度学习的茶园异常数据校正方法，其特征在于，在步骤2中，在预处理样本数据时，并划分训练集M1和测试集M2时具体操作如下：
(2.1)对所补充后的茶园数据做标准化处理，将不同量级数据统一转化为同一量级，归一化处理采用Z-score标准化方法；
(2.2)归一化处理后的茶园数据做时间切片；使用滑动窗口模型实现对时序数据的处理，使其实现在线式检测；
(2.3)对输入进CNN-SVM模型中的数据提升维度：(n,8)→(n,8,1)；
(2.4)将原始数据进行7:3的比例划分训练集M1和测试集M2，分别在训练集M1和测试集M2中随机加入10％的异常数据。
6.根据权利要求3所述的基于深度学习的茶园异常数据校正方法，其特征在于，在步骤3中，输入训练集M1训练CNN-SVM模型，并保存模型参数，具体步骤如下：
(3.1)将预处理后的训练集先输入到CNN模型中进行有效特征提取；采用Relu函数作为激活函数，使用四层卷积层，前两层卷积层的卷积核个数为64个，长度为4的向量，后两层卷积层卷积核个数为32个，长度为2的向量；使用两层池化层，每两层卷积层后接一个池化层，实现对数据的特征提取，池化层为长度为2的向量，采用最大值池化方法，利用全连接层对数据特征进行处理；
(3.2)提取特征后的数据输入到SVM模型，SVM模型的多分类方法采用一对一法，共有8类样本，每两类样本训练一个子分类器，共构造28个子分类器，在预测M1个特征数据所属类别时每个子分类器都对其进行判别并为相应类别投得一票，最后决策阶段以获得票数最多的类别作为被识别样本的类别，其中SVM层核函数采用高斯径向基(RBF)函数；
(3.3)利用训练集M1对CNN-SVM模型迭代1000次，保存表现最好的模型精度所对应的参数。
7.根据权利要求3所述的基于深度学习的茶园异常数据校正方法，其特征在于，在步骤4中，输入训练集M1训练LSTM模型，并保存模型参数，具体操作如下所示：
(4.1)将预处理后训练集M1输入到由三层LSTM网络、一层Dropout和一层全连接层构成的LSTM模型进行训练；三层LSTM网络中，第一层LSTM单元有128个节点，第二层LSTM单元有64个节点，第三层LSTM单元有32个节点，激活函数采用Relu函数，LSTM层使用LSTM函数对输入数据进行计算；再将计算后的数据输入到Dropout层，其中Dropout层用于在模型训练过程中更新参数时暂时随机断开指定数量的神经元；
(4.2)LSTM单元内部的计算过程为：
当前时刻n，cell的值为
Figure FDA0002655892920000031
计算公式为：
Figure FDA0002655892920000032
其中xn为n时刻的输入数据，sn-1为n-1时刻隐藏层的输出值，Wc、Uc、ba分别为对应的权值和偏置；输入门决定了多少新数据加入cell状态中来：in＝σ(Uixn+Wisn-1+Vicn-1+bi)，Ui、Wi、Vi分别为对应的权值，bi为偏置；遗忘门决定了丢弃哪些信息：fn＝σ(Ufxn+Wfsn-1+Vfcn-1+bf)，其中Uf、Wf、Vf分别为对应的权值，bf为偏置量；当前时刻n，cell的状态值为：
Figure FDA0002655892920000033
Figure FDA0002655892920000034
输出门决定输出哪些信息：on＝σ(Uoxn+Wosn-1+Vocn-1+bo)，Uo、Wo、Vo分别为对应的权值，bo为偏置量；LSTM单元的输出为：sn＝ontanh⊙(cn)，⊙为逐点相乘；
(4.3)利用训练集M1对LSTM模型迭代1000次，保存表现最好的模型精度所对应的参数。
8.根据权利要求1所述的基于深度学习的茶园异常数据校正方法，其特征在于，将目标茶园的环境数据替换为预定目标的物联网传感器数据，并对此进行异常数据校正。
9.一种基于深度学习的茶园异常数据校正系统，其特征在于，包括：
采集单元，用于采集目标茶园的环境数据并对此预处理；
异常数据检测单元，用于将预处理后的目标茶园的环境数据作为输入数据，输入到卷积神经网络-支持向量机CNN-SVM中，对异常数据进行检测，输出检测到的异常数据；
数据预测单元，用于将预处理后的目标茶园的环境数据作为输入数据，输入到长短期记忆神经网络LSTM中，对环境数据进行预测，输出预测的茶园数据；
输出单元，用于当CNN-SVM模型检测数据为正常数据时，则输出到茶园数据集中；当CNN-SVM模型检测数据为异常数据时，提取出由CNN-SVM模型检测出异常数据的时间特征，并在LSTM模型预测的数据中选取具有相同时间特征的数据进行校正，然后再输出到茶园数据集中。
10.一种计算机可读存储介质，其特征在于，存储有茶园异常数据校正程序，所述程序在被执行时实现根据权利要求1至8中任一项所述的基于深度学习的茶园异常数据校正方法的步骤。
CN202010887051.6A 2020-08-28 2020-08-28 基于深度学习的茶园异常数据校正方法、系统和存储介质 Pending CN112115984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010887051.6A CN112115984A (zh) 2020-08-28 2020-08-28 基于深度学习的茶园异常数据校正方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010887051.6A CN112115984A (zh) 2020-08-28 2020-08-28 基于深度学习的茶园异常数据校正方法、系统和存储介质

Publications (1)

Publication Number Publication Date
CN112115984A true CN112115984A (zh) 2020-12-22

Family

ID=73805029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010887051.6A Pending CN112115984A (zh) 2020-08-28 2020-08-28 基于深度学习的茶园异常数据校正方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN112115984A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307190A (zh) * 2023-03-21 2023-06-23 信通院(江西)科技创新研究院有限公司 一种基于蓝牙mesh网络的果园环境对产量的预测方法
CN116649160A (zh) * 2023-08-01 2023-08-29 南京康之春生物科技有限公司 食用菌菌种生产监测系统及监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844239A (zh) * 2016-03-23 2016-08-10 北京邮电大学 一种基于cnn和lstm的暴恐视频检测方法
CN110084367A (zh) * 2019-04-19 2019-08-02 安徽农业大学 一种基于lstm深度学习模型的土壤墒情预测方法
CN110619049A (zh) * 2019-09-25 2019-12-27 北京工业大学 一种基于深度学习的报文异常检测方法
CN110826642A (zh) * 2019-11-15 2020-02-21 安徽农业大学 一种针对传感器数据的无监督异常检测方法
CN111008596A (zh) * 2019-12-05 2020-04-14 西安科技大学 基于特征期望子图校正分类的异常视频清洗方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844239A (zh) * 2016-03-23 2016-08-10 北京邮电大学 一种基于cnn和lstm的暴恐视频检测方法
CN110084367A (zh) * 2019-04-19 2019-08-02 安徽农业大学 一种基于lstm深度学习模型的土壤墒情预测方法
CN110619049A (zh) * 2019-09-25 2019-12-27 北京工业大学 一种基于深度学习的报文异常检测方法
CN110826642A (zh) * 2019-11-15 2020-02-21 安徽农业大学 一种针对传感器数据的无监督异常检测方法
CN111008596A (zh) * 2019-12-05 2020-04-14 西安科技大学 基于特征期望子图校正分类的异常视频清洗方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
MASAYUTI SIMONGYI 等: "Machine Learning Methods for Abnormality Detection in Hard Disk Drive Assembly Process: Bi-LSTM, Wavelet-CNN and SVM", 《2018 2ND EUROPEAN CONFERENCE ON ELECTRICAL ENGINEERING AND COMPUTER SCIENCE (EECS)》 *
刘方方: "高耗能设备能耗异常的在线预警模型研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张建国 等: "自动化技术在开关组装中的应用", 《日用电器》 *
张武 等: "监测采样间隔对土壤墒情预测模型性能的影响", 《甘肃农业大学学报》 *
沈永燕: "冰箱里的自动扭曲制冰机系统设计原理及其制冰过程精准控制研究", 《《电器》杂志社会议论文集》 *
王文 等: "基于预测模型的异常农情数据在线检测方法的研究", 《湖南农业大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307190A (zh) * 2023-03-21 2023-06-23 信通院(江西)科技创新研究院有限公司 一种基于蓝牙mesh网络的果园环境对产量的预测方法
CN116307190B (zh) * 2023-03-21 2024-03-26 信通院(江西)科技创新研究院有限公司 一种基于蓝牙mesh网络的果园环境对产量的预测方法
CN116649160A (zh) * 2023-08-01 2023-08-29 南京康之春生物科技有限公司 食用菌菌种生产监测系统及监测方法
CN116649160B (zh) * 2023-08-01 2023-10-10 南京康之春生物科技有限公司 食用菌菌种生产监测系统及监测方法

Similar Documents

Publication Publication Date Title
CN109376772B (zh) 一种基于神经网络模型的电力负荷组合预测方法
CN110097123B (zh) 一种快件物流过程状态检测多分类系统
CN116128141B (zh) 风暴潮预测方法、装置、存储介质及电子设备
CN110781595B (zh) 能源使用效率pue的预测方法、装置、终端及介质
CN112115984A (zh) 基于深度学习的茶园异常数据校正方法、系统和存储介质
CN114792156A (zh) 基于曲线特征指标聚类的光伏输出功率预测方法和系统
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN112418476A (zh) 一种超短期电力负荷预测方法
CN114638633A (zh) 异常流量检测的方法和装置、电子设备和存储介质
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
CN114065653A (zh) 电力负荷预测模型的构建方法与电力负荷预测方法
CN116451594B (zh) 覆冰预测模型的训练方法、预测方法、装置和电子设备
CN114881286A (zh) 一种基于深度学习的短时降水预测方法
CN112926645A (zh) 一种基于边缘计算的窃电检测方法
CN115660182A (zh) 基于最大期望样本加权神经网络模型的光伏出力预测方法
CN114757441A (zh) 一种负荷预测方法及相关装置
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法
CN116842330B (zh) 一种可对比历史记录的保健信息处理方法及装置
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN116245259A (zh) 基于深度特征选择的光伏发电预测方法、装置和电子设备
CN116340384A (zh) 基于规则演化的核递归最大相关熵时间序列在线预测方法
CN114723147A (zh) 基于改进的小波变换与神经网络的新能源功率预测方法
Sharifi et al. Mobile user-activity prediction utilizing LSTM recurrent neural network
CN116956197B (zh) 基于深度学习的能源设施故障预测方法、装置及电子设备
CN117592789B (zh) 基于时间序列分析的电网环境火灾风险评估方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201222

RJ01 Rejection of invention patent application after publication