CN109064460A - 基于多时序属性元素深度特征的小麦重度病害预测方法 - Google Patents
基于多时序属性元素深度特征的小麦重度病害预测方法 Download PDFInfo
- Publication number
- CN109064460A CN109064460A CN201810865344.7A CN201810865344A CN109064460A CN 109064460 A CN109064460 A CN 109064460A CN 201810865344 A CN201810865344 A CN 201810865344A CN 109064460 A CN109064460 A CN 109064460A
- Authority
- CN
- China
- Prior art keywords
- wheat
- timing information
- network
- image
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000209140 Triticum Species 0.000 title claims abstract description 68
- 235000021307 Triticum Nutrition 0.000 title claims abstract description 68
- 241000196324 Embryophyta Species 0.000 title claims abstract description 20
- 230000006806 disease prevention Effects 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 19
- 201000010099 disease Diseases 0.000 claims abstract description 75
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 75
- 238000003860 storage Methods 0.000 claims abstract description 75
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000007613 environmental effect Effects 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 12
- 239000002689 soil Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000013499 data model Methods 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Agronomy & Crop Science (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Radiology & Medical Imaging (AREA)
- Operations Research (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及基于多时序属性元素深度特征的小麦重度病害预测方法,与现有技术相比解决了无法针对小麦重度病害进行预测的缺陷。本发明包括以下步骤:基础数据的获取;小麦重度病害预测模型的构建;时序信息存储网络和深度卷积神经网络的联合训练;待预测图像和待预测环境信息数据的获取;小麦重度病害的预测。本发明从小麦病害发生的时序维度上图像、环境等多种特征因素出发,利用时序信息存储网络以及深度特征提取网络融合小麦重度病害多时序属性元素,自动学习和获知数据序列中不同时间段小麦病害的程度,从而实现针对于小麦重度病害的预测。
Description
技术领域
本发明涉及农业植保预测技术领域,具体来说是一种基于多时序属性元素深度特征的小麦重度病害预测方法。
背景技术
当下农业大数据正在驱动农业生产向精准化、智能化转变,数据逐渐成为现代农业生产中新兴的生产要素。围绕农田环境下小麦病害大数据表示、识别与预测的模型研究仍处于起步阶段,无论在理论上还是算法上,都还不够完善。特别是,传统的小麦病害识别技术只能识别或预测出病害和非病害小麦,而对于小麦的病害程度则无法判断,而在实际应用中,重度病害的预测对于小麦病害的前期防治有着重要的作用。
现有的小麦病害预测模型研究受限于以下两个方面:影响小麦病害发生的环境信息是复杂多因素,环境信息和获取的直观图像数据具有很高的相关性;其次,没有考虑到小麦病害数据时间观测之间的依赖关系,传统的基于线性回归或神经网络方法无法建模时序预测,以至于其无法预测出重度病害。
小麦病害发生的过程要经历多个状态,对应很多的时间阶段。病害在每个时间段也呈现出不同的特征状态,重度病害是基于从无到有,从轻度、中度演变而来的,不同时间点之间又具有很高的相关性。
因此,如何研发一种能够预测出小麦重度病害的方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中无法针对小麦重度病害进行预测的缺陷,提供一种基于多时序属性元素深度特征的小麦重度病害预测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于多时序属性元素深度特征的小麦重度病害预测方法,包括以下步骤:
基础数据的获取,获取无人机拍摄的多日图像数据集以及环境信息数据;
小麦重度病害预测模型的构建,利用深度卷积神经网络以及时序信息存储网络融合小麦病害不同时间发生的环境、图像的语义和位置环境属性后,构造出小麦病害重度预测模型;
时序信息存储网络和深度卷积神经网络的联合训练,将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本,进行两者的联合训练;
待预测图像和待预测环境信息数据的获取;
小麦重度病害的预测,将待预测图像和待预测环境信息数据输入模型,得到小麦重度病害的预测结果。
所述小麦重度病害预测模型的构建包括以下步骤:
环境信息数据和图像信息数据的时域联合学习,对小麦重度病害数据特征建模,选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习;
将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层,利用softmax函数估计重度病害的概率分布yt,
yt=softmax(W*ht+b),
其中,W、b为权值、偏置项。
所述时序信息存储网络和深度卷积神经网络的联合训练包括以下步骤:
对深度卷积神经网络进行端到端训练,使用ImageNet图像集预训练的模型进行初始化;
时序信息存储网络的前向计算训练,
使用预训练的深度卷积神经网络对不同时间段获得的图像数据提取特征,并按顺序通过时序信息存储网络前向计算每个神经元的输出值,时序信息存储网络计算it、ct、ft、ot、ht五个向量的值;
同时微调深度卷积神经网络和时序信息存储网络的所有参数,反向计算每个神经元的误差项δ值;
时序信息存储网络误差项的反向传播包括两个方向:一个是沿时间的反向传播,从当前t时刻开始,计算每个时刻的误差项;一个是将误差项向特征提取网络上层传播,根据相应的误差项,计算每个权重的梯度。
所述环境信息数据和图像信息数据的时域联合学习包括以下步骤:
设定时域上不变的环境属性元素,K、L、M分别表示品种、土壤类型、地形特征;
设定时域上变化的属性元素,t=1至t=T时刻,时域上存在变换的气象Ct、土壤墒情特征描述St和图像It;
时序信息存储网络更新规则设定如下:
x0=T1*A1,
xt=T2*{I,A2}t,t∈{1,...,T},
其中,A1为时域上不变的环境属性元素{K,L,M},A2为时域上变化的属性元素{It,Ct,St},T1和T2分别为时序不变属性和时序变化属性的转换矩阵,时序信息存储网络的时序不变环境属性因子特征集为(x0,x1,x2,...,xT);
对特征数据进行归一化处理,把数据维度控制在0到1之间;
设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出,时序信息存储网络模型首层输入时序不变环境属性因子特征x0,其影响结果持续传递到每一刻的预测中;
时序信息存储网络模型层第n+1层的输入,
图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入,并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次;
设定时序信息存储网络单元模型的前向计算。
所述设定时序信息存储网络单元模型的前向计算包括以下步骤:
长时存储单元ct-1通过遗忘单元ft去遗忘丢弃信息;
设定遗忘单元ft受当前时刻的外部输入xt、上一时刻的短时存储输出ht-1、上一时刻的长时存储ct-1的控制,其表达式如下:
ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf),
Wxf、Whf、Wcf、bf分别表示外部输入,短时存储和长时存储的权重和偏置,;
由当前时刻外部输入xt和上一时刻的短时存储输出ht-1计算出当前时刻的新信息
由输入单元it控制将当前时刻的新信息写入长时存储单元,产生新的长时存储ct,其表达式如下:
it=σ(Wxixt+Whiht-1+Wcict-1+bi),
其中,it受xt、ht-1、ct-1的控制,it、ct、ft、ot分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元;其中,σ()表示S形的激活函数,·表示组件分量乘法,W是连接不同单元的权值矩阵;
激活长时存储单元ct,准备输出;
由输出单元ot把控,将至目前积累下来的存储ct选出部分相关的存储生成这一时刻关注的存储ht,再把这部分存储进行输出yt,
ot=σ(Wxoxt+Whoht-1+Wcoct1+bo),
ht=ot·tanh(ct),
其中,输出单元ot受xt、ht-1和当前时刻的长时存储ct的控制。
有益效果
本发明的基于多时序属性元素深度特征的小麦重度病害预测方法,与现有技术相比从小麦病害发生的时序维度上图像、环境等多种特征因素出发,利用时序信息存储网络以及深度特征提取网络融合小麦重度病害多时序属性元素,自动学习和获知数据序列中不同时间段小麦病害的程度,从而实现针对于小麦重度病害的预测。
本发明解决了从单一特征或数据源出发完成训练学习、缺少小麦病害发生时间上先后顺序模型分析的问题,利用时序信息存储网络单元能够应多个输入变量的问题,将其利用在病害严重度的时序预测上,充分利用了小麦病害发生的环境以及小麦图像的多时序属性信息。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的基于多时序属性元素深度特征的小麦重度病害预测方法,包括以下步骤:
第一步,基础数据的获取,获取无人机拍摄的多日图像数据集以及环境信息数据。其中,根据实际应用现场环境的需要,通常多日图像数据集可以包括轻度病害图像、中度病害图像和重度病害图像或近似病害发病、轻度病害、轻中度病害、中度病害图像和重度病害图像等相关图像信息。环境信息数据包括温度、湿度、土壤墒情参数、历史病害测报数据库等相关环境信息。
第二步,小麦重度病害预测模型的构建。利用深度卷积神经网络以及时序信息存储网络融合小麦病害发生的环境、图像的语义和位置环境属性后,构造出小麦病害重度预测模型。卷积神经网络适应性强,非常适合处理具有统计平稳性和局部关联性的数据,隐式地从无人机拍摄的训练图像数据中学习不同形状区域的特征,时序信息存储网络在学习更高级别特征序列中的长期依赖性和时序性上有着很大的优势,所以将两者相结合从时间和空间对重度病害建模。其具体步骤如下:
(1)环境信息数据和图像信息数据的时域联合学习。
对小麦重度病害数据特征建模,选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习。
小麦病害发生是时序事件,所以像素环境是不太稳定的,一方面,病害受不同的光照等因素影响;另一方面,病害受不同时期不同外观因素的限制。但是,对同一病害来说,其发生环境和发生时间上下文关系则一般较为稳定,表现为某种类型的作物在一定的时间段和一定的环境下会发生相应的病害。因此需要充分利用时间上下文和环境上下文即不同时间段的各种发生表现和感知信息来进行研究,具体来说是利用病害发生的空间信息、时间信息、气候信息等之间的关系。
其包括以下步骤:
A1、设定时域上不变的环境属性元素,K、L、M分别表示品种、土壤类型、地形特征,其均为随着时间推移上不会发生变换的属性元素。
设定时域上变化的属性元素,t=1至t=T时刻,时域上存在变换的气象Ct、土壤墒情特征描述St和图像It,其均为随着时间推移上会发生变换的属性元素。
A2、时序信息存储网络更新规则设定如下:
x0=T1*A1,
xt=T2*{I,A2}t,t∈{1,...,T},
其中,A1为时域上不变的环境属性元素{K,L,M},A2为时域上变化的属性元素{It,Ct,St},T1和T2分别为时序不变属性和时序变化属性的转换矩阵,时序信息存储网络的时序不变环境属性因子特征集为(x0,x1,x2,...,xT)。
A3、对特征数据进行归一化处理,把数据维度控制在0到1之间。由于特征数据中几个参数的维度不同,所以需要先对数据进行归一化处理,把数据维度控制在0到1之间,转化为无量纲表达式,有利于消除各维度之间的量纲影响。
A4、设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出。在此,时序信息存储网络模型的每一层,相当于健康小麦发展成重度病害小麦的阶段性过程。即,在实际应用中,若健康小麦发展成重度病害小麦的阶段性过程分为健康(图像)、轻度病害(图像)、中度病害(图像)和重度病害(图像)阶段,则时序信息存储网络模型的层数为4层;若健康小麦发展成重度病害小麦的阶段性过程分为健康(图像)、近似病害发病(图像)、轻度病害(图像)、轻中度病害(图像)、中度病害(图像)和重度病害(图像)阶段,则时序信息存储网络模型的层数为6层,模型层数还可根据实际情况的等级划分。
在此,时序信息存储网络模型首层输入时序不变环境属性因子特征x0,其影响结果持续传递到每一刻的预测中,这样可以使得第二层的预测受到第一层的影响、第三层的预测受到第二层的影响。同时,时序信息存储网络模型包含一个尝试将信息储存较久的存储单元,根据时序顺序可以将所有图片和环境属性的影响按顺序依次累积存储有利于最后的预测。
A5、时序信息存储网络模型层第n+1层(第2层、第3层)的输入,
图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入,并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次。
A6、设定时序信息存储网络单元模型的前向计算。
其具体步骤如下:
A61、存储单元用来存储之前的状态,时序信息存储网络单元的关键是存储单元,存储单元贯穿整个过程,上面承载着信息,通过单元结构对存储单元添加或者删除信息。遗忘单元决定存储单元ct-1有多少信息会被遗忘,设定遗忘单元ft受当前时刻的外部输入xt、上一时刻的短时存储输出ht-1、上一时刻的长时存储ct-1的控制,其表达式如下:
ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf),
其中,Wxf、Whf、Wcf、bf分别表示外部输入,短时存储和长时存储的权重和偏置,通过训练学习得到。
A62、由当前时刻外部输入xt和上一时刻的短时存储输出ht-1计算出当前时刻的新信息
A63、输入单元决定有多少信息可以流入存储单元,由输入单元it控制将当前时刻的新信息写入长时存储单元,产生新的长时存储ct,其表达式如下:
it=σ(Wxixt+Whiht-1+Wcict-1+bi),
其中,it受xt、ht-1、ct-1的控制,it、ct、ft、ot分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元;其中,σ()表示S形的激活函数,·表示组件分量乘法,W是连接不同单元的权值矩阵。
A64、输出单元决定存储单元内多少信息被输出,由输出单元ot把控,将至目前积累下来的存储ct选出部分相关的存储生成这一时刻我们关注的存储ht,再把这部分存储进行输出yt,
ot=σ(Wxoxt+Whoht-1+Wcoct1+bo),
ht=ot·tanh(ct),
其中,输出单元ot受xt、ht-1和当前时刻的长时存储ct的控制。激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中,就是tanh(ct)的作用。
(2)将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层,利用softmax函数估计重度病害的概率分布yt,
yt=softmax(W*ht+b),
其中,W、b为权值、偏置项。
第三步,时序信息存储网络和深度卷积神经网络的联合训练。
将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本,进行两者的联合训练。
首先,利用传统方式对深度卷积神经网络进行端到端训练,使用ImageNet图像集预训练的模型进行初始化。
其次,时序信息存储网络的前向计算训练。
与步骤A6的设定时序信息存储网络单元模型的前向计算相同,使用深度卷积神经网络对不同时间段获得的图像数据提取特征,并按顺序通过时序信息存储网络前向计算每个神经元的输出值,时序信息存储网络计算it、ct、ft、ot、ht五个向量的值。
最后,同时微调深度卷积神经网络和时序信息存储网络的所有参数,反向计算每个神经元的误差项δ值。反向传播均为传统方式,时序信息存储网络误差项的反向传播包括两个方向:一个是沿时间的反向传播,从当前t时刻开始,计算每个时刻的误差项;一个是将误差项向特征提取网络上层传播,根据相应的误差项,计算每个权重的梯度。
第四步,待预测图像和待预测环境信息数据的获取。在实际应用中为获得无人机在日常巡检过程中拍到的图像数据和相配套提供的环境信息数据。
第五步,小麦重度病害的预测,将待预测图像和待预测环境信息数据输入模型,得到小麦重度病害的预测结果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (5)
1.一种基于多时序属性元素深度特征的小麦重度病害预测方法,其特征在于,包括以下步骤:
11)基础数据的获取,获取无人机拍摄的多日图像数据集以及环境信息数据;
12)小麦重度病害预测模型的构建,利用深度卷积神经网络以及时序信息存储网络融合小麦病害不同时间发生的环境、图像的语义和位置环境属性后,构造出小麦病害重度预测模型;
13)时序信息存储网络和深度卷积神经网络的联合训练,将多日图像数据集作为深度卷积神经网络的训练样本、将环境信息数据作为时序信息存储网络的训练样本,进行两者的联合训练;
14)待预测图像和待预测环境信息数据的获取;
15)小麦重度病害的预测,将待预测图像和待预测环境信息数据输入模型,得到小麦重度病害的预测结果。
2.根据权利要求1所述的基于多时序属性元素深度特征的小麦重度病害预测方法,其特征在于,所述小麦重度病害预测模型的构建包括以下步骤:
21)环境信息数据和图像信息数据的时域联合学习,对小麦重度病害数据特征建模,选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习;
22)将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层,利用softmax函数估计重度病害的概率分布yt,
yt=softmax(W*ht+b),
其中,W、b为权值、偏置项。
3.根据权利要求1所述的基于多时序属性元素深度特征的小麦重度病害预测方法,其特征在于,所述时序信息存储网络和深度卷积神经网络的联合训练包括以下步骤:
31)对深度卷积神经网络进行端到端训练,使用ImageNet图像集预训练的模型进行初始化;
32)时序信息存储网络的前向计算训练,
使用预训练的深度卷积神经网络对不同时间段获得的图像数据提取特征,并按顺序通过时序信息存储网络前向计算每个神经元的输出值,时序信息存储网络计算it、ct、ft、ot、ht五个向量的值;
33)同时微调深度卷积神经网络和时序信息存储网络的所有参数,反向计算每个神经元的误差项δ值;
时序信息存储网络误差项的反向传播包括两个方向:一个是沿时间的反向传播,从当前t时刻开始,计算每个时刻的误差项;一个是将误差项向特征提取网络上层传播,根据相应的误差项,计算每个权重的梯度。
4.根据权利要求2所述的基于多时序属性元素深度特征的小麦重度病害预测方法,其特征在于,所述环境信息数据和图像信息数据的时域联合学习包括以下步骤:
41)设定时域上不变的环境属性元素,K、L、M分别表示品种、土壤类型、地形特征;
设定时域上变化的属性元素,t=1至t=T时刻,时域上存在变换的气象Ct、土壤墒情特征描述St和图像It;
42)时序信息存储网络更新规则设定如下:
x0=T1*A1,
xt=T2*{I,A2}t,t∈{1,...,T},
其中,A1为时域上不变的环境属性元素{K,L,M},A2为时域上变化的属性元素{It,Ct,St},T1和T2分别为时序不变属性和时序变化属性的转换矩阵,时序信息存储网络的时序不变环境属性因子特征集为(x0,x1,x2,...,xT);
43)对特征数据进行归一化处理,把数据维度控制在0到1之间;
44)设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出,时序信息存储网络模型首层输入时序不变环境属性因子特征x0,其影响结果持续传递到每一刻的预测中;
45)时序信息存储网络模型层第n+1层的输入,
图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入,并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次;
46)设定时序信息存储网络单元模型的前向计算。
5.根据权利要求2或4所述的基于多时序属性元素深度特征的小麦重度病害预测方法,其特征在于,所述设定时序信息存储网络单元模型的前向计算包括以下步骤:
51)长时存储单元ct-1通过遗忘单元ft去遗忘丢弃信息;
52)设定遗忘单元ft受当前时刻的外部输入xt、上一时刻的短时存储输出ht-1、上一时刻的长时存储ct-1的控制,其表达式如下:
ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf),
Wxf、Whf、Wcf、bf分别表示外部输入,短时存储和长时存储的权重和偏置,;
53)由当前时刻外部输入xt和上一时刻的短时存储输出ht-1计算出当前时刻的新信息
54)由输入单元it控制将当前时刻的新信息写入长时存储单元,产生新的长时存储ct,其表达式如下:
it=σ(Wxixt+Whiht-1+Wcict-1+bi),
其中,it受xt、ht-1、ct-1的控制,it、ct、ft、ot分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元;其中,σ()表示S形的激活函数,·表示组件分量乘法,W是连接不同单元的权值矩阵;
55)激活长时存储单元ct,准备输出;
56)由输出单元ot把控,将至目前积累下来的存储ct选出部分相关的存储生成这一时刻关注的存储ht,再把这部分存储进行输出yt,
ot=σ(Wxoxt+Whoht-1+Wcoct1+bo),
ht=ot·tanh(ct),
其中,输出单元ot受xt、ht-1和当前时刻的长时存储ct的控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810865344.7A CN109064460B (zh) | 2018-08-01 | 2018-08-01 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810865344.7A CN109064460B (zh) | 2018-08-01 | 2018-08-01 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109064460A true CN109064460A (zh) | 2018-12-21 |
CN109064460B CN109064460B (zh) | 2021-09-28 |
Family
ID=64832438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810865344.7A Active CN109064460B (zh) | 2018-08-01 | 2018-08-01 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109064460B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109817338A (zh) * | 2019-02-13 | 2019-05-28 | 北京大学第三医院(北京大学第三临床医学院) | 一种慢性病加重风险评估与告警系统 |
CN110622182A (zh) * | 2018-09-04 | 2019-12-27 | 安徽中科智能感知产业技术研究院有限责任公司 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
CN110853764A (zh) * | 2019-11-28 | 2020-02-28 | 成都中医药大学 | 一种糖尿病证候预测系统 |
CN111949704A (zh) * | 2020-07-17 | 2020-11-17 | 网络通信与安全紫金山实验室 | 一种可解释的多维时序数据分析方法 |
CN113436733A (zh) * | 2021-08-26 | 2021-09-24 | 肾泰网健康科技(南京)有限公司 | 一种基于融合经验的血透方案生成模型的特征构造方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015119646A (ja) * | 2013-12-20 | 2015-07-02 | 大日本印刷株式会社 | 病害虫発生推定装置及びプログラム |
CN105631526A (zh) * | 2014-10-31 | 2016-06-01 | 航天恒星科技有限公司 | 森林病虫害爆发风险预测的方法及装置 |
CN106682704A (zh) * | 2017-01-20 | 2017-05-17 | 中国科学院合肥物质科学研究院 | 一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法 |
CN106971160A (zh) * | 2017-03-23 | 2017-07-21 | 西京学院 | 基于深度卷积神经网络和病害图像的冬枣病害识别方法 |
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
CN107808375A (zh) * | 2017-09-28 | 2018-03-16 | 中国科学院合肥物质科学研究院 | 融合多种上下文深度学习模型的水稻病害图像检测方法 |
CN108021894A (zh) * | 2017-12-07 | 2018-05-11 | 中国科学院合肥物质科学研究院 | 一种基于深度策略学习的小麦病害检测方法 |
CN108304812A (zh) * | 2018-02-07 | 2018-07-20 | 郑州大学西亚斯国际学院 | 一种基于卷积神经网络和多视频图像的作物病害识别方法 |
CN108344564A (zh) * | 2017-12-25 | 2018-07-31 | 北京信息科技大学 | 一种基于深度学习的主轴特性试验台状态识别及预测方法 |
-
2018
- 2018-08-01 CN CN201810865344.7A patent/CN109064460B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015119646A (ja) * | 2013-12-20 | 2015-07-02 | 大日本印刷株式会社 | 病害虫発生推定装置及びプログラム |
CN105631526A (zh) * | 2014-10-31 | 2016-06-01 | 航天恒星科技有限公司 | 森林病虫害爆发风险预测的方法及装置 |
CN106682704A (zh) * | 2017-01-20 | 2017-05-17 | 中国科学院合肥物质科学研究院 | 一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法 |
CN106971160A (zh) * | 2017-03-23 | 2017-07-21 | 西京学院 | 基于深度卷积神经网络和病害图像的冬枣病害识别方法 |
CN107808375A (zh) * | 2017-09-28 | 2018-03-16 | 中国科学院合肥物质科学研究院 | 融合多种上下文深度学习模型的水稻病害图像检测方法 |
CN107703564A (zh) * | 2017-10-13 | 2018-02-16 | 中国科学院深圳先进技术研究院 | 一种降雨预测方法、系统及电子设备 |
CN108021894A (zh) * | 2017-12-07 | 2018-05-11 | 中国科学院合肥物质科学研究院 | 一种基于深度策略学习的小麦病害检测方法 |
CN108344564A (zh) * | 2017-12-25 | 2018-07-31 | 北京信息科技大学 | 一种基于深度学习的主轴特性试验台状态识别及预测方法 |
CN108304812A (zh) * | 2018-02-07 | 2018-07-20 | 郑州大学西亚斯国际学院 | 一种基于卷积神经网络和多视频图像的作物病害识别方法 |
Non-Patent Citations (4)
Title |
---|
QINGXIN XIAO等: "《Prediction of Crop Pests and Diseases in Cotton by Long Short Term Memory Network》", 《INTELLIGENT COMPUTING THEORIES AND APPLICATION》 * |
张善文 等: "《基于改进深度置信网络的大棚冬枣病虫害预测模型》", 《农业工程学报》 * |
张超凡 等: "《基于多特征字典学习的害虫图像自动分类方法》", 《计算机应用与软件》 * |
张鹏 等: "《基于自适应神经网络的苹果黑星病预测模型研究》", 《中国农机化学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110622182A (zh) * | 2018-09-04 | 2019-12-27 | 安徽中科智能感知产业技术研究院有限责任公司 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
WO2020047739A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 基于多时序属性元素深度特征的小麦重度病害预测方法 |
CN109817338A (zh) * | 2019-02-13 | 2019-05-28 | 北京大学第三医院(北京大学第三临床医学院) | 一种慢性病加重风险评估与告警系统 |
CN110853764A (zh) * | 2019-11-28 | 2020-02-28 | 成都中医药大学 | 一种糖尿病证候预测系统 |
CN110853764B (zh) * | 2019-11-28 | 2023-11-14 | 成都中医药大学 | 一种糖尿病证候预测系统 |
CN111949704A (zh) * | 2020-07-17 | 2020-11-17 | 网络通信与安全紫金山实验室 | 一种可解释的多维时序数据分析方法 |
CN113436733A (zh) * | 2021-08-26 | 2021-09-24 | 肾泰网健康科技(南京)有限公司 | 一种基于融合经验的血透方案生成模型的特征构造方法 |
CN113436733B (zh) * | 2021-08-26 | 2021-11-30 | 肾泰网健康科技(南京)有限公司 | 一种基于融合经验的血透方案生成模型的特征构造方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109064460B (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109064460A (zh) | 基于多时序属性元素深度特征的小麦重度病害预测方法 | |
Cunha et al. | A scalable machine learning system for pre-season agriculture yield forecast | |
CN110622182A (zh) | 基于多时序属性元素深度特征的小麦重度病害预测方法 | |
WO2021043193A1 (zh) | 神经网络结构的搜索方法、图像处理方法和装置 | |
CN110322009B (zh) | 基于多层卷积长短时记忆神经网络的图像预测方法 | |
EP3143563B1 (en) | Distributed model learning | |
CN109492556A (zh) | 面向小样本残差学习的合成孔径雷达目标识别方法 | |
Uysal | Streamflow forecasting using different neural network models with satellite data for a snow dominated region in Turkey | |
CN109002917A (zh) | 基于lstm神经网络的粮食总产量多维时间序列预测方法 | |
Ojugo et al. | A hybrid artificial neural network gravitational search algorithm for rainfall runoffs modeling and simulation in hydrology | |
CN107253195A (zh) | 一种运载机器人手臂操控自适应混合学习映射智能控制方法及系统 | |
Balaji et al. | Design and development of artificial neural networking (ANN) system using sigmoid activation function to predict annual rice production in Tamilnadu | |
CN113128424A (zh) | 基于注意力机制的图卷积神经网络动作识别方法 | |
CN110110794A (zh) | 基于特征函数滤波的神经网络参数更新的图像分类方法 | |
CN113505924A (zh) | 一种基于级联时空特征的信息传播预测方法及系统 | |
CN110110372A (zh) | 一种用户时序行为自动切分预测方法 | |
Mishra et al. | A Comprehensive Study on Weather Forecasting using Machine Learning | |
Sundaravalli et al. | A study & survey on rainfall prediction and production of crops using data mining techniques | |
CN116257691A (zh) | 基于潜在图结构挖掘和用户长短期兴趣融合的推荐方法 | |
Yang et al. | Prediction of grain yield based on spiking neural networks model | |
Dutta et al. | Better prediction of humidity using artificial neural network | |
Arabeyyat | Long-Term Weather Elements Prediction in Jordan using Adaptive Neuro-Fuzz Inference System (ANFIS) with GIS Techniques | |
Holt | Understanding environmental and geographical complexities through similarity matching | |
Hu et al. | Research on pest and disease recognition algorithms based on convolutional neural network | |
Anochia et al. | Meteorological data mining for climate precipitation prediction using neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |