CN110622182A - 基于多时序属性元素深度特征的小麦重度病害预测方法 - Google Patents

Abstract

基于多时序属性元素深度特征的小麦重度病害预测方法，包括第一步、基础数据的获取；第二步、小麦重度病害预测模型的构建；第三步、时序信息存储网络和深度卷积神经网络的联合训练；第四步、待预测图像和待预测环境信息数据的获取；第五步、小麦重度病害的预测。该方法将单条地址的匹配效率从1min左右降低到约2.2s；匹配结果在匹配度与精确度指标上更均衡，对推动智慧城市的构建具有较高的应用价值。该方法能自动学习和获知数据序列中不同时间段小麦病害的程度，从而实现针对于小麦重度病害的预测。通过对现有因素的分析计算，预测出小麦病害的发展趋势。

Description

基于多时序属性元素深度特征的小麦重度病害预测方法

技术领域

本发明涉及农业植保预测技术领域，具体涉及基于多时序属性元素深度特征的小麦重度病害预测方法。

背景技术

当下农业大数据正在驱动农业生产向精准化、智能化转变，数据逐渐成为现代农业生产中新兴的生产要素。围绕农田环境下小麦病害大数据表示、识别与预测的模型研究仍处于起步阶段，无论在理论上还是算法上，都还不够完善。特别是，传统的小麦病害识别技术只能识别或预测出病害和非病害小麦，而对于小麦的病害程度则无法判断，而在实际应用中，重度病害的预测对于小麦病害的前期防治有着重要的作用。

现有的小麦病害预测模型研究受限于以下两个方面：影响小麦病害发生的环境信息是复杂多因素，环境信息和获取的直观图像数据具有很高的相关性；其次，没有考虑到小麦病害数据时间观测之间的依赖关系，传统的基于线性回归或神经网络方法无法建模时序预测，以至于其无法预测出重度病害。

小麦病害发生的过程要经历多个状态，对应很多的时间阶段。病害在每个时间段也呈现出不同的特征状态，重度病害是基于从无到有，从轻度、中度演变而来的，不同时间点之间又具有很高的相关性。

因此，如何研发一种能够预测出小麦重度病害的方法已经成为急需解决的技术问题。

发明内容

本发明的目的在于提供基于多时序属性元素深度特征的小麦重度病害预测方法，解决现有技术无法分析小麦病害数据时间观测之间的依赖关系，没有实现建模时序预测，以至于无法通过现有信息预测出重度病害的缺陷。

所述的基于多时序属性元素深度特征的小麦重度病害预测方法，包括以下步骤：

第一步、基础数据的获取：所述基础数据包括拍摄的图像数据集和环境信息数据；

第二步、小麦重度病害预测模型的构建：利用深度卷积神经网络以及时序信息存储网络融合小麦病害发生的环境信息、图像的语义和位置环境属性后，构造出小麦病害重度预测模型；

第三步、时序信息存储网络和深度卷积神经网络的联合训练：将多日的图像数据集作为深度卷积神经网络的训练样本，将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练；

第四步、待预测图像和待预测环境信息数据的获取；

第五步、小麦重度病害的预测：将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。

优选的，所述第二步具体包括以下步骤：

S2.1、环境信息数据和图像信息数据的时域联合学习：对小麦重度病害数据特征建模，选取影响小麦病害发生的若干种环境信息数据以及拍摄的图像信息数据进行时域联合学习；

S2.2、将多次迭代的时序信息存储网络的网络单元最终隐藏层状态h(t)作为输入传递进输出层，利用softmax函数估计重度病害的概率分布y_t，

y_t＝softmax(W*h_t+b)，

其中，W、b分别为权值、偏置项。

优选的，所述步骤S2.1具体包括以下步骤：

S2.1.1、设定时域上不变的环境属性元素，K、L、M分别表示品种、土壤类型、地形特征；

设定时域上变化的属性元素，t＝1至t＝T时刻，时域上存在变换的气象C_t、土壤墒情特征描述S_t和图像I_t；

S2.1.2、时序信息存储网络更新规则设定如下：

x₀＝T₁*A₁，

x_t＝T₂*{I,A₂}_t，t∈{1,...,T}，

其中，A₁为时域上不变的环境属性元素{K,L,M},A₂为时域上变化的属性元素{I_t,C_t,S_t}，T₁和T₂分别为时序不变属性和时序变化属性的转换矩阵，时序信息存储网络的时序不变环境属性因子特征集为(x₀,x₁,x₂,...,x_T)；

S2.1.3、对特征数据进行归一化处理，把数据维度控制在0到1之间；

S2.1.4、设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出，时序信息存储网络模型首层输入时序不变环境属性因子特征x₀，其影响结果持续传递到每一刻的预测中；

S2.1.5、时序信息存储网络模型层第n+1层的输入：

图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入，并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次；

S2.1.6、设定时序信息存储网络单元模型的前向计算。

优选的，所述步骤S2.1.6的具体包括以下步骤：

S2.1.6-1、长时存储单元c_t-1通过遗忘单元f_t去遗忘丢弃信息；

S2.1.6-2、设定遗忘单元f_t受当前时刻的外部输入x_t、上一时刻的短时存储输出h_t-1、上一时刻的长时存储c_t-1的控制，其表达式如下：

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)，

W_xf、W_hf、W_cf、b_f分别表示外部输入，短时存储和长时存储的权重和偏置；

S2.1.6-3、由当前时刻外部输入x_t和上一时刻的短时存储输出h_t-1计算出当前时刻的新信息

S2.1.6-4、由输入单元i_t控制将当前时刻的新信息写入长时存储单元，产生新的长时存储c_t，其表达式如下：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)，

其中，i_t受x_t、h_t-1、c_t-1的控制，i_t、c_t、f_t、o_t分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元；其中，σ()表示S形的激活函数，·表示组件分量乘法，W是连接不同单元的权值矩阵；

S2.1.6-5、激活长时存储单元c_t，准备输出；

S2.1.6-6、由输出单元o_t控制，将至目前积累下来的存储c_t选出部分相关的存储生成这一时刻关注的存储h_t，再把这部分存储进行输出y_t，

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t1+b_o)，

h_t＝o_t·tanh(c_t)，

其中，输出单元o_t受x_t、h_t-1和当前时刻的长时存储c_t的控制。

优选的，所述步骤三的具体包括以下步骤：

S3.1、对深度卷积神经网络进行端到端训练，使用ImageNet图像集预训练的模型进行初始化；

S3.2、时序信息存储网络的前向计算训练：

使用预训练的深度卷积神经网络对不同时间段获得的图像数据提取特征，并按顺序通过时序信息存储网络前向计算每个神经元的输出值，时序信息存储网络计算i_t、c_t、f_t、o_t、h_t五个向量的值；

S3.3、同时微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值；

时序信息存储网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向特征提取网络上层传播，根据相应的误差项，计算每个权重的梯度。

优选的，所述图像数据集包括轻度病害图像、中度病害图像和重度病害图像的图像信息，所述环境信息数据包括温度、湿度、土壤墒情参数、历史病害测报数据。

优选的，所述图像数据集包括近似病害发病、轻度病害、轻中度病害、中度病害图像和重度病害的图像信息，所述环境信息数据包括温度、湿度、土壤墒情参数、历史病害测报数据。

优选的，所述步骤S2.1.4中，时序信息存储网络模型包含一个尝试将信息储存较久的存储单元，根据时序顺序可以将所有图片和环境属性的影响按顺序依次累积存储。

本发明的优点在于：作为基于多时序属性元素深度特征的小麦重度病害预测方法，与现有技术相比从小麦病害发生的时序维度上以图像、环境等多种特征因素出发，利用时序信息存储网络以及深度特征提取网络融合小麦重度病害多时序属性元素，自动学习和获知数据序列中不同时间段小麦病害的程度，从而实现针对于小麦重度病害的预测。通过对现有因素的分析计算，预测出小麦病害的发展趋势。

本发明解决了从单一特征或数据源出发完成训练学习、缺少小麦病害发生时间上先后顺序模型分析的问题，利用时序信息存储网络单元能够应多个输入变量的问题，将其利用在病害严重度的时序预测上，充分利用了小麦病害发生的环境以及小麦图像的多时序属性信息,因此能比现有技术更好的实现对小麦病害严重度的预测。

附图说明

图1为本发明基于多时序属性元素深度特征的小麦重度病害预测方法的整体流程图。

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。

如图1所示，本发明所述的基于多时序属性元素深度特征的小麦重度病害预测方法，包括以下步骤：

第一步，基础数据的获取，获取无人机拍摄的多日图像数据集以及环境信息数据。

其中，根据实际应用现场环境的需要，通常多日图像数据集可以包括轻度病害图像、中度病害图像和重度病害图像的图像信息，又或者包括近似病害发病、轻度病害、轻中度病害、中度病害图像和重度病害图像等相关图像信息。环境信息数据包括温度、湿度、土壤墒情参数、历史病害测报数据等相关环境信息。

第二步，小麦重度病害预测模型的构建。

利用深度卷积神经网络以及时序信息存储网络融合小麦病害发生的环境、图像的语义和位置环境属性后，构造出小麦病害重度预测模型。

卷积神经网络适应性强，非常适合处理具有统计平稳性和局部关联性的数据，能够隐式地从无人机拍摄的训练图像数据中学习不同形状区域的特征，作为深度特征提取网络适用于图像特征信息的提取。时序信息存储网络在学习更高级别特征序列中的长期依赖性和时序性上有着很大的优势，所以将两者相结合能从时间和空间对重度病害建模。其具体步骤如下：

A、环境信息数据和图像信息数据的时域联合学习。

对小麦重度病害数据特征建模，对不同时期病害的图像特征信息与相应的环境信息建立关联模型。选取影响小麦病害发生的若干种环境信息数据以及无人机拍摄的图像信息数据进行时域联合学习。

小麦病害发生是时序事件，所以像素环境是不太稳定的，一方面，病害受不同的光照等因素影响；另一方面，病害受不同时期不同外观因素的限制。但是，对同一病害来说，其发生环境和发生时间上下文关系则一般较为稳定，表现为某种类型的作物在一定的时间段和一定的环境下会发生相应的病害。因此需要充分利用时间上下文和环境上下文即不同时间段的各种发生表现和感知信息来进行研究，具体来说是利用病害发生的空间信息、时间信息、气候信息等之间的关系。

其包括以下步骤：

A1、设定时域上不变的环境属性元素，K、L、M分别表示品种、土壤类型、地形特征，其均为随着时间推移上不会发生变换的属性元素。

设定时域上变化的属性元素，t＝1至t＝T时刻，时域上存在变换的气象C_t、土壤墒情特征描述S_t和图像I_t，其均为随着时间推移上会发生变换的属性元素。

A2、时序信息存储网络更新规则设定如下：

x₀＝T₁*A₁，

x_t＝T₂*{I,A₂}_t，t∈{1,...,T}，

其中，A₁为时域上不变的环境属性元素{K,L,M},A₂为时域上变化的属性元素{I_t,C_t,S_t}，T₁和T₂分别为时序不变属性和时序变化属性的转换矩阵，时序信息存储网络的时序不变环境属性因子特征集为(x₀,x₁,x₂,...,x_T)。

A3、对特征数据进行归一化处理，把数据维度控制在0到1之间。由于特征数据中几个参数的维度不同，所以需要先对数据进行归一化处理，把数据维度控制在到1之间，转化为无量纲表达式，有利于消除各维度之间的量纲影响。

A4、设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出。

在此，时序信息存储网络模型的每一层，相当于健康小麦发展成重度病害小麦的阶段性过程。即，在实际应用中，若健康小麦发展成重度病害小麦的阶段性过程分为健康(图像)、轻度病害(图像)、中度病害(图像)和重度病害(图像)阶段，则时序信息存储网络模型的层数为4层；若健康小麦发展成重度病害小麦的阶段性过程分为健康(图像)、近似病害发病(图像)、轻度病害(图像)、轻中度病害(图像)、中度病害(图像)和重度病害(图像)阶段，则时序信息存储网络模型的层数为6层，模型层数还可根据实际情况的等级划分。

在此，时序信息存储网络模型首层输入时序不变环境属性因子特征x₀，其影响结果持续传递到每一刻的预测中。这样可以使得第二层的预测受到第一层的影响、第三层的预测受到第二层的影响。同时，时序信息存储网络模型包含一个尝试将信息储存较久的存储单元，根据时序顺序可以将所有图片和环境属性的影响按顺序依次累积存储以利于最后的预测。

A5、时序信息存储网络模型层第n+1层(第2层、第3层)的输入。

图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入，并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次。

深度特征提取网络为深度卷积神经网络，以深度卷积神经网络模型为基础构建小麦病害图像的神经网络训练模型，其包含若干卷积层、若干池化层、全链接层与输出层。该神经网络的输入是拍摄的图像数据，可预先归一为相同像素大小，而输出是该图像所属的类别概率，类别为上述的健康小麦发展成重度病害小麦的各个阶段。由深度卷积神经网络可得到各时间段病害在不同区域的发展程度。

A6、设定时序信息存储网络单元模型的前向计算。

前向计算的具体步骤如下：

A61、存储单元用来存储之前的状态，时序信息存储网络单元的关键是存储单元，存储单元贯穿整个过程，上面承载着信息，通过单元结构对存储单元添加或者删除信息。遗忘单元决定存储单元c_t-1有多少信息会被遗忘，因此设定长时存储单元c_t-1通过遗忘单元f_t去遗忘丢弃信息。

A62、设定遗忘单元f_t受当前时刻的外部输入x_t、上一时刻的短时存储输出h_t-1、上一时刻的长时存储c_t-1的控制，其表达式如下：

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)，

其中，W_xf、W_hf、W_cf、b_f分别表示外部输入，短时存储和长时存储的权重和偏置，建立模型后通过训练学习得到。

A63、由当前时刻外部输入x_t和上一时刻的短时存储输出h_t-1计算出当前时刻的新信息

A64、输入单元决定有多少信息可以流入存储单元，由输入单元i_t控制将当前时刻的新信息写入长时存储单元，产生新的长时存储c_t，其表达式如下：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)，

其中，i_t受x_t、h_t-1、c_t-1的控制，i_t、c_t、f_t、o_t分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元；其中，σ()表示S形的激活函数，·表示组件分量乘法，W是连接不同单元的权值矩阵。

A65、激活长时存储单元c_t，准备输出。

A66、输出单元决定存储单元内多少信息被输出，由输出单元o_t控制，将至目前积累下来的存储c_t选出部分相关的存储生成这一时刻我们关注的存储h_t，再把这部分存储进行输出，

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t1+b_o)，

h_t＝o_t·tanh(c_t)，

其中，输出单元o_t受x_t、h_t-1和当前时刻的长时存储c_t的控制。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中，就是tanh(c_i)的作用。

B、将多次迭代的时序信息存储网络网络单元最终隐藏层状态h(t)作为输入传递进输出层，利用softmax函数估计重度病害的概率分布y_t，

y_t＝softmax(W*h_t+b)，

其中，W、b分别为权值、偏置项。

第三步，时序信息存储网络和深度卷积神经网络的联合训练。

将多日的图像数据集作为深度卷积神经网络的训练样本，将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练。

首先，利用传统方式对深度卷积神经网络进行端到端训练，使用ImageNet图像集预训练的模型进行初始化。

其次，时序信息存储网络的前向计算训练。

前向计算训练的方法步骤与步骤A6的设定时序信息存储网络单元模型的前向计算相同，使用深度卷积神经网络对不同时间段获得的图像数据提取特征，并按顺序通过时序信息存储网络前向计算每个神经元的输出值，时序信息存储网络计算i_t、c_t、f_t、o_t、h_t五个向量的值。

最后，同时微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值。

反向传播均为传统方式，时序信息存储网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向特征提取网络上层传播，根据相应的误差项，计算每个权重的梯度。

第四步，待预测图像和待预测环境信息数据的获取。在实际应用中为获得无人机在日常巡检过程中拍到的图像数据和相配套提供的环境信息数据。

第五步，小麦重度病害的预测，将待预测图像和待预测环境信息数据输入预测模型，得到小麦重度病害的预测结果。

本发明通过深度卷积神经网络对不同时间段获得的图像数据提取特征，并通过时序信息存储网络依据数据特征建模。二者联合学习建立完整的小麦重度病害预测模型。之后再利用多日的图像数据集和相应时段的环境信息数据训练样本，进行两者的联合训练。通过微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值，完成训练。之后就能依据训练后的预测模型进行小麦重度病害的预测：将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (8)

1.基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：包括以下步骤：

第一步、基础数据的获取：所述基础数据包括拍摄的图像数据集和环境信息数据；

第二步、小麦重度病害预测模型的构建：利用深度卷积神经网络以及时序信息存储网络融合小麦病害发生的环境信息、图像的语义和位置环境属性后，构造出小麦病害重度预测模型；

第三步、时序信息存储网络和深度卷积神经网络的联合训练：将多日的图像数据集作为深度卷积神经网络的训练样本，将环境信息数据作为时序信息存储网络的训练样本，进行两者的联合训练；

第四步、待预测图像和待预测环境信息数据的获取；

第五步、小麦重度病害的预测：将待预测图像和待预测环境信息数据输入模型，得到小麦重度病害的预测结果。

2.根据权利要求1所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：所述第二步具体包括以下步骤：

S2.1、环境信息数据和图像信息数据的时域联合学习：对小麦重度病害数据特征建模，选取影响小麦病害发生的若干种环境信息数据以及拍摄的图像信息数据进行时域联合学习；

S2.2、将多次迭代的时序信息存储网络的网络单元最终隐藏层状态h(t)作为输入传递进输出层，利用softmax函数估计重度病害的概率分布y_t，

y_t＝softmax(W*h_t+b)，

其中，W、b分别为权值、偏置项。

3.根据权利要求2所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：所述步骤S2.1具体包括以下步骤：

S2.1.1、设定时域上不变的环境属性元素，K、L、M分别表示品种、土壤类型、地形特征；

设定时域上变化的属性元素，t＝1至t＝T时刻，时域上存在变换的气象C_t、土壤墒情特征描述S_t和图像I_t；

S2.1.2、时序信息存储网络更新规则设定如下：

x₀＝T₁*A₁，

x_t＝T₂*{I,A₂}_t，t∈{1,...,T}，

其中，A₁为时域上不变的环境属性元素{K,L,M},A₂为时域上变化的属性元素{I_t,C_t,S_t}，T₁和T₂分别为时序不变属性和时序变化属性的转换矩阵，时序信息存储网络的时序不变环境属性因子特征集为(x₀,x₁,x₂,...,x_T)；

S2.1.3、对特征数据进行归一化处理，把数据维度控制在0到1之间；

S2.1.4、设定时序信息存储网络模型的层数划分与时间点相一致,且每一层均设有输入和输出，时序信息存储网络模型首层输入时序不变环境属性因子特征x₀，其影响结果持续传递到每一刻的预测中；

S2.1.5、时序信息存储网络模型层第n+1层的输入：

图像经过深度特征提取网络后和时序变化环境属性因子融合共同作为时序信息存储网络模型第n+1层的输入，并按照不同时序拍摄的顺序依次输入时序信息存储网络模型的层次；

S2.1.6、设定时序信息存储网络单元模型的前向计算。

4.根据权利要求3所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：所述步骤S2.1.6的具体包括以下步骤：

S2.1.6-1、长时存储单元c_t-1通过遗忘单元f_t去遗忘丢弃信息；

S2.1.6-2、设定遗忘单元f_t受当前时刻的外部输入x_t、上一时刻的短时存储输出h_t-1、上一时刻的长时存储c_t-1的控制，其表达式如下：

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)，

W_xf、W_hf、W_cf、b_f分别表示外部输入，短时存储和长时存储的权重和偏置；

S2.1.6-3、由当前时刻外部输入x_t和上一时刻的短时存储输出h_t-1计算出当前时刻的新信息

S2.1.6-4、由输入单元i_t控制将当前时刻的新信息写入长时存储单元，产生新的长时存储c_t，其表达式如下：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)，

其中，i_t受x_t、h_t-1、c_t-1的控制，i_t、c_t、f_t、o_t分别为时序信息存储网络单元上输入单元、存储单元、遗忘单元、输出单元；其中，σ()表示S形的激活函数，·表示组件分量乘法，W是连接不同单元的权值矩阵；

S2.1.6-5、激活长时存储单元c_t，准备输出；

S2.1.6-6、由输出单元o_t控制，将至目前积累下来的存储c_t选出部分相关的存储生成这一时刻关注的存储h_t，再把这部分存储进行输出y_t，

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t1+b_o)，

h_t＝o_t·tanh(c_t)，

其中，输出单元o_t受x_t、h_t-1和当前时刻的长时存储c_t的控制。

5.根据权利要求4所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：所述步骤三的具体包括以下步骤：

S3.1、对深度卷积神经网络进行端到端训练，使用ImageNet图像集预训练的模型进行初始化；

S3.2、时序信息存储网络的前向计算训练：

使用预训练的深度卷积神经网络对不同时间段获得的图像数据提取特征，并按顺序通过时序信息存储网络前向计算每个神经元的输出值，时序信息存储网络计算i_t、c_t、f_t、o_t、h_t五个向量的值；

S3.3、同时微调深度卷积神经网络和时序信息存储网络的所有参数，反向计算每个神经元的误差项δ值；

时序信息存储网络误差项的反向传播包括两个方向：一个是沿时间的反向传播，从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向特征提取网络上层传播，根据相应的误差项，计算每个权重的梯度。

6.根据权利要求1所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：所述图像数据集包括轻度病害图像、中度病害图像和重度病害图像的图像信息，所述环境信息数据包括温度、湿度、土壤墒情参数、历史病害测报数据。

7.根据权利要求1所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：所述图像数据集包括近似病害发病、轻度病害、轻中度病害、中度病害图像和重度病害的图像信息，所述环境信息数据包括温度、湿度、土壤墒情参数、历史病害测报数据。

8.根据权利要求3所述的基于多时序属性元素深度特征的小麦重度病害预测方法，其特征在于：所述步骤S2.1.4中，时序信息存储网络模型包含一个尝试将信息储存较久的存储单元，根据时序顺序可以将所有图片和环境属性的影响按顺序依次累积存储。