CN110533173B - 一种基于多级注意力网络的仓储粮堆温度预测方法及装置 - Google Patents

一种基于多级注意力网络的仓储粮堆温度预测方法及装置 Download PDF

Info

Publication number
CN110533173B
CN110533173B CN201910828589.7A CN201910828589A CN110533173B CN 110533173 B CN110533173 B CN 110533173B CN 201910828589 A CN201910828589 A CN 201910828589A CN 110533173 B CN110533173 B CN 110533173B
Authority
CN
China
Prior art keywords
temperature
attention
spatial
encoder
grain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910828589.7A
Other languages
English (en)
Other versions
CN110533173A (zh
Inventor
杨卫东
李瑞洋
张元�
段珊珊
肖乐
魏蔚
李智
马海华
赵志鹏
王雄建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201910828589.7A priority Critical patent/CN110533173B/zh
Publication of CN110533173A publication Critical patent/CN110533173A/zh
Application granted granted Critical
Publication of CN110533173B publication Critical patent/CN110533173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/02—Means for indicating or recording specially adapted for thermometers
    • G01K1/022—Means for indicating or recording specially adapted for thermometers for recording
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/02—Means for indicating or recording specially adapted for thermometers
    • G01K1/028—Means for indicating or recording specially adapted for thermometers arrangements for numerical indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K13/00—Thermometers specially adapted for specific purposes
    • G01K13/10—Thermometers specially adapted for specific purposes for measuring temperature within piled or stacked materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于多级注意力网络的仓储粮堆温度预测方法及装置，本发明通过采用多级注意力网络的注意力机制构建基于LSTM的编码‑解码的预测模型，并训练得到粮堆温度预测模型，以此来预测温度传感器的温度。其中，多级注意力网络的注意力机制包括两级注意力机制，第一级为空间注意力机制，以得到不同传感器在时间序列上的空间关系；第二级为时间注意力机制，利用其对空间注意力的输出进行筛选，得到其中对预测影响较大的时间点，并由此得到上下文向量。该方法依据粮堆中温度传感器布置密集的特性，在基于LSTM的编码‑解码的预测模型中增设空间注意力机制和时间注意力机制，提高了仓储粮堆温度预测的准确性，对仓储粮温预测预警有很好的指导作用。

Description

一种基于多级注意力网络的仓储粮堆温度预测方法及装置
技术领域
本发明属于仓储粮堆温度预测技术领域，具体涉及一种基于多级注意力网络的仓储粮堆温度预测方法及装置。
背景技术
粮食是重要的农产品，我国的粮仓数量众多，单仓储粮量大，储备时间长，储粮的质量安全品质需要格外重视。其中，粮堆温度是影响其储藏品质的重要因素之一，是粮食仓储保管人员控制粮情的重要依据。影响粮堆温度变化的原因包括内因和外因两部分，内因是指因粮食自身以及微生物呼吸产生热量，而外因主要是指储粮生态系统中气温、生物群落等产生热量。
目前常用的方法是在粮堆中布设大量的温度传感器来监测粮堆的温度，再通过经验丰富的管理人员采用人工分析的方法对粮堆温度进行判断。该种方法很容易出现误判、错判的情况出现，进而使粮堆温度控制不当，导致霉变、生虫，降低粮食储藏品质。而且，该方法是在发现粮堆温度已较高的情况下才进行补救处理(例如通风处理)，此时不仅会造成粮食水分的丢失，而且粮食的霉变很可能已不可逆，补救措施已无效，这将减少粮食储备，带来损失。若能够对粮堆内的温度进行预测，将大大减少损失。
现有已有较多方法来进行仓储粮堆温度预测，例如作者为张银花、甄彤、吴建军的《基于云遗传RBF神经网络的储粮温度预测研究》根据粮堆过去的温度数据对未来一段时间内的粮堆内部温度场变化情况进行预测。该方法只基于历史数据来对未来数据进行预测，未考虑粮堆内布置传感的空间关联性，对粮堆温度预测不准。
发明内容
本发明提供了一种基于多级注意力网络的仓储粮堆温度预测方法及装置，用于解决现有的粮堆温度预测不准的问题。
为解决上述技术问题，本发明的技术方案和有益效果为：
本发明的一种基于多级注意力网络的仓储粮堆温度预测方法，包括如下步骤：
构建基于LSTM的编码-解码的预测模型，所述基于LSTM的编码-解码的预测模型包括编码器和解码器；编码器包括空间注意力模块和第一LSTM模块，所述空间注意力模块用于根据各温度传感器的历史温度值以及各温度传感器间的空间关系得到各温度传感器间的空间注意力，所述第一LSTM模块用于根据各温度传感器间的注意力和上一时刻编码器的隐藏状态对编码器的隐藏状态进行实时更新；所述解码器包括时间注意力模块、第二LSTM模块和线性变换模块，所述时间注意力模块用于根据实时更新的编码器的隐藏状态确定编码器隐藏状态的时间注意力，并根据编码器隐藏状态的时间注意力确定上下文向量，所述第二LSTM模块用于根据上下文向量和上一时刻解码器的隐藏状态对解码器的隐藏状态进行实时更新，所述线性变换模块用于根据更新后的解码器的隐藏状态和对应时刻的上下文向量对温度进行预测；利用获取的粮堆内部布设的各温度传感器的历史温度值以及各温度传感器间的空间关系训练所述基于LSTM的编码-解码的预测模型，得到粮堆温度预测模型；获取待预测温度传感器所需历史时刻的温度值和粮堆内其余温度传感器所需历史时刻的温度值，以及各温度传感器间的空间关系，输入至粮堆温度预测模型中，得到待预测温度传感器预测时刻的温度值。
其有益效果：本发明采用多级注意力网络的注意力机制对粮堆内部各个温度传感器之间的时空关系构建基于LSTM的编码-解码的预测模型，并训练得到粮堆温度预测模型，以此来预测温度传感器的温度。该多级注意力网络的注意力机制包括两级注意力机制，第一级为空间注意力机制，由编码器中的空间注意力模块实现，以得到各温度传感器间的空间注意力，即不同传感器在时间序列上的空间关系；第二级为时间注意力机制，由解码器中的时间注意力模块实现，利用其对空间注意力的输出进行筛选，得到其中对预测影响较大的时间点，并由此得到上下文向量。该方法依据粮堆中温度传感器布置密集的特性，在基于LSTM的编码-解码的预测模型中增设空间注意力机制和时间注意力机制，与实际粮堆布设情况相符，提高了仓储粮堆温度预测的准确性，对仓储粮温预测预警有很好的指导作用。
作为方法的进一步改进，所述空间注意力模块为局部空间注意力单元和/或全局空间注意力单元，所述局部空间注意力单元用于得到与目标温度传感器相近的各温度传感器和目标温度传感器间的空间注意力；所述全局空间注意力用于得到各温度传感器和目标温度传感器间的空间注意力。
作为方法的进一步改进，当空间注意力模块为局部空间注意力单元和全局空间注意力单元时，所述第一LSTM模块用于根据局部空间注意力单元的输出、全局空间注意力单元的输出和上一时刻编码器的隐藏状态对编码器的隐藏状态进行实时更新。
作为方法的进一步改进，为了统一量纲以及提高模型的运算速度，利用获取的粮堆内部布设的各温度传感器各历史时刻的温度值以及各温度传感器间的空间关系训练所述多级注意力网络模型时，还包括对获取的粮堆内部布设的各温度传感器的历史温度值进行归一化处理的步骤。
作为方法的进一步改进，为了提高模型的准确性，在对获取的各温度传感器的历史温度值进行归一化处理前，还包括检测获取的各温度传感器的历史温度值是否存在空值的步骤：若存在空值，则用存在空值相邻时刻的温度传感器的温度值替代空值。
本发明还提供了一种基于多级注意力网络的仓储粮堆温度预测装置，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现上述基于多级注意力网络的仓储粮堆温度预测方法，以达到与方法相同的效果。
附图说明
图1-1是本发明的方法实施例中的粮仓中温度传感器网络部署正视图；
图1-2是本发明的方法实施例中的粮仓中温度传感器网络部署俯视图；
图2是本发明的方法实施例中的异常温度数据示意图；
图3是本发明的方法实施例中的目标传感器一年的温度值分布图；
图4是本发明的方法实施例中的温度传感器局部结构示意图；
图5是本发明的方法实施例中的温度传感器全局结构示意图；
图6是本发明的方法实施例中的多级注意力神经网络示意图；
图7是本发明的方法实施例中的粮堆温度预测模型示意图；
图8-1是本发明的方法实施例中的未来第一天预测值与真实值比较示意图；
图8-2是本发明的方法实施例中的未来第二天预测值与真实值比较示意图；
图8-3是本发明的方法实施例中的未来第三天预测值与真实值比较示意图；
图8-4是本发明的方法实施例中的未来第四天预测值与真实值比较示意图；
图8-5是本发明的方法实施例中的未来第五天预测值与真实值比较示意图；
图8-6是本发明的方法实施例中的未来第六天预测值与真实值比较示意图；
图9是本发明的方法实施例中的过拟合示意图；
图10-1是本发明的方法实施例中的三种模型的RMSE比较示意图；
图10-2是本发明的方法实施例中的三种模型的MAE比较示意图。
具体实施方式
方法实施例：
该实施例提供了一种基于多级注意力网络的仓储粮堆温度预测方法，该方法通过多级注意力机制对粮堆内部各个温度传感器之间的时空关系进行建模，以此来预测温度传感器的温度。该多级注意力机制包括两级注意力机制，第一级为空间注意力机制，由局部空间注意力机制和全局空间注意力机制两部分组成，得到不同传感器在时间序列上的空间关系；第二级为时间注意力机制，利用其对空间注意力的输出进行筛选，得到其中对预测影响较大的时间点。然后将时间注意力的输出与解码器的输出融合，通过一个线性变换得到最终的预测结果，并用均方误差修正模型，最终实现目标温度传感器的温度预测。
按照粮食储藏高大平房仓粮情测控系统温度传感器部署标准，粮堆内部温度传感器部署如图1-1和图1-2所示。图1-1为粮仓中温度传感器网络部署正视图，图1-2为粮仓中温度传感器网络部署俯视图。图中，黑点代表温度传感器，粮面距离粮仓顶部3米，粮仓外部代表储粮生态环境因素对粮堆能产生影响的因素，简称“外界”。温度传感器网络部署规则如下：水平方向测温电缆行间距为2米，列间距为1米，垂直方向测温电缆行列间距均为1米，距粮面、仓底、仓壁的距离为0.5米。设定粮堆温度采集周期为1次/天，采集时间为上午9点。
图3为粮仓中目标传感器一年中温度值的变化分布图，其分布大致符合正态分布，说明此温度序列是有规律且可预测的。而且，除了要考虑目标传感器的时间特性外，还要考虑其空间特性。把空间特性划分为局部和全局两种结构。图4表示局部结构，中心点S0为目标传感器，S1到S26组成S0的局部特征，用Y局部＝(y1,y2,...,yn)∈R表示，式中yn表示传感器Sn的温度值。图5表示全局结构，规模为10×5×3，共有150个传感器。假设其中任意一个传感器为目标传感器，则其余的149个传感器组成目标传感器的全局特征，用Y全局＝(y1,y2,...,ym)∈R表示，式中ym表示第m个传感器的温度值。
把温度传感器采集的历史数据描述为：Y时间＝(t1,t2,...,tT)∈tT，tT表示第T天的温度值；温度传感器的空间关系描述为：Y空间＝(y1,y2,...,yM)∈RM，yM表示第M个传感器。那么该方法便可描述为：已知每个温度传感器的历史温度值，给定温度传感器间的空间关系，预测传感器m在未来β天的温度值，表示为
Figure BDA0002189912760000051
为传感器m在t时刻的预测值，
Figure BDA0002189912760000052
为传感器m在T+1时刻的预测值。
在上述温度传感器部署和问题描述下，具体介绍该方法。
步骤一，获取粮堆内部布设的各温度传感器(下简称传感器)的历史温度值，并进行预处理，同时，获取各温度传感器间的空间关系，用各个传感器与目标传感器的距离来表示，将获取的粮堆内部布设的各温度传感器的历史温度值以及各温度传感器间的空间关系作为样本。其中，预处理包括两步，分别为：代替空值和归一化。
1、代替空值：由于温度传感器故障、网络传输和系统等的缺陷，采集的数据存在错误。如图2所示，存在温度传感器在采集数据过程中没有工作的情况，此时采集到该温度点的数据为空值，记录为99。通过观察发现相邻两次采集的温度数据没有巨大差异，因此，我们使用空值相邻时刻的传感器的温度值替代空值。
2、归一化：为了统一量纲以及提高模型的运算速度，需对这些温度数据进行归一化：
Figure BDA0002189912760000053
式中，xi∈R为每个传感器测得的温度值，μ∈R为所有温度值的均值，σ∈R为所有温度值的方差。
步骤二，构建基于LSTM的编码-解码的预测模型，利用步骤一得到的样本对基于LSTM的编码-解码的预测模型进行训练，得到粮堆温度预测模型GPTP(Grain PileTemperature Forecasting)。构建的基于LSTM的编码-解码的预测模型需要使用多级注意力网络的注意力机制，下面从以下五方面具体介绍该步骤。
1、多级注意力网络
多级注意力网络的注意力机制相对于传统的深度学习模型LSTM(Long Short-Term Memory)和RNN(Recurrent Neural Network)在时间序列预测上拥有更加强大的能力。注意力机制是一种在基于LSTM的编码器-解码器的结构中使用到的机制，由于使用了编码器多步输出，而不是使用对应步的单一定长向量，并且允许解码器在时间序列的多个向量中关注它所需要的信息。因此多级注意力网络能够保留更多对时间序列预测有帮助的信息，这就是它相对于传统深度学习模型所特有的机制。如图6所示，It-N为t-N时刻的输入，经过编码器t-N得到输出Ot-N，然后通过多级注意力机制得到上下文向量Ct。正是因为多级注意力网络的这种特性，针对所研究的问题，可以利用其在预测粮堆温度时间序列的同时对它的空间关系进行建模。
如图7所示为该实施例提出的基于LSTM的编码-解码的预测模型，在训练过后为粮堆温度预测模型。该图中，局部是指局部注意力，全局为全局注意力，连接为连接层，
Figure BDA0002189912760000061
是t时刻的传感器m的真实温度值，
Figure BDA0002189912760000062
是t时刻的传感器m的预测温度值，Ct是t时刻的上下文向量，Dt为编码器的隐藏状态，h0为编码器的初始状态。
基于编码-解码架构，模型运用的多级注意力机制包含一个带有两类空间注意力机制的编码器和一个带有时间注意力机制的解码器，且使用两个LSTM实现。在编码器中，根据导入的温度时间序列与传感器网络的空间特性，使用了两种不同的注意力机制，分别为局部空间注意力机制(由局部空间注意力单元实现)和全局空间注意力机制(由全局空间注意力单元实现)，这两种注意力机制通过编码器的历史隐藏状态、传感器的历史温度值和传感器网络的空间信息获得在每个时刻上传感器间的空间关系；而且，编码器中的第一LSTM针对输入序列(历史温度时间序列)编码。在解码器中，使用了一个时间注意力机制来适应地选择其中的关键时间点，求得上下文向量Ct；而且，解码器中的第二LSTM用来预测输出的序列
Figure BDA0002189912760000063
最终通过一个线性变换求得预测温度值，并将其与未来时间温度序列做均方误差比较训练模型。
2、局部空间注意力机制
局部空间注意力机制由局部空间注意力单元实现，用于根据各温度传感器的历史温度值以及各温度传感器间的空间关系得到与目标温度传感器相近的各温度传感器和目标温度传感器间的空间注意力(即局部空间注意力单元的输出)。
对于某一温度传感器，其局部时间序列之间存在复杂的相关性。如图4所示，取S0的时间序列作为目标序列，S1到S26共n个的时间序列作为S0的局部特征序列。给定第m个传感器的第p个局部特征向量，用ym,p表示。为了求得每个局部特征序列对目标序列的影响，采用局部空间注意力机制获得目标序列与各局部特征之间的动态相关性(即局部空间关系)：
Figure BDA0002189912760000071
式中，μl、Wl1、Wl2和bl均为模型中需要学习的参数，ht-1为编码器在t-1时刻局部注意力的状态；
Figure BDA0002189912760000072
式中，采用softmax函数确保所有的注意权重和为1，
Figure BDA0002189912760000073
为每个局部特征权重的得分。时间步长为t时局部空间注意力的输出向量为：
Figure BDA0002189912760000074
3、全局空间注意力机制
全局空间助理力机制由全局空间注意力单元实现，用于根据各温度传感器的历史温度值以及各温度传感器间的空间关系得到各温度传感器和目标温度传感器间的空间注意力(即全局空间注意力单元的输出)。
对于目标序列，其他传感器的序列会对它产生影响，且影响的权重是随时间高度动态变化的。由于存在许多不相关的序列，直接使用所有时间序列作为编码器的输入来计算不同传感器之间的相关性会导致很高的计算成本并且降低模型的性能。而且，这些影响权重也受到其他传感器的局部特征的影响。例如，目标传感器温度时间序列在受局部特征影响的同时，这些局部特征时间序列也受到自身的局部特征时间序列的影响。因此使用全局空间注意力机制来计算不同传感器之间的动态相关性。假设第m个传感器为目标传感器，另一个传感器为e，计算e的注意力权重，它们之间的关系如下(即全局空间关系)：
Figure BDA0002189912760000081
式中，μg、Wg1、Wg2和bg均是模型中需要学习的参数，模型会自主地选择相关传感器进行预测，同时会受到上一时刻编码器的全局注意力状态Ht-1的影响，采用softmax函数确保所有的注意权重和为1，如下：
Figure BDA0002189912760000082
利用这些注意力权重，计算出全局空间注意的输出向量为：
Figure BDA0002189912760000083
4、时间注意力机制
编码-解码架构的性能会随着编码器长度的增加而迅速下降，因此增加了一个时间注意力机制，它能够自适应地选择编码器的相关隐藏状态来产生输出序列，建立目标序列中不同时间间隔之间的动态时间相关性模型。为了计算编码器在输出时间t′上的每个隐藏状态的注意力向量，定义：
Figure BDA0002189912760000084
Figure BDA0002189912760000085
Figure BDA0002189912760000086
式中，vd、Wd1、Wd2和bd均是模型中需要学习的参数，Ht'-1为编码器在在t'-1时刻的时间注意力的状态，ho为编码器的隐藏状态，
Figure BDA0002189912760000087
为编码器隐藏状态ho的注意标记，上下文向量Ct′为标记的加权和。
需说明的是，公式(2)、(5)、(8)中需要学习的参数，包括公式(2)中的μl、Wl1、Wl2、bl，公式(5)中的μg、Wg1、Wg2和bg，以及公式(8)中的vd、Wd1、Wd2和bd，均只是模型训练中的部分参数。空间注意力机制训练得到的参数只是为了获得各个传感器与目标传感器的空间关系，且空间注意力机制的输出是时间注意力机制的输入。
5、基于LSTM的编码-解码的预测模型和模型训练
在编码器中，将局部空间注意力和全局空间注意力的输出组成一个新的矩阵，即：
Figure BDA0002189912760000091
式中，
Figure BDA0002189912760000092
将连接
Figure BDA0002189912760000093
作为新的输入提供给编码器，并在t时刻更新隐藏状态，用
Figure BDA0002189912760000094
表示，其中f是第一LSTM模块。
在解码器中，将上下文向量Ct′与解码器最终的输出
Figure BDA0002189912760000095
融合来更新解码器隐藏状态，用
Figure BDA0002189912760000096
表示，fd是一个被应用于解码器中的第二LSTM模块。然后，将上下文向量Ct′与隐藏状态dt′连接起来，组成新的隐藏状态，根据它进行最终预测，如下所示：
Figure BDA0002189912760000097
式中，vy、Wq、bq和by均是模型需要学习的参数，矩阵Wq和向量bq对新的隐藏状态进行映射，得到解码器的隐藏状态，最后使用一个线性变换模块，根据更新后的解码器的隐藏状态和对应时刻的上下文向量，实现线性变换，以生成最终输出。
由于模型是处处可微的，因此可以通过反向传播算法对其进行训练。在训练阶段，先计算预测温度值
Figure BDA0002189912760000098
与真实温度值
Figure BDA0002189912760000099
在传感器m处的最小均方误差，然后使用Adam优化器来训练模型：
Figure BDA00021899127600000910
式中，χ是模型中需要学习的参数。
步骤三，获取待预测温度传感器所需历史时刻的温度值和粮堆内其余温度传感器所需历史时刻的温度值，以及各温度传感器间的空间关系，输入至粮堆温度预测模型中，得到待预测温度传感器预测时刻的温度值。
在该实施例中，针对空间注意力机制考虑了局部空间注意力机制和全局空间注意力机制两种机制。作为其他实施方式，可只考虑其中一种。但是，只采用其中一个机制，会相应使公式(11)变化。例如，若只采用局部空间注意力机制，公式(11)相应变化为
Figure BDA00021899127600000911
若只采用全局空间注意力机制，公式(11)相应变化为
Figure BDA00021899127600000912
而且，
Figure BDA00021899127600000913
会随着
Figure BDA00021899127600000914
的改变而改变。
下面对该方法进行实验验证。
模型验证的数据取自河南省某粮仓从2015年7月5日至2018年12月17日的粮堆实测数据。为验证模型，将数据集按照4:1:1的比例划分为非重叠训练、验证和测试数据，具体为：使用347天的数据作为训练集，2018上半年100天的数据作为验证集，2018下半年100天的数据作为测试集。
模型评估采用均方根误差(RMSE)和平均绝对误差(MAE)：
Figure BDA0002189912760000101
Figure BDA0002189912760000102
式中，yi为传感器i的真实值，
Figure BDA0002189912760000103
为传感器i的预测值。
设置τ＝6进行短期预测。在训练阶段，批量大小为547，学习率为0.001。设置时间周期T∈{6、12}。为了简化模型计算，在编码器和解码器上使用相同的隐藏维度为128。此外，使用双层LSTM网络作为编码器和解码器的单元以提高模型的性能。
在一台NVIDIA GTX 1060和英特尔CORE i7的笔记本电脑上通过TensorFlow实现模型。测试集100个样本的预测值与真实值的结果对比如图8-1至8-6所示。图8-1至8-6显示了未来六天预测值与真实值之间的对比情况，并且分别计算了每一次的RMSE和MAE。
在实验验证的过程中，出现了一种如图9所示的情况。尽管图9中的误差比图8-1的误差小，但预测结果却更加密集，这样的结果是由于过拟合所导致的。解决办法为：用增大L2正则化项和与减小随机失活(dropout)来减少过拟合，最终得到图8-1至8-6所示结果。
为了进一步研究每个模型组件的有效性，我们将模型GPTP与其变体进行如下比较：
(1)GPTP-nl：不考虑局部空间注意力，只考虑全局空间注意力和时间注意力。
(2)GPTP-ng：不考虑全局空间注意力，只考虑局部空间注意力和时间注意力。
由图10可以看出，三种模型的MAE都比RMSE要小。在不考虑局部注意力的情况下，此模型误差极大。这符合粮仓的实际情况，因为粮食自身是热的不良导体，距离越近，对目标传感器的影响越大。不考虑局部的影响就等于把主要影响因素忽略了，误差变大是显然的。模型GPTP比变体GPTP-ng的误差要小，这是因为模型GPTP共有150个温度传感器，而设定的影响局部注意力的传感器只有26个。这相对于整体来说，模型GPTP-ng的预测范围更小，在忽略了较远传感器的干扰后使误差也同时变小。
装置实施例：
该实施例提供了一种基于多级注意力网络的仓储粮堆温度预测装置，该装置包括存储器和处理器，存储器和处理器之间直接或间接地电性连接以实现数据的传输或交互。这里的处理器可以是通用处理器，例如中央处理器CPU，也可以是其他可编程逻辑器件，例如数字信号处理器DSP，处理器用于执行存储在存储器中的指令以实现方法实施例中介绍的一种基于多级注意力网络的仓储粮堆温度预测方法，由于方法实施例已对该方法做了详细说明，这里不再赘述。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种基于多级注意力网络的仓储粮堆温度预测方法，其特征在于，包括如下步骤：
构建基于LSTM的编码-解码的预测模型，所述基于LSTM的编码-解码的预测模型包括编码器和解码器：编码器包括空间注意力模块和第一LSTM模块，所述空间注意力模块用于根据各温度传感器的历史温度值以及各温度传感器间的空间关系得到各温度传感器间的空间注意力，所述第一LSTM模块用于根据各温度传感器间的注意力和上一时刻编码器的隐藏状态对编码器的隐藏状态进行实时更新；所述解码器包括时间注意力模块、第二LSTM模块和线性变换模块，所述时间注意力模块用于根据实时更新的编码器的隐藏状态确定编码器隐藏状态的时间注意力，并根据编码器隐藏状态的时间注意力确定上下文向量，所述第二LSTM模块用于根据上下文向量和上一时刻解码器的隐藏状态对解码器的隐藏状态进行实时更新，所述线性变换模块用于根据更新后的解码器的隐藏状态和对应时刻的上下文向量对温度进行预测；
利用获取的粮堆内部布设的各温度传感器的历史温度值以及各温度传感器间的空间关系训练所述基于LSTM的编码-解码的预测模型，得到粮堆温度预测模型；
获取待预测温度传感器所需历史时刻的温度值和粮堆内其余温度传感器所需历史时刻的温度值，以及各温度传感器间的空间关系，输入至粮堆温度预测模型中，得到待预测温度传感器预测时刻的温度值。
2.根据权利要求1所述的基于多级注意力网络的仓储粮堆温度预测方法，其特征在于，所述空间注意力模块为局部空间注意力单元和/或全局空间注意力单元，所述局部空间注意力单元用于得到与目标温度传感器相近的各温度传感器和目标温度传感器间的空间注意力；所述全局空间注意力用于得到各温度传感器和目标温度传感器间的空间注意力。
3.根据权利要求2所述的基于多级注意力网络的仓储粮堆温度预测方法，其特征在于，当空间注意力模块为局部空间注意力单元和全局空间注意力单元时，所述第一LSTM模块用于根据局部空间注意力单元的输出、全局空间注意力单元的输出和上一时刻编码器的隐藏状态对编码器的隐藏状态进行实时更新。
4.根据权利要求1所述的基于多级注意力网络的仓储粮堆温度预测方法，其特征在于，利用获取的粮堆内部布设的各温度传感器各历史时刻的温度值以及各温度传感器间的空间关系训练多级注意力网络模型时，还包括对获取的各温度传感器的历史温度值进行归一化处理的步骤。
5.根据权利要求4所述的基于多级注意力网络的仓储粮堆温度预测方法，其特征在于，在对获取的各温度传感器的历史温度值进行归一化处理前，还包括检测获取的各温度传感器的历史温度值是否存在空值的步骤：若存在空值，则用存在空值相邻时刻的温度传感器的温度值替代空值。
6.一种基于多级注意力网络的仓储粮堆温度预测装置，其特征在于，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现如权利要求1～5任一项所述的基于多级注意力网络的仓储粮堆温度预测方法。
CN201910828589.7A 2019-09-03 2019-09-03 一种基于多级注意力网络的仓储粮堆温度预测方法及装置 Active CN110533173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910828589.7A CN110533173B (zh) 2019-09-03 2019-09-03 一种基于多级注意力网络的仓储粮堆温度预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910828589.7A CN110533173B (zh) 2019-09-03 2019-09-03 一种基于多级注意力网络的仓储粮堆温度预测方法及装置

Publications (2)

Publication Number Publication Date
CN110533173A CN110533173A (zh) 2019-12-03
CN110533173B true CN110533173B (zh) 2022-11-04

Family

ID=68666684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910828589.7A Active CN110533173B (zh) 2019-09-03 2019-09-03 一种基于多级注意力网络的仓储粮堆温度预测方法及装置

Country Status (1)

Country Link
CN (1) CN110533173B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309896B (zh) * 2020-01-20 2023-04-07 华南理工大学 基于二级注意力的深度学习文本摘要生成方法
CN111829693B (zh) * 2020-07-30 2021-10-22 成都运达科技股份有限公司 基于时间与空间维度的lstm模型的轴承温度检测方法及系统
CN112508173A (zh) * 2020-12-02 2021-03-16 中南大学 交通时空序列多步预测方法、系统及存储介质
CN112862188A (zh) * 2021-02-06 2021-05-28 罗普特科技集团股份有限公司 一种多传感器环境预测方法及系统
CN114692941A (zh) * 2021-12-30 2022-07-01 江南大学 基于多注意力的公司财务预测方法
CN117252311B (zh) * 2023-11-16 2024-03-15 华南理工大学 一种基于改进lstm网络的轨道交通客流预测方法
CN117760593B (zh) * 2024-02-22 2024-05-10 张家港江海粮油港务有限公司 一种粮食作物仓储温度异常监测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012487A1 (ja) * 2016-07-12 2018-01-18 国立大学法人熊本大学 予測装置、パラメータ集合生産方法及びプログラム
CN108921341A (zh) * 2018-06-26 2018-11-30 国网山东省电力公司电力科学研究院 一种基于门控自编码的热电厂短期热负荷预测方法
CN109802430A (zh) * 2018-12-29 2019-05-24 上海电力学院 一种基于LSTM-Attention网络的风电电网控制方法
CN109886492A (zh) * 2019-02-26 2019-06-14 浙江鑫升新能源科技有限公司 基于Attention LSTM的光伏发电功率预测模型及其构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012487A1 (ja) * 2016-07-12 2018-01-18 国立大学法人熊本大学 予測装置、パラメータ集合生産方法及びプログラム
CN108921341A (zh) * 2018-06-26 2018-11-30 国网山东省电力公司电力科学研究院 一种基于门控自编码的热电厂短期热负荷预测方法
CN109802430A (zh) * 2018-12-29 2019-05-24 上海电力学院 一种基于LSTM-Attention网络的风电电网控制方法
CN109886492A (zh) * 2019-02-26 2019-06-14 浙江鑫升新能源科技有限公司 基于Attention LSTM的光伏发电功率预测模型及其构建方法

Also Published As

Publication number Publication date
CN110533173A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110533173B (zh) 一种基于多级注意力网络的仓储粮堆温度预测方法及装置
CN116757534B (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
Behera et al. Multiscale deep bidirectional gated recurrent neural networks based prognostic method for complex non-linear degradation systems
CN110427654B (zh) 一种基于敏感状态的滑坡预测模型构建方法及系统
CN107506868B (zh) 一种短时电力负荷预测的方法及装置
Jia et al. Research on a mine gas concentration forecasting model based on a GRU network
Li et al. Bayesian LSTM with stochastic variational inference for estimating model uncertainty in process‐based hydrological models
CN109902862A (zh) 一种融合时间注意力机制的时间序列预测系统
Ayodeji et al. Causal augmented ConvNet: A temporal memory dilated convolution model for long-sequence time series prediction
Liu et al. A probabilistic self-validating soft-sensor with application to wastewater treatment
Wang et al. Predicting public housing prices using delayed neural networks
Yiqi et al. A SEVA soft sensor method based on self-calibration model and uncertainty description algorithm
Contractor et al. Efficacy of Feedforward and LSTM Neural Networks at predicting and gap filling coastal ocean timeseries: Oxygen, nutrients, and temperature
CN113807031A (zh) 基于lstm与深度残差神经网络的基坑灾害预测预警方法
CN115130658B (zh) 基于非线性组合模型的水库滑坡位移预测方法及装置
CN115438576A (zh) 基于Prophet、自注意力机制和时间序列卷积网络的电子式电压互感器误差预测方法
CN110490496A (zh) 一种基于分步约简筛选复杂工业过程中影响产品质量的敏感变量的方法
CN115115416A (zh) 一种商品销量预测方法
Yang et al. A two‐stage data cleansing method for bridge global positioning system monitoring data based on bi‐direction long and short term memory anomaly identification and conditional generative adversarial networks data repair
Ma et al. A missing manufacturing process data imputation framework for nonlinear dynamic soft sensor modeling and its application
CN116562120A (zh) 一种基于rve的涡轮发动机系统健康状况评估方法及装置
Ahmed et al. The accuracy of the LSTM model for predicting the S&P 500 index and the difference between prediction and backtesting
CN115389743A (zh) 一种变压器油中溶解气体含量区间预测方法、介质及系统
CN113569324A (zh) 边坡形变监测异常数据分析与优化方法
Rochac et al. A Hybrid ConvLSTM Deep Neural Network for Noise Reduction and Data Augmentation for Prediction of Non-linear Dynamics of Streamflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant