CN110263977A - 基于lstm神经网络模型的优化预测pm2.5的方法及装置 - Google Patents
基于lstm神经网络模型的优化预测pm2.5的方法及装置 Download PDFInfo
- Publication number
- CN110263977A CN110263977A CN201910441016.9A CN201910441016A CN110263977A CN 110263977 A CN110263977 A CN 110263977A CN 201910441016 A CN201910441016 A CN 201910441016A CN 110263977 A CN110263977 A CN 110263977A
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- lstm neural
- environmental data
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 72
- 238000005457 optimization Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000007613 environmental effect Effects 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000013480 data collection Methods 0.000 claims abstract description 16
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 16
- MWUXSHHQAYIFBG-UHFFFAOYSA-N nitrogen oxide Inorganic materials O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 239000000809 air pollutant Substances 0.000 claims description 8
- 231100001243 air pollutant Toxicity 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000003466 anti-cipated effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及环境监测技术领域，公开一种基于LSTM神经网络模型的优化预测PM2.5的方法，包括：对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；采用Adam算法对所述LSTM神经网络模型的参数进行优化；采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。本发明还公开一种基于LSTM神经网络模型的优化预测PM2.5的装置，包括：特征提取及预处理模块、训练模块、优化模块及预测模块。本发明通过加入attention层，可自动分析权重系数。
Description
技术领域
本发明涉及环境监测技术领域，特别涉及一种基于LSTM神经网络模型的优化预测PM2.5的方法及装置。
背景技术
针对PM2.5浓度预测问题，国内外学者做了大量研究工作，提出了一系列模型。在预测方法方面，主要有线性回归、时间序列、灰色模型、支持向量机、贝叶斯等传统方法以及近期以神经网络(neural network，NN)算法为主导的人工智能方法。传统方法具有结构简单易识别、模型解释能力强等特点，但PM2.5的形成属于一个复杂的物理变化过程，具有明显的时空分异和非线性特征，因此传统方法很难反映实际情况。目前，神经网络算法具有较强的非线性和自我学习能力，已广泛应用于空气污染预测领域。比如BP神经网络可以解决因众多因素决定复杂非线性拟合的问题，然而问题在求解时容易陷入局部最小且层内没有神经元连接，没有同时考虑不同层次特征抽象和时间轴的上下文关联。而RNN循环神经网络中序列过长梯度爆炸，很难自动捕获延迟窗口长度的最优值。而本发明基于LSTM改进预测PM2.5，可以避免上述问题。
LSTM算法全称为Long short-term memory，最早由Sepp Hochreiter和JürgenSchmidhuber于1997年提出，是一种特定形式的RNN(Recurrent neural network，循环神经网络)，而RNN是一系列能够处理序列数据的神经网络的总称。
一般地，RNN包含如下三个特性：
a)循环神经网络能够在每个时间节点产生一个输出，且隐单元间的连接是循环的；
b)循环神经网络能够在每个时间节点产生一个输出，且该时间节点上的输出仅与下一时间节点的隐单元有循环连接；
c)循环神经网络包含带有循环连接的隐单元，且能够处理序列数据并输出单一的预测。
RNN还有许多变形，例如双向RNN(Bidirectional RNN)等。然而，RNN在处理长期依赖(时间序列上距离较远的节点)时会遇到巨大的困难，因为计算距离较远的节点之间的联系时会涉及雅可比矩阵的多次相乘，这会带来梯度消失(经常发生)或者梯度膨胀(较少发生)的问题，这样的现象被许多学者观察到并独立研究。为了解决该问题，研究人员提出了许多解决办法，例如ESN(Echo State Network)，增加有漏单元(Leaky Units)等等。其中最成功应用最广泛的就是门限RNN(Gated RNN)，而LSTM就是门限RNN中最著名的一种。有漏单元通过设计连接间的权重系数，从而允许RNN累积距离较远节点间的长期联系；而门限RNN则泛化了这样的思想，允许在不同时刻改变该系数，且允许网络忘记当前已经累积的信息。
LSTM的巧妙之处在于通过增加输入门限，遗忘门限和输出门限，使得自循环的权重是变化的，这样一来在模型参数固定的情况下，不同时刻的积分尺度可以动态改变，从而避免了梯度消失或者梯度膨胀的问题。
现有的LSTM(长短时间记忆型)有效地解决了长时间的依赖的问题，然而它不能自动分析权重系数，不论输入长短都将其编码成一个固定长度的向量表示(解码效果很差)，这使模型对于长输入序列的学习效果很差，实际预测PM2.5效果也不太令人满意。
发明内容
本发明的目的在于解决现有的LSTM模型长输入序列的学习效果差、不能自动分析权重系数，从而导致PM2.5预测不准确的问题，提出一种基于LSTM神经网络模型的优化预测PM2.5的方法及装置。
为了实现上述目的，本发明采用以下技术方案：
一种基于LSTM神经网络模型的优化预测PM2.5的方法，包括：
步骤1：对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；
步骤2：根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
步骤3：采用Adam算法对所述LSTM神经网络模型的参数进行优化；
步骤4：采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。
进一步地，所述环境数据包括空气污染物数据及空气PM2.5值。
进一步地，所述特征提取为：
对环境数据中的相对湿度、可见度、NO2浓度、NXOY浓度及空气PM2.5值进行提取，NXOY为大气中除NO2外的氮氧化物。
进一步地，所述预处理包括：对环境数据中的异常值和缺失值进行处理以及数据标准化处理。
进一步地，所述对环境数据中的异常值和缺失值进行处理为：对于缺失值或异常值均选取对应值前后两个时刻的平均值代替缺失值或异常值对应时刻的值。
进一步地，所述数据标准化处理为：
采用z-score方法对特征提取后的环境数据进行标准化处理。
进一步地，在所述步骤2之前，还包括：
确定LSTM神经网络模型的网络结构；所述网络结构包括输入层、隐含层、attention层及输出层，其中attention层层数为1，attention层节点的数目为10个，attention层的权重向量的计算公式为：
Wl＝Softmax(Pl)*Pl
其中，Wl为attention层的权重向量，Pl为隐含层的输出，1≤l≤m-l,l∈N，m为训练集中预处理后的环境数据个数。
进一步地，所述步骤4还包括：
采用均方误差作为LSTM神经网络模型的损失函数。
一种基于LSTM神经网络模型的优化预测PM2.5的装置，包括：
特征提取及预处理模块，用于对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；
训练模块，用于根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
优化模块，用于采用Adam算法对所述LSTM神经网络模型的参数进行优化；
预测模块，用于采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。
进一步地，还包括：
网络结构确定模块，用于确定LSTM神经网络模型的网络结构；所述网络结构包括输入层、隐含层、attention层及输出层，其中attention层层数为1，attention层节点的数目为10个，attention层的权重向量的计算公式为：
Wl＝Softmax(Pl)*Pl
其中，Wl为attention层的权重向量，Pl为隐含层的输出，1≤l≤m-l,l∈N，m为训练集中预处理后的环境数据个数。
与现有技术相比，本发明具有的有益效果：
本发明利用了attention层，在隐含层之后、输出层之前加入一个attention层，在前向计算过程中该层经过softmax函数转换成每个节点的权重系数，attention层中每个节点的值乘上该权重系数为该节点的输出。通过加入attention层，来判定隐含层中每个维度对结果的影响程度，且权重系数越大对结果影响越大，从而将网络专注到某个或者某几个维度的变化。具体而言，传统LSTM模型存在一个问题：不论输入长短都将其编码成一个固定长度的向量表示，这使模型对于长输入序列的学习效果很差(解码效果很差)、不能自动分析权重系数。而attention机制则克服了上述问题，原理是在模型输出时会选择性地专注考虑输入中的对应相关的信息。如本发明中输入为相对湿度、可见度、NO2浓度及NXOY浓度四个维度的特征，不加attention机制LSTM神经网络并不能区分出哪个维度的特征对PM2.5值的预测更具有相关性，通过加入attention机制，可以使得对PM2.5值影响更大的特征具有更大的权重系数。本发明通过加入了attention层，判断出关于相对湿度、可见度、NO2浓度及NXOY浓度哪一个在PM2.5预测问题中具有更大的权重系数，从而能更好地预测PM2.5。
附图说明
图1为本发明实施例一种基于LSTM神经网络模型的优化预测PM2.5的方法的基本流程图；
图2为本发明实施例另一种基于LSTM神经网络模型的优化预测PM2.5的方法的基本流程图；
图3为本发明实施例另一种基于LSTM神经网络模型的优化预测PM2.5的方法的数据处理流程图；
图4为本发明实施例一种基于LSTM神经网络模型的优化预测PM2.5的装置的结构示意图；
图5为本发明实施例另一种基于LSTM神经网络模型的优化预测PM2.5的装置的结构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
实施例一：
如图1所示，一种基于LSTM神经网络模型的优化预测PM2.5的方法，包括以下步骤：
步骤S101：对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；
步骤S102：根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
步骤S103：采用Adam算法对所述LSTM神经网络模型的参数进行优化；
步骤S104：采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。
本发明利用了attention层，在隐含层之后、输出层之前加入一个attention层，在前向计算过程中该层经过softmax函数转换成每个节点的权重系数，attention层中每个节点的值乘上该权重系数为该节点的输出。通过加入attention层，来判定隐含层中每个维度对结果的影响程度，且权重系数越大对结果影响越大，从而将网络专注到某个或者某几个维度的变化。
实施例二：
如图2-3所示，另一种基于LSTM神经网络模型的优化预测PM2.5的方法，包括以下步骤：
步骤S201：对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；
具体地，环境数据包括空气污染物数据及空气PM2.5值。
具体地，特征提取为：
对空气污染物数据中的相对湿度(humidity(％))、可见度(visibility(km))、NO2浓度、NXOY浓度及空气PM2.5值进行提取，NXOY为大气中除NO2外的氮氧化物。
具体地，预处理包括：对环境数据中的异常值和缺失值进行处理以及数据标准化处理。
具体地，对环境数据中的异常值和缺失值进行处理为：对于缺失值或异常值均选取对应值前后两个时刻的平均值代替缺失值或异常值对应时刻的值。由于原始数据中前后两个时刻的值差别较小，所以对于缺失值和异常值均选取该值前后两个时刻的平均值代替该时刻的值。
具体地，数据标准化处理为：
采用z-score方法对特征提取后的空气污染物数据进行标准化处理。
对数据标准化处理可加快网络训练收敛速度，提高模型训练的精度，消除范围较大的特征值给梯度更新所带来的影响。
对环境数据进行特征提取后，得到：
Ta＝(x1,x2,x3,x4,....xn)
1≤n n∈N
其中，Ta为特征提取后的环境数据的集合，x1为第1个时间点的特征提取后的环境数据，n为特征提取后的环境数据总个数。
对环境数据进行标准化处理后，得到环境数据集Ta'：
T'a＝(x'1,x'2,x'3,x'4,....x'n)
其中，x'1为第1个时间点的标准化处理后的环境数据，n为标准化处理后的环境数据总个数。
将环境数据集T'a划分为训练集T'tr和测试集T'test：
T'tr＝(x'1,x'2,x'3,x'4,....x'm)
T'test＝(x'm+1,x'm+2,x'm+3,x'm+4,....x'n)
1≤m≤n m,n∈N
其中，m为训练集中预处理后的环境数据个数。作为一种可实施方式，环境数据为开封市2015-2018年的环境数据，具体包括开封市2015-2018年空气污染物及空气PM2.5值，其中2015-2017年的预处理后的环境数据作为训练集，共有20000条，即m为20000，2018年的预处理后的环境数据作为测试集，共有6985条，故n为26985。其中各数据按照时间先后顺序进行采集，即环境数据编号的前后顺序对应的为环境数据数据采集时间的先后顺序。训练集Tt'r如表1所示，测试集Tt'est如表2所示。
表1训练集示例
| visibility(km) | humidity(％) | NO<sub>2</sub> | N<sub>X</sub>O<sub>Y</sub> | PM2.5 |
| 8.6 | 75.0 | 21.0 | 24.0 | 83.1 |
| 8.3 | 78.0 | 23.0 | 26.0 | 81.8 |
| 7.6 | 80.0 | 18.0 | 21.0 | 85.2 |
表2测试集示例
| visibility(km) | humidity(％) | NO<sub>2</sub> | N<sub>X</sub>O<sub>Y</sub> | PM2.5 |
| 7.4 | 76.0 | 12.0 | 14.0 | 35.7 |
| 7.6 | 75.0 | 9.0 | 11.0 | 33.8 |
| 7.6 | 74.0 | 9.0 | 10.0 | 28.2 |
具体地，在训练时，训练集中，将空气PM2.5值去除作为标签数据，将去除空气PM2.5值后的训练数据(四维数据)输入LSTM神经网络进行模型的训练；对应的，在测试时，测试集中，将空气PM2.5值去除作为标签数据，将去除空气PM2.5值后的测试数据(四维数据)输入LSTM神经网络进行模型的测试。
步骤S202：确定LSTM神经网络模型的网络结构：
所述网络结构包括输入层、隐含层、attention层及输出层，其中attention层层数为1，attention层节点的数目为10个，输入层层数为1，输入层节点的数目为4，隐含层层数为2，隐含层每层节点的数目为30个，attention层层数为1，attention层节点的数目为10个，输出层层数为1，输出层节点的数目为1，防止网络过拟合的失效率为0.9，学习率为0.001。具体如下：
为了适应隐含层输入的特点，构建短时间输入序列，通过固定步长来确定时间序列的长度，取步长为l，则网络模型的输入为：
xl＝{x'l,x'l+1,x'l+2,x'l+3,....,x'm}
1≤l≤m-l,l∈N
将xl输入网络，经过隐藏层的输出为：
P＝{P1,P2,P3,P4,.....Pm-l}
Pl＝LSTM(x'l,c＜t-1＞,h＜t-1＞)
其中，c＜t-1＞和h＜t-1＞为上一时刻的细胞状态和隐藏层状态。
attention层的权重向量的计算公式为：
Wl＝Softmax(Pl)*Pl
其中，Wl为attention层的权重向量，Pl为隐含层的输出。
步骤S203：根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
步骤S204：采用Adam算法对所述LSTM神经网络模型的参数进行优化；具体地，对LSTM神经网络模型的权重及偏置值进行优化。
步骤S205：采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。
具体地，步骤S205还包括：
采用均方误差作为LSTM神经网络模型的损失函数。
因为本实施例数据为时间序列数据，误差范围设置为±10，即当测试数据落在原始数据±10窗口范围以内，表示预测正确。
具体地，本实施中采用准确率对预测结果进行评估，本发明的准确率为0.8080；作为一种对比实验，去除attention层后，准确率为0.7275。
值得说明的是，本发明还可用于根据2015年之前的开封市空气污染物数据对2015年之前的开封市空气PM2.5数据进行预测，从而可以根据预测结果得出近年来开封市空气PM2.5数据的变化趋势，并应用于开封市PM2.5的研究。
本发明利用了attention层，在隐含层之后、输出层之前加入一个attention层，在前向计算过程中该层经过softmax函数转换成每个节点的权重系数，attention层中每个节点的值乘上该权重系数为该节点的输出。通过加入attention层，来判定隐含层中每个维度对结果的影响程度，且权重系数越大对结果影响越大，从而将网络专注到某个或者某几个维度的变化。具体而言，传统LSTM模型存在一个问题：不论输入长短都将其编码成一个固定长度的向量表示，这使模型对于长输入序列的学习效果很差(解码效果很差)、不能自动分析权重系数。而attention机制则克服了上述问题，原理是在模型输出时会选择性地专注考虑输入中的对应相关的信息。如本发明中输入为相对湿度、可见度、NO2浓度及NXOY浓度四个维度的特征，不加attention机制LSTM神经网络并不能区分出哪个维度的特征对PM2.5值的预测更具有相关性，通过加入attention机制，可以使得对PM2.5值影响更大的特征具有更大的权重系数。本发明通过加入了attention层，判断出关于相对湿度、可见度、NO2浓度及NXOY浓度哪一个在PM2.5预测问题中具有更大的权重系数，从而能更好地预测PM2.5。
实施例三：
如图4所示，一种基于LSTM神经网络模型的优化预测PM2.5的装置，包括：
特征提取及预处理模块301，用于对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；
训练模块302，用于根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
优化模块303，用于采用Adam算法对所述LSTM神经网络模型的参数进行优化；
预测模块304，用于采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。
本发明利用了attention层，在隐含层之后、输出层之前加入一个attention层，在前向计算过程中该层经过softmax函数转换成每个节点的权重系数，attention层中每个节点的值乘上该权重系数为该节点的输出。通过加入attention层，来判定隐含层中每个维度对结果的影响程度，且权重系数越大对结果影响越大，从而将网络专注到某个或者某几个维度的变化。
实施例四：
如图5所示，另一种基于LSTM神经网络模型的优化预测PM2.5的装置，包括：
特征提取及预处理模块401，用于对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；具体地，所述环境数据包括空气污染物数据及空气PM2.5值；所述特征提取为：对环境数据中的相对湿度、可见度、NO2浓度、NXOY浓度及空气PM2.5值进行提取，NXOY为大气中除NO2外的氮氧化物；所述预处理包括：对环境数据中的异常值和缺失值进行处理以及数据标准化处理；所述对环境数据中的异常值和缺失值进行处理为：对于缺失值或异常值均选取对应值前后两个时刻的平均值代替缺失值或异常值对应时刻的值；所述数据标准化处理为：采用z-score方法对特征提取后的环境数据进行标准化处理。
网络结构确定模块402，用于确定LSTM神经网络模型的网络结构；所述网络结构包括输入层、隐含层、attention层及输出层，其中attention层层数为1，attention层节点的数目为10个，attention层的权重向量的计算公式为：
Wl＝Soft max(Pl)*Pl
其中，Wl为attention层的权重向量，Pl为隐含层的输出，1≤l≤m-l,l∈N，m为训练集中预处理后的环境数据个数。
训练模块403，用于根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
优化模块404，用于采用Adam算法对所述LSTM神经网络模型的参数进行优化；
预测模块405，用于采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。具体地，还用于采用均方误差作为LSTM神经网络模型的损失函数。
本发明利用了attention层，在隐含层之后、输出层之前加入一个attention层，在前向计算过程中该层经过softmax函数转换成每个节点的权重系数，attention层中每个节点的值乘上该权重系数为该节点的输出。通过加入attention层，来判定隐含层中每个维度对结果的影响程度，且权重系数越大对结果影响越大，从而将网络专注到某个或者某几个维度的变化。具体而言，传统LSTM模型存在一个问题：不论输入长短都将其编码成一个固定长度的向量表示，这使模型对于长输入序列的学习效果很差(解码效果很差)、不能自动分析权重系数。而attention机制则克服了上述问题，原理是在模型输出时会选择性地专注考虑输入中的对应相关的信息。如本发明中输入为相对湿度、可见度、NO2浓度及NXOY浓度四个维度的特征，不加attention机制LSTM神经网络并不能区分出哪个维度的特征对PM2.5值的预测更具有相关性，通过加入attention机制，可以使得对PM2.5值影响更大的特征具有更大的权重系数。本发明通过加入了attention层，判断出关于相对湿度、可见度、NO2浓度及NXOY浓度哪一个在PM2.5预测问题中具有更大的权重系数，从而能更好地预测PM2.5。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，包括：
步骤1：对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；
步骤2：根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
步骤3：采用Adam算法对所述LSTM神经网络模型的参数进行优化；
步骤4：采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。
2.根据权利要求1所述的基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，所述环境数据包括空气污染物数据及空气PM2.5值。
3.根据权利要求1所述的基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，所述特征提取为：
对环境数据中的相对湿度、可见度、NO2浓度、NXOY浓度及空气PM2.5值进行提取，NXOY为大气中除NO2外的氮氧化物。
4.根据权利要求2所述的基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，所述预处理包括：对环境数据中的异常值和缺失值进行处理以及数据标准化处理。
5.根据权利要求4所述的基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，所述对环境数据中的异常值和缺失值进行处理为：对于缺失值或异常值均选取对应值前后两个时刻的平均值代替缺失值或异常值对应时刻的值。
6.根据权利要求4所述的基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，所述数据标准化处理为：
采用z-score方法对特征提取后的环境数据进行标准化处理。
7.根据权利要求4所述的基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，在所述步骤2之前，还包括：
确定LSTM神经网络模型的网络结构；所述网络结构包括输入层、隐含层、attention层及输出层，其中attention层层数为1，attention层节点的数目为10个，attention层的权重向量的计算公式为：
Wl＝Softmax(Pl)*Pl
其中，Wl为attention层的权重向量，Pl为隐含层的输出，1≤l≤m-l,l∈N，m为训练集中预处理后的环境数据个数。
8.根据权利要求1所述的基于LSTM神经网络模型的优化预测PM2.5的方法，其特征在于，所述步骤4还包括：
采用均方误差作为LSTM神经网络模型的损失函数。
9.一种基于LSTM神经网络模型的优化预测PM2.5的装置，其特征在于，包括：
特征提取及预处理模块，用于对环境数据进行特征提取并进行预处理，得到环境数据集，将环境数据集划分为训练集和测试集；
训练模块，用于根据所述训练集训练LSTM神经网络模型，所述LSTM神经网络模型包括attention层；
优化模块，用于采用Adam算法对所述LSTM神经网络模型的参数进行优化；
预测模块，用于采用所述测试集基于优化后的LSTM神经网络模型进行PM2.5的预测。
10.根据权利要求9所述的一种基于LSTM神经网络模型的优化预测PM2.5的装置，其特征在于，还包括：
网络结构确定模块，用于确定LSTM神经网络模型的网络结构；所述网络结构包括输入层、隐含层、attention层及输出层，其中attention层层数为1，attention层节点的数目为10个，attention层的权重向量的计算公式为：
Wl＝Softmax(Pl)*Pl
其中，Wl为attention层的权重向量，Pl为隐含层的输出，1≤l≤m-l,l∈N，m为训练集中预处理后的环境数据个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910441016.9A CN110263977A (zh) | 2019-05-24 | 2019-05-24 | 基于lstm神经网络模型的优化预测pm2.5的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910441016.9A CN110263977A (zh) | 2019-05-24 | 2019-05-24 | 基于lstm神经网络模型的优化预测pm2.5的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110263977A true CN110263977A (zh) | 2019-09-20 |
Family
ID=67915377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910441016.9A Pending CN110263977A (zh) | 2019-05-24 | 2019-05-24 | 基于lstm神经网络模型的优化预测pm2.5的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110263977A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310970A (zh) * | 2020-01-16 | 2020-06-19 | 集美大学 | 一种环境参数实时预测方法、终端设备及存储介质 |
| CN112085163A (zh) * | 2020-08-26 | 2020-12-15 | 哈尔滨工程大学 | 一种基于注意力增强图卷积神经网络agc和门控循环单元gru的空气质量预测方法 |
| CN112101664A (zh) * | 2020-09-16 | 2020-12-18 | 哈尔滨工业大学 | 基于堆叠lstm-gru的多参数大气环境数据生成方法 |
| CN112506899A (zh) * | 2020-11-25 | 2021-03-16 | 东华理工大学 | 一种基于改进lstm的pm2.5数据异常值检测方法 |
| CN112598050A (zh) * | 2020-12-18 | 2021-04-02 | 四川省成都生态环境监测中心站 | 生态环境数据质量控制方法 |
| CN115935626A (zh) * | 2022-11-25 | 2023-04-07 | 河南大学 | 基于vae-pinn算法的河水-地下水垂向瞬态交互水流通量的反演方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599520A (zh) * | 2016-12-31 | 2017-04-26 | 中国科学技术大学 | 一种基于lstm‑rnn模型的空气污染物浓度预报方法 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN108268935A (zh) * | 2018-01-11 | 2018-07-10 | 浙江工业大学 | 一种基于时序循环神经网络的pm2.5浓度值预测方法及系统 |
| CN109242140A (zh) * | 2018-07-24 | 2019-01-18 | 浙江工业大学 | 一种基于LSTM_Attention网络的交通流预测方法 |
| CN109492822A (zh) * | 2018-11-24 | 2019-03-19 | 上海师范大学 | 空气污染物浓度时空域关联预测方法 |
| CN109492830A (zh) * | 2018-12-17 | 2019-03-19 | 杭州电子科技大学 | 一种基于时空深度学习的移动污染源排放浓度预测方法 |
| CN109613178A (zh) * | 2018-11-05 | 2019-04-12 | 广东奥博信息产业股份有限公司 | 一种基于递归神经网络预测空气污染的方法及系统 |
-
2019
- 2019-05-24 CN CN201910441016.9A patent/CN110263977A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599520A (zh) * | 2016-12-31 | 2017-04-26 | 中国科学技术大学 | 一种基于lstm‑rnn模型的空气污染物浓度预报方法 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| CN108268935A (zh) * | 2018-01-11 | 2018-07-10 | 浙江工业大学 | 一种基于时序循环神经网络的pm2.5浓度值预测方法及系统 |
| CN109242140A (zh) * | 2018-07-24 | 2019-01-18 | 浙江工业大学 | 一种基于LSTM_Attention网络的交通流预测方法 |
| CN109613178A (zh) * | 2018-11-05 | 2019-04-12 | 广东奥博信息产业股份有限公司 | 一种基于递归神经网络预测空气污染的方法及系统 |
| CN109492822A (zh) * | 2018-11-24 | 2019-03-19 | 上海师范大学 | 空气污染物浓度时空域关联预测方法 |
| CN109492830A (zh) * | 2018-12-17 | 2019-03-19 | 杭州电子科技大学 | 一种基于时空深度学习的移动污染源排放浓度预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王云中: "基于神经网络的PM_(2.5)浓度预测研究与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111310970A (zh) * | 2020-01-16 | 2020-06-19 | 集美大学 | 一种环境参数实时预测方法、终端设备及存储介质 |
| CN112085163A (zh) * | 2020-08-26 | 2020-12-15 | 哈尔滨工程大学 | 一种基于注意力增强图卷积神经网络agc和门控循环单元gru的空气质量预测方法 |
| CN112101664A (zh) * | 2020-09-16 | 2020-12-18 | 哈尔滨工业大学 | 基于堆叠lstm-gru的多参数大气环境数据生成方法 |
| CN112101664B (zh) * | 2020-09-16 | 2022-07-12 | 哈尔滨工业大学 | 基于堆叠lstm-gru的多参数大气环境数据生成方法 |
| CN112506899A (zh) * | 2020-11-25 | 2021-03-16 | 东华理工大学 | 一种基于改进lstm的pm2.5数据异常值检测方法 |
| CN112598050A (zh) * | 2020-12-18 | 2021-04-02 | 四川省成都生态环境监测中心站 | 生态环境数据质量控制方法 |
| CN115935626A (zh) * | 2022-11-25 | 2023-04-07 | 河南大学 | 基于vae-pinn算法的河水-地下水垂向瞬态交互水流通量的反演方法 |
| CN115935626B (zh) * | 2022-11-25 | 2023-09-08 | 河南大学 | 河水-地下水垂向瞬态交互水流通量的反演方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263977A (zh) | 基于lstm神经网络模型的优化预测pm2.5的方法及装置 | |
| CN108510006B (zh) | 一种基于数据挖掘的企业用电量分析与预测方法 | |
| CN106980858B (zh) | 一种语言文本检测与定位系统及应用该系统的语言文本检测与定位方法 | |
| CN109308522B (zh) | 一种基于循环神经网络的gis故障预测方法 | |
| CN110348624B (zh) | 一种基于Stacking集成策略的沙尘暴等级预测方法 | |
| CN111814611B (zh) | 一种嵌入高阶信息的多尺度人脸年龄估计方法及系统 | |
| CN105184265A (zh) | 一种基于自学习的手写表格数字字符串快速识别的方法 | |
| CN110991690A (zh) | 一种基于深度卷积神经网络的多时次风速预测方法 | |
| CN109086926B (zh) | 一种基于组合神经网络结构的短时轨道交通客流预测方法 | |
| CN106156805A (zh) | 一种样本标签缺失数据的分类器训练方法 | |
| CN113469427A (zh) | 基于卷积lstm的光伏电站日前发电量预测方法及系统 | |
| CN111651993A (zh) | 融合局部-全局字符级关联特征的中文命名实体识别方法 | |
| CN111461121A (zh) | 一种基于yolov3网络的电表示数识别方法 | |
| CN115859099A (zh) | 样本生成方法、装置、电子设备和存储介质 | |
| Wu et al. | Single shot multibox detector for vehicles and pedestrians detection and classification | |
| CN114881286A (zh) | 一种基于深度学习的短时降水预测方法 | |
| CN112489689B (zh) | 基于多尺度差异对抗的跨数据库语音情感识别方法及装置 | |
| CN113627091A (zh) | 一种用于预测能源负荷的装置及方法 | |
| CN112507881A (zh) | 一种基于时间卷积神经网络的sEMG信号分类方法及系统 | |
| CN117113086A (zh) | 一种储能机组负荷预测方法、系统、电子设备及介质 | |
| CN115640743A (zh) | 基于贝叶斯优化参数神经网络的配电负荷-馈线智能匹配方法 | |
| CN115410083A (zh) | 一种基于对抗域适应的小样本sar目标分类方法及装置 | |
| CN109034453A (zh) | 一种基于多标记神经网络的短期电力负荷预测方法 | |
| CN108764311A (zh) | 一种遮挡目标检测方法、电子设备、存储介质及系统 | |
| Wu et al. | Overview of day-ahead solar power forecasts based on weather classifications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190920 |
|
| RJ01 | Rejection of invention patent application after publication |