CN113516304A - 基于时空图网络的区域污染物时空联合预测方法及装置 - Google Patents
基于时空图网络的区域污染物时空联合预测方法及装置 Download PDFInfo
- Publication number
- CN113516304A CN113516304A CN202110725762.8A CN202110725762A CN113516304A CN 113516304 A CN113516304 A CN 113516304A CN 202110725762 A CN202110725762 A CN 202110725762A CN 113516304 A CN113516304 A CN 113516304A
- Authority
- CN
- China
- Prior art keywords
- network
- graph
- time
- spatio
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000003344 environmental pollutant Substances 0.000 title claims abstract description 41
- 231100000719 pollutant Toxicity 0.000 title claims abstract description 41
- 239000000809 air pollutant Substances 0.000 claims abstract description 49
- 231100001243 air pollutant Toxicity 0.000 claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 48
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000003915 air pollution Methods 0.000 description 3
- 239000000356 contaminant Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Game Theory and Decision Science (AREA)
- Remote Sensing (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于时空图网络的区域污染物时空联合预测方法及装置。其中，方法包括：步骤S1：以PM2.5作为预测的空气污染物，构建空气污染物浓度预测模型，其中，空气污染物浓度预测模型包括图注意力网络和改进LSTM网络；步骤S2：输入时空图序列数据至图注意力网络，获得各时刻污染物传播的空间关联；步骤S3：根据各时刻污染物传播的空间关联，使用向量拉伸拼接的方法，构造各时刻的隐向量z；步骤S3：将各时刻隐向量z作为改进LSTM网络的输入，得到预测结果，其中，改进LSTM网络中，内置有重置门，基于连续两个输入计算重置门的值，当重置门的值超限时，网络重置记忆。与现有技术相比，本发明具有提高预测准确性等优点。
Description
技术领域
本发明涉及区域污染物浓度预测领域，尤其是涉及一种基于时空图网络的区域污染物时空联合预测方法及装置。
背景技术
近年来，随着工业化和城市化的发展，空气污染逐渐引起了各国的关注。根据世界卫生组织(WHO)的数据，全球有近十分之九的人正遭受日益严重的空气污染，空气污染会严重危害人们的健康和社会效率，提前预测空气污染物浓度对人们的出行计划和政府决策具有重要意义。然而，空气污染物的传播受到许多因素的影响，城市的空气污染物浓度不仅与上一时段的浓度相关，还受到相邻城市的污染物浓度影响。这种复杂的时空相关性使得空气污染物浓度预测成为了一个巨大的挑战。当前，随着传感器和监测站点日益增多，我们拥有了大量监测数据，这为我们提出并应用新型深度学习模型来预测空气污染物浓度提供了基础。
国内外许多学者都对空气污染物浓度预测进行了研究。传统方法通常利用对大气物理学和化学理论的知识来分析污染物的传播和扩散过程，然后建立回归方程来预测不同污染物的浓度。随着传感器收集的历史监测数据日益增多，研究人员开始使用统计学方法从历史数据中建立模型。但是，由于计算能力的限制，大多数模型无法充分利用海量的观测数据，限制了这些模型的预测精度。此外，传统方法也很少同时考虑空气污染物浓度的时间和空间相关性。近年来，深度学习在很多领域都展现了其强大的非线性建模能力，一些研究人员为了对空气污染物复杂的非线性空间依赖关系进行建模，提出了一些基于卷积神经网络(CNN)的模型。然而CNN是针对欧式空间下的网格数据(如图像和视频等)设计的，对于诸如地面监测站之类的自然设施等非欧式空间下的数据，使用CNN的卷积运算会影响数据本身的语义，不适合处理采集自非欧式空间下的空气污染物数据，因此基于CNN的模型存在瓶颈。
发明内容
本发明的目的就是为了提供一种基于时空图网络的区域污染物时空联合预测方法及装置，该方法能够实现对时空大数据的充分利用，并结合气象数据和时空辅助信息来挖掘污染物传播的复杂动态依赖关系，从而降低预测误差，提高预测准确率。
本发明的目的可以通过以下技术方案来实现：
一种基于时空图网络的区域污染物时空联合预测方法，包括：
步骤S1：以PM2.5作为预测的空气污染物，构建空气污染物浓度预测模型，其中，所述空气污染物浓度预测模型包括图注意力网络和改进LSTM网络，以时空图序列数据为输入，预测区域未来一段时间内的PM2.5浓度为输出；
步骤S2：输入时空图序列数据至图注意力网络，获得各时刻污染物传播的空间关联；
步骤S3：根据各时刻污染物传播的空间关联，使用向量拉伸拼接的方法，构造各时刻的隐向量z；
步骤S4：将各时刻隐向量z作为改进LSTM网络的输入，得到预测结果，其中，所述改进LSTM网络中，内置有重置门，基于连续两个输入计算重置门的值，当重置门的值超限时，网络重置记忆，输入时空图序列数据，得到未来一段时间目标站点的PM2.5浓度预测值，然后根据损失函数计算预测值和真实值之间的误差，利用梯度下降法进行多轮训练，最终确定预测模型参数和模型结构。
所述时空图序列数据的构建过程包括：
步骤A1：将预测区域内所有监测站点处的空气污染物数据、气象数据、时空属性视为图信号，建立节点特征向量；
步骤A2：计算所有监测站点间的距离和节点间特征向量相似度，在节点间距离小于200Km和相似度大于0.5的节点之间建立边，构建图网络；
步骤A3：将所有站点同一时刻采集的数据，按照步骤A1和A2建立节点和连边，构建为图结构，然后按照监测站点的采集时序，每个时刻建立一张图网络，最终将一段时间内的所有图网络构建为时空图序列数据。
所述空气污染物浓度预测模型具体以区域内多个监测站点的前72小时的时空图序列数据为输入，预测区域未来24小时的PM2.5浓度为输出。
所述改进LSTM网络的重置门具体为：
Zr＝sigmoid(Wr*[Zt,Zt-1]+br
其中：Zr为重置门，sigmoid为激活函数，Wr为权重矩阵，Zt为当前时刻的输入，Zt-1为上一时刻的输入，br为偏置项。
所述改进LSTM网络的状态更新过程具体包括：
步骤B1：判断重置门Zr是否小于或等于设定阈值K，若为是，则执行步骤B2，反之则执行步骤B3；
步骤B2：根据下式计算状态向量：
Ct＝Zr⊙Ct-1+(1-Zr)Zt
其中：Ct为当前时刻LSTM的状态向量，Ct-1为上一时刻的状态向量，步骤B3：根据下式计算状态向量：
Ct＝Zf⊙Ct-1+Zi⊙Zt
其中：Zf为遗忘门，Zi为输入门，
步骤B4：确定改进LSTM网络的输出状态：
ht＝Zo⊙tanh(Ct)
其中：ht为当前时刻LSTM的输出，Zo为输出门。
一种基于时空图网络的区域污染物时空联合预测装置，包括处理器、存储器，以及存储于所述存储器并由处理器执行的程序，所述处理器执行所述程序时实现以下步骤：
步骤S1：以PM2.5作为预测的空气污染物，构建空气污染物浓度预测模型，其中，所述空气污染物浓度预测模型包括图注意力网络和改进LSTM网络，以时空图序列数据为输入，预测区域未来一段时间内的PM2.5浓度为输出；
步骤S2：输入时空图序列数据至图注意力网络，获得各时刻污染物传播的空间关联；
步骤S3：根据各时刻污染物传播的空间关联，使用向量拉伸拼接的方法，构造各时刻的隐向量z；
步骤S4：将各时刻隐向量z作为改进LSTM网络的输入，得到预测结果，其中，所述改进LSTM网络中，内置有重置门，基于连续两个输入计算重置门的值，当重置门的值超限时，网络重置记忆。
与现有技术相比，本发明具有以下有益效果：
1)直接利用时空大数据来进行建模，充分考虑了空气污染物传播的空间和时间依赖关系，并未根据复杂的动力学和化学模型来建立数值预测模型。
2)能够处理非欧式分布下的空气污染物监测数据，并且利用自注意力机制，为不同的邻居站点分配不同的注意力系数，模拟污染物传播过程，挖掘空气污染物传播的时空依赖关系。
3)通过重置门，预测的准确度相比传统方法有较大提升，且对异常数据不敏感，效率较高。
附图说明
图1为本发明实施例的主要步骤流程示意图；
图2为本发明提出的构建时空图序列数据的方法示意图；
图3为本发明提出的空气污染物浓度预测模型结构示意图；
图4为本发明提出的改进的LSTM单元结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
首先对空气污染物浓度预测给出如下定义：
定义1空气污染物浓度预测：空气污染物浓度预测是指利用历史污染物浓数据、气象数据和其他辅助数据等建立模型预测未来一段时间内某类污染物浓度的值。这类预测通常涉及环境科学，气象科学和计算机科学，是一类具有学科交叉性质的研究。
定义2空气污染物浓度传统预测方法：非深度学习的空气污染物浓度预测方法和基于卷积神经网络(CNN)的预测方法统称为传统方法。
一种基于时空图网络的区域污染物时空联合预测方法，整体过程如图1所示，，该方法可以是通过计算机程序的形式由计算机系统实现，包括：
步骤S1：以PM2.5作为预测的空气污染物，构建空气污染物浓度预测模型，其中，空气污染物浓度预测模型包括图注意力网络和改进LSTM网络，以时空图序列数据为输入，预测区域未来一段时间内的PM2.5浓度为输出；
具体的，空气污染物浓度预测模型的构建过程如下：基于深度学习原理和GAT及LSTM神经网络的特点，以某一具体污染物为预测目标(如PM2.5或SO2等)，构建空气污染物浓度预测模型。模型以图注意力网络(GAT)为底层，提取污染物传播的空间关联。图注意力网络(GAT)引入了自注意力机制，计算图中每个节点的隐藏表示，并且可以为每个邻居分配不同的注意力分数，以识别更重要的邻居，进而更新节点的特征向量。改进的长短期记忆网络(LSTM)是一类专门处理时序数据样本的神经网络，通过增加一个门控单元，能够考虑输入污染物浓度骤增或骤降的情况，最终经过全连接网络的处理之后产生最终的预测结果。
步骤S2：输入时空图序列数据至图注意力网络，获得各时刻污染物传播的空间关联；
步骤S3：根据各时刻污染物传播的空间关联，使用向量拉伸拼接的方法，构造各时刻的隐向量z；
步骤S4：将各时刻隐向量z作为改进LSTM网络的输入，得到预测结果，其中，改进LSTM网络中，内置有重置门，基于连续两个输入计算重置门的值，当重置门的值超限时，网络重置记忆。
其中，时空图序列数据的构建过程包括：
步骤A1：将预测区域内所有监测站点处的空气污染物数据、气象数据、时空属性视为图信号，建立节点特征向量；
步骤A2：计算所有监测站点间的距离和节点间特征向量相似度，在节点间距离小于200Km和相似度大于0.5的节点之间建立边，构建图网络；
步骤A3：将所有站点同一时刻采集的数据，按照步骤A1和A2建立节点和连边，构建为图结构，然后按照监测站点的采集时序，每个时刻建立一张图网络，最终将一段时间内的所有图网络构建为时空图序列数据。
具体的，对数据集进行异常值和标准化处理，然后根据收集到的区域内所有监测站点的空气污染物数据，气象数据和站点的经纬度以及时间信息，构造时空图序列。首先，将上述数据作为图中节点的特征向量，其次，计算图中节点之间的欧式距离和节点之间的特征相似度，只有节点之间距离不超过200Km且相似度大于0.5的节点之间才认为有边存在。计算公式如下。
其中D(·)和r(·)表示节点si和节点sj之间的距离和相似度；x和y表示对应站点的经度和维度；Cov(·)表示节点之间的协方差，σ(·)表示标准差。
经过本步骤处理之后，区域内多站点的历史空气污染物数据，气象数据和地理位置及时间数据被构造为时空图序列数据，最终形成的时空图序列数据如图二所示。
本实施例中，空气污染物浓度预测模型具体以区域内多个监测站点的前72小时的时空图序列数据为输入，预测区域未来24小时的PM2.5浓度为输出。
其中，节点的特征向量包含以下数据：空气污染物浓度数据：PM2.5浓度值、过去24小时PM2.5滑动平均值、PM10浓度值、过去24小时PM10滑动平均值、SO2浓度值、过去24小时SO2滑动平均值、NO2浓度值、过去24小时NO2滑动平均值、O3浓度值、过去24小时O3滑动平均值、CO浓度值、过去24小时CO滑动平均值；气象数据：风速、风向、湿度、气压、温度；时空间数据：站点经度，站点纬度，记录时间，年，月，星期，周次。
本发明使用的数据标准化方法为z-score方法，公式如下：
其中μ是数据集中对应属性的均值，σ是对应属性的标准差。经过处理之后，数据集中的属性都符合标准正态分布。
从海量数据中挖掘出来的时空图序列数据，整个数据集按照80％,20％和20％的比例划分为训练集，验证集和测试集。使用训练集中的数据来训练模型，验证集中的数据调整模型，测试集中的数据来评估模型。
本实施例中，改进LSTM网络的重置门具体为：
Zr＝sigmoid(Wr*[Zt,Zt-1]+br
其中：Zr为重置门，sigmoid为激活函数，Wr为权重矩阵，Zt为当前时刻的输入，Zt-1为上一时刻的输入，br为偏置项。
本实施例中，改进LSTM网络的状态更新过程具体包括：
步骤B1：判断重置门Zr是否小于或等于设定阈值K，若为是，则执行步骤B2，反之则执行步骤B3；
步骤B2：根据下式计算状态向量：
Ct＝Zr⊙Ct-1+(1-Zr)Zt
其中：Ct为当前时刻LSTM的状态向量，Ct-1为上一时刻的状态向量，步骤B3：根据下式计算状态向量：
Ct＝Zf⊙Ct-1+Zi⊙Zt
其中：Zf为遗忘门，Zi为输入门，
步骤B4：确定改进LSTM网络的输出状态：
ht＝Zo⊙tanh(Ct)
其中：ht为当前时刻LSTM的输出，Zo为输出门。
此外，在模型的训练和评估过程，需要合理设置模型的超参数。对于图注意力网络(GAT)设置为2层，第一层和第二层GAT网络处理后节点的特征向量都设置为10；对于长短期记忆网络(LSTM)设置为2层，隐藏神经元的数量设置为128，学习率设置为0.001-0.1之间，迭代轮次为200次。
训练预测模型过程中使用训练集中的时空图序列数据逐阶段训练模型。定义模型训练阶段的损失函数为均方根误差函数，采用反向传播算法，使得模型损失函数的值最小化，减少预测值与真实值之间的误差。均方根误差函数的公式如下：
其中：RMSE为均方根误差函数，yi为污染物浓度的真实值，pi为污染物浓度的预测值，n为预测序列的长度。
训练结束后，利用验证集中的数据调整模型超参数，直至模型最优。对于测试集，将其输入模型，得到预测结果，利用平均绝对误差、平方根误差和比较绝对百分数误差衡量模型的误差。计算公式如下：
其中Pi表示预测值，Oi表示实际值。n为测试集所含时空图的数量。若上述3个指标优于传统方法，说明模型满足预期，可以用于预测未来一定时间内的PM2.5浓度。
下面以一个具体案例进行介绍，在一些实施例中，对于图注意力神经网络的计算过程，可以用以下公式表示：
其中σ(·)表示激活函数，
是融合了邻居节点信息的新特征向量，W是权重矩阵，αij是注意力系数。αij的计算公式如下：
其中W是权重矩阵，hi和hj是两个相邻的节点，[·|·]表示连接运算；eij表示节点i和j之间的相关系数，LeakyReLU是一种非线性激活函数。
根据LSTM网络的结构，每个LSTM单元的计算公式如下所示：
z＝tanh(Wgh(t-1)+Ugx(t)+bg)
zi＝sigmoid(Wih(t-1)+Uix(t)+bi)
zf＝sigmoid(Wfh(t-1)+Ufx(t)+bf)
zo＝sigmoid(Woh(t-1)+Uox(t)+bo)
Zr＝sigmoid(Wr*[Xt,Xt-1]+br)
其中tanh是激活函数，σ是sigmod函数，⊙是矩阵的哈达玛积，W是相应的输出权重，U表示对应的输入权重，bg等为偏移量。
对于图注意力网络(GAT)设置为2层，第一层和第二层GAT网络处理后节点的特征向量都设置为10；对于长短期记忆网络(LSTM)设置为2层，隐藏神经元的数量设置为128；学习率设置为0.001-0.1之间，迭代轮次为200次。
使用训练集中的时空图序列数据逐阶段训练模型。定义模型训练阶段的损失函数为均方根误差函数，采用反向传播算法，使得模型损失函数的值最小化，减少预测值与真实值之间的误差。均方根误差函数的公式如下：
其中yi为PM2.5浓度的真实值，pi为PM2.5浓度的预测值，n为预测序列的长度。
训练结束后，利用验证集中的数据调整模型超参数，直至模型最优。对于测试集，将其输入模型，得到预测结果，利用平均绝对误差、平方根误差和比较绝对百分数误差衡量模型的误差。计算公式如下：
其中Pi表示预测值，Oi表示实际值。n为测试集所含时空图的数量。若上述3个指标优于传统方法，说明模型满足预期，可以用于预测未来一定时间内的PM2.5浓度。
利用验证后的预测模型进行城市PM2.5预测。
综上所述，本发明所构建的基于图注意力网络(Graph Attention Network)和改进的长短期记忆网络(Improved Long Short-term Memory Network)的预测模型是建立在已存在的两种深度神经网络的研究之上，进行改进和组合的。利用这两种网络的优点，建立了一种可以预测未来一定时间内PM2.5浓度的模型。所使用的损失函数也是以往的研究中存在的，且被证明具有良好的评估结果准确性的作用。本发明针对现有预测方法的不足，充分利用各类时空大数据和已有的研究成果，提出了一种构建时空图序列的方法和一种混合预测模型。构建时空图序列的方法考虑了图节点之间的空间距离和特征相似度，既能够排除一些干扰邻居节点又能保留有效邻居。该模型以图注意力网络(GAT)为底层，能够为相邻节点分配不同的注意力系数来更新节点自身特征，从而提取污染物传播的非线性空间依赖；GAT网络的输出结果作为高层LSTM网络的输入，进而提取空气污染物数据的时间序列特征。改进的LSTM单元能够描述输入隐向量的变化程度，当输入数据发生剧烈变化时，能够及时重置记忆单元。实验结果表明，本发明和现有方法相比得到了更为具有精确的预测结果，因而具有实际的应用价值和前景。
Claims (10)
1.一种基于时空图网络的区域污染物时空联合预测方法，其特征在于，包括：
步骤S1：以PM2.5作为预测的空气污染物，构建空气污染物浓度预测模型，其中，所述空气污染物浓度预测模型包括图注意力网络和改进LSTM网络，以时空图序列数据为输入，预测区域未来一段时间内的PM2.5浓度为输出；
步骤S2：输入时空图序列数据至图注意力网络，获得各时刻污染物传播的空间关联；
步骤S3：根据各时刻污染物传播的空间关联，使用向量拉伸拼接的方法，构造各时刻的隐向量z；
步骤S4：将各时刻隐向量z作为改进LSTM网络的输入，得到预测结果，其中，所述改进LSTM网络中，内置有重置门，基于连续两个输入计算重置门的值，当重置门的值超限时，网络重置记忆。
2.根据权利要求1所述的一种基于时空图网络的区域污染物时空联合预测方法，其特征在于，所述时空图序列数据的构建过程包括：
步骤A1：将预测区域内所有监测站点处的空气污染物数据、气象数据、时空属性视为图信号，每个监测站点视为图网络的节点，建立节点特征向量；
步骤A2：计算所有监测站点间的距离和节点间特征向量相似度，在节点间距离小于200Km和相似度大于0.5的节点之间建立边，构建图网络；
步骤A3：将所有站点同一时刻采集的数据，按照步骤A1和A2建立节点和连边，构建为图结构，然后按照监测站点的采集时序，每个时刻建立一张图网络，最终将一段时间内的所有图网络构建为时空图序列数据。
3.根据权利要求1所述的一种基于时空图网络的区域污染物时空联合预测方法，其特征在于，所述空气污染物浓度预测模型具体以区域内多个监测站点的前72小时的时空图序列数据为输入，预测区域未来24小时的PM2.5浓度为输出。
4.根据权利要求1所述的一种基于时空图网络的区域污染物时空联合预测方法，其特征在于，所述改进LSTM网络的重置门具体为：
Zr＝sigmoid(Wr*[Zt，Zt-1]+br
其中：Zr为重置门，sigmoid为激活函数，Wr为权重矩阵，Zt为当前时刻的输入，Zt-1为上一时刻的输入，br为偏置项。
5.根据权利要求4所述的一种基于时空图网络的区域污染物时空联合预测方法，其特征在于，所述改进LSTM网络的状态更新过程具体包括：
步骤B1：判断重置门Zr是否小于或等于设定阈值K，若为是，则执行步骤B2，反之则执行步骤B3；
步骤B2：根据下式计算状态向量：
Ct＝Zr⊙Ct-1+(1-Zr)Zt
其中：Ct为当前时刻LSTM的状态向量，Ct-1为上一时刻的状态向量，
步骤B3：根据下式计算状态向量：
Ct＝Zf⊙Ct-1+Zi⊙Zt
其中：Zf为遗忘门，Zi为输入门，
步骤B4：确定改进LSTM网络的输出状态：
ht＝Zo⊙tanh(Ct)
其中：ht为当前时刻LSTM的输出，Zo为输出门。
6.一种基于时空图网络的区域污染物时空联合预测装置，包括处理器、存储器，以及存储于所述存储器并由处理器执行的程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
步骤S1：以PM2.5作为预测的空气污染物，构建空气污染物浓度预测模型，其中，所述空气污染物浓度预测模型包括图注意力网络和改进LSTM网络，以时空图序列数据为输入，预测区域未来一段时间内的PM2.5浓度为输出；
步骤S2：输入时空图序列数据至图注意力网络，获得各时刻污染物传播的空间关联；
步骤S3：根据各时刻污染物传播的空间关联，使用向量拉伸拼接的方法，构造各时刻的隐向量z；
步骤S4：将各时刻隐向量z作为改进LSTM网络的输入，得到预测结果，其中，所述改进LSTM网络中，内置有重置门，基于连续两个输入计算重置门的值，当重置门的值超限时，网络重置记忆。
7.根据权利要求6所述的一种基于时空图网络的区域污染物时空联合预测装置，其特征在于，所述时空图序列数据的构建过程包括：
步骤A1：将预测区域内所有监测站点处的空气污染物数据、气象数据、时空属性视为图信号，每个监测站点视为图网络的节点，建立节点特征向量；
步骤A2：计算所有监测站点间的距离和节点间特征向量相似度，在节点间距离小于200Km和相似度大于0.5的节点之间建立边，构建图网络；
步骤A3：将所有站点同一时刻采集的数据，按照步骤A1和A2建立节点和连边，构建为图结构，然后按照监测站点的采集时序，每个时刻建立一张图网络，最终将一段时间内的所有图网络构建为时空图序列数据。
8.根据权利要求6所述的一种基于时空图网络的区域污染物时空联合预测装置，其特征在于，所述空气污染物浓度预测模型具体以区域内多个监测站点的前72小时的时空图序列数据为输入，预测区域未来24小时的PM2.5浓度为输出。
9.根据权利要求6所述的一种基于时空图网络的区域污染物时空联合预测装置，其特征在于，所述改进LSTM网络的重置门具体为：
Zr＝sigmoid(Wr*[Zt，Zt-1]+br
其中：Zr为重置门，sigmoid为激活函数，Wr为权重矩阵，Zt为当前时刻的输入，Zt-1为上一时刻的输入，br为偏置项。
10.根据权利要求9所述的一种基于时空图网络的区域污染物时空联合预测装置，其特征在于，所述改进LSTM网络的状态更新过程具体包括：
步骤B1：判断重置门Zr是否小于或等于设定阈值K，若为是，则执行步骤B2，反之则执行步骤B3；
步骤B2：根据下式计算状态向量：
Ct＝Zr⊙Ct-1+(1-Zr)Zt
其中：Ct为当前时刻LSTM的状态向量，Ct-1为上一时刻的状态向量，⊙为矩阵的哈达玛积，
步骤B3：根据下式计算状态向量：
Ct＝Zf⊙Ct-1+Zi⊙Zt
其中：Zf为遗忘门，Zi为输入门，
步骤B4：确定改进LSTM网络的输出状态：
ht＝Zo⊙tanh(Ct)
其中：ht为当前时刻LSTM的输出，Zo为输出门。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725762.8A CN113516304B (zh) | 2021-06-29 | 2021-06-29 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110725762.8A CN113516304B (zh) | 2021-06-29 | 2021-06-29 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113516304A true CN113516304A (zh) | 2021-10-19 |
| CN113516304B CN113516304B (zh) | 2024-01-23 |
Family
ID=78066168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110725762.8A Active CN113516304B (zh) | 2021-06-29 | 2021-06-29 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516304B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114625971A (zh) * | 2022-05-12 | 2022-06-14 | 湖南工商大学 | 一种基于用户签到的兴趣点推荐方法及设备 |
| CN114997506A (zh) * | 2022-06-17 | 2022-09-02 | 西北师范大学 | 一种基于链路预测的大气污染传播路径预测方法 |
| CN117074627A (zh) * | 2023-10-16 | 2023-11-17 | 三科智能(山东)集团有限公司 | 基于人工智能的医疗实验室空气质量监测系统 |
| CN117313551A (zh) * | 2023-11-28 | 2023-12-29 | 中国科学院合肥物质科学研究院 | 基于gat-lstm的放射性核素扩散预测方法及系统 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201714917D0 (en) * | 2017-09-15 | 2017-11-01 | Spherical Defence Labs Ltd | Detecting anomalous application messages in telecommunication networks |
| CN107330410A (zh) * | 2017-07-03 | 2017-11-07 | 南京工程学院 | 复杂环境下基于深度学习的异常检测方法 |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| AU2018101513A4 (en) * | 2018-10-11 | 2018-11-15 | Hui, Bo Mr | Comprehensive Stock Prediction GRU Model: Emotional Index and Volatility Based |
| CN109142171A (zh) * | 2018-06-15 | 2019-01-04 | 上海师范大学 | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 |
| WO2019017462A1 (ja) * | 2017-07-21 | 2019-01-24 | 日本電信電話株式会社 | 満足度推定モデル学習装置、満足度推定装置、満足度推定モデル学習方法、満足度推定方法、およびプログラム |
| CN109492822A (zh) * | 2018-11-24 | 2019-03-19 | 上海师范大学 | 空气污染物浓度时空域关联预测方法 |
| CN109919358A (zh) * | 2019-01-31 | 2019-06-21 | 中国科学院软件研究所 | 一种基于神经网络时空注意力机制的实时站点流量预测方法 |
| WO2019154108A1 (zh) * | 2018-02-12 | 2019-08-15 | 阿里巴巴集团控股有限公司 | 处理交易数据的方法及装置 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| US20190349287A1 (en) * | 2018-05-10 | 2019-11-14 | Dell Products L. P. | System and method to learn and prescribe optimal network path for sdn |
| CN110765269A (zh) * | 2019-10-30 | 2020-02-07 | 华南理工大学 | 基于动态词向量和层级神经网络的文档级情感分类方法 |
| CN110782093A (zh) * | 2019-10-26 | 2020-02-11 | 福州大学 | 一种融合ssae深度特征学习和lstm网络的pm2.5小时浓度预测方法及系统 |
| CN111242351A (zh) * | 2019-12-31 | 2020-06-05 | 上海师范大学 | 基于自编码器和gru神经网络的热带气旋轨迹预测方法 |
| CN111310676A (zh) * | 2020-02-21 | 2020-06-19 | 重庆邮电大学 | 基于CNN-LSTM和attention的视频动作识别方法 |
| CN111338262A (zh) * | 2020-03-20 | 2020-06-26 | 湖南科技大学 | 基于arm的家用电器运行状态非侵入式检测装置及方法 |
| CN111832814A (zh) * | 2020-07-01 | 2020-10-27 | 北京工商大学 | 一种基于图注意力机制的空气污染物浓度预测方法 |
| CN111970163A (zh) * | 2020-06-30 | 2020-11-20 | 网络通信与安全紫金山实验室 | 一种基于注意力机制的lstm模型的网络流量预测方法 |
| CN112288156A (zh) * | 2020-10-26 | 2021-01-29 | 哈尔滨工程大学 | 基于元学习和图注意力时空神经网络的空气质量预测方法 |
-
2021
- 2021-06-29 CN CN202110725762.8A patent/CN113516304B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330410A (zh) * | 2017-07-03 | 2017-11-07 | 南京工程学院 | 复杂环境下基于深度学习的异常检测方法 |
| WO2019017462A1 (ja) * | 2017-07-21 | 2019-01-24 | 日本電信電話株式会社 | 満足度推定モデル学習装置、満足度推定装置、満足度推定モデル学習方法、満足度推定方法、およびプログラム |
| GB201714917D0 (en) * | 2017-09-15 | 2017-11-01 | Spherical Defence Labs Ltd | Detecting anomalous application messages in telecommunication networks |
| CN108009674A (zh) * | 2017-11-27 | 2018-05-08 | 上海师范大学 | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 |
| WO2019154108A1 (zh) * | 2018-02-12 | 2019-08-15 | 阿里巴巴集团控股有限公司 | 处理交易数据的方法及装置 |
| US20190349287A1 (en) * | 2018-05-10 | 2019-11-14 | Dell Products L. P. | System and method to learn and prescribe optimal network path for sdn |
| CN109142171A (zh) * | 2018-06-15 | 2019-01-04 | 上海师范大学 | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 |
| AU2018101513A4 (en) * | 2018-10-11 | 2018-11-15 | Hui, Bo Mr | Comprehensive Stock Prediction GRU Model: Emotional Index and Volatility Based |
| CN109492822A (zh) * | 2018-11-24 | 2019-03-19 | 上海师范大学 | 空气污染物浓度时空域关联预测方法 |
| CN109919358A (zh) * | 2019-01-31 | 2019-06-21 | 中国科学院软件研究所 | 一种基于神经网络时空注意力机制的实时站点流量预测方法 |
| CN110288157A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于注意力机制和lstm的径流预测方法 |
| CN110782093A (zh) * | 2019-10-26 | 2020-02-11 | 福州大学 | 一种融合ssae深度特征学习和lstm网络的pm2.5小时浓度预测方法及系统 |
| CN110765269A (zh) * | 2019-10-30 | 2020-02-07 | 华南理工大学 | 基于动态词向量和层级神经网络的文档级情感分类方法 |
| CN111242351A (zh) * | 2019-12-31 | 2020-06-05 | 上海师范大学 | 基于自编码器和gru神经网络的热带气旋轨迹预测方法 |
| CN111310676A (zh) * | 2020-02-21 | 2020-06-19 | 重庆邮电大学 | 基于CNN-LSTM和attention的视频动作识别方法 |
| CN111338262A (zh) * | 2020-03-20 | 2020-06-26 | 湖南科技大学 | 基于arm的家用电器运行状态非侵入式检测装置及方法 |
| CN111970163A (zh) * | 2020-06-30 | 2020-11-20 | 网络通信与安全紫金山实验室 | 一种基于注意力机制的lstm模型的网络流量预测方法 |
| CN111832814A (zh) * | 2020-07-01 | 2020-10-27 | 北京工商大学 | 一种基于图注意力机制的空气污染物浓度预测方法 |
| CN112288156A (zh) * | 2020-10-26 | 2021-01-29 | 哈尔滨工程大学 | 基于元学习和图注意力时空神经网络的空气质量预测方法 |
Non-Patent Citations (8)
| Title |
|---|
| DONGMING QIN 等: "A Novel Combined Prediction Scheme Based on CNN and LSTM for Urban PM2.5 Concentration", IEEE, pages 20050 - 20059 * |
| LEARNING TO FORGET: CONTINUAL PREDICTION WITH LSTM GERS, FA等: "Learning to forget: Continual prediction with LSTM", 9TH INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL NETWORKS (ICANN99) * |
| 姚程文;杨苹;刘泽健;: "基于CNN-GRU混合神经网络的负荷预测方法", 电网技术, no. 09 * |
| 张晶晶;黄浩;胡英;吾守尔・斯拉木;: "循环神经网络中基于特征融合的口语理解", 现代电子技术, no. 20 * |
| 谷丽琼;吴运杰;逄金辉;: "基于Attention机制的GRU股票预测模型", 系统工程, no. 05 * |
| 赵全明;宋子涛;李奇峰;郑文刚;刘宇;张钟莉莉;: "基于CNN-GRU的菇房多点温湿度预测方法研究", 农业机械学报, no. 09 * |
| 邹国建: "基于时空特征学习的区域空气污染物扩散趋势预测研究", 中国优秀硕士学位论文全文数据库（电子期刊）, pages 1 - 95 * |
| 金玉鹏: "基于改进自编码网络的空气污染物时序预测关键问题研究", 中国优秀硕士学位论文全文数据库（电子期刊）, pages 1 - 74 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114625971A (zh) * | 2022-05-12 | 2022-06-14 | 湖南工商大学 | 一种基于用户签到的兴趣点推荐方法及设备 |
| CN114625971B (zh) * | 2022-05-12 | 2022-09-09 | 湖南工商大学 | 一种基于用户签到的兴趣点推荐方法及设备 |
| CN114997506A (zh) * | 2022-06-17 | 2022-09-02 | 西北师范大学 | 一种基于链路预测的大气污染传播路径预测方法 |
| CN114997506B (zh) * | 2022-06-17 | 2024-05-14 | 西北师范大学 | 一种基于链路预测的大气污染传播路径预测方法 |
| CN117074627A (zh) * | 2023-10-16 | 2023-11-17 | 三科智能(山东)集团有限公司 | 基于人工智能的医疗实验室空气质量监测系统 |
| CN117074627B (zh) * | 2023-10-16 | 2024-01-09 | 三科智能(山东)集团有限公司 | 基于人工智能的医疗实验室空气质量监测系统 |
| CN117313551A (zh) * | 2023-11-28 | 2023-12-29 | 中国科学院合肥物质科学研究院 | 基于gat-lstm的放射性核素扩散预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113516304B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798051B (zh) | 基于长短期记忆神经网络的空气质量时空预测方法 | |
| CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| CN113516304A (zh) | 基于时空图网络的区域污染物时空联合预测方法及装置 | |
| CN110782093B (zh) | 融合ssae深度特征学习和lstm的pm2.5小时浓度预测方法及系统 | |
| CN112465243B (zh) | 一种空气质量预报方法及系统 | |
| CN108009674A (zh) | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 | |
| CN116721537A (zh) | 基于gcn-ipso-lstm组合模型的城市短时交通流预测方法 | |
| CN115564114B (zh) | 一种基于图神经网络的空域碳排放短期预测方法及系统 | |
| CN111814699B (zh) | 一种面向swarm电磁卫星数据的深度学习地震预测方法 | |
| CN115148019A (zh) | 一种基于节假日拥堵预测算法的预警方法及系统 | |
| CN114240000A (zh) | 一种基于时空图卷积网络的空气质量预测方法 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN112991721A (zh) | 基于图卷积网络节点关联度的城市路网交通速度预测方法 | |
| CN113947182B (zh) | 基于双阶段堆叠图卷积网络的交通流预测模型构建方法 | |
| CN115629160A (zh) | 一种基于时空图的空气污染物浓度预测方法及系统 | |
| CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
| CN116796168A (zh) | 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法 | |
| CN116384565A (zh) | 一种基于缺失数据填补的层次式大气臭氧浓度预测方法 | |
| CN117171546A (zh) | 一种结合污染扩散指数的城市空气质量预测方法 | |
| CN116797274A (zh) | 一种基于Attention-LSTM-LightGBM的共享单车需求量预测方法 | |
| CN114694767A (zh) | 基于时空图常微分方程网络的pm2.5浓度预测方法 | |
| CN117116045A (zh) | 一种基于时空序列深度学习的交通流量预测方法及装置 | |
| Song et al. | Spatio-temporal modeling for air quality prediction based on spectral graph convolutional network and attention mechanism | |
| CN114254828B (zh) | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |