CN114841400A - 基于多任务时空图卷积的空气质量预测方法 - Google Patents
基于多任务时空图卷积的空气质量预测方法 Download PDFInfo
- Publication number
- CN114841400A CN114841400A CN202210299336.7A CN202210299336A CN114841400A CN 114841400 A CN114841400 A CN 114841400A CN 202210299336 A CN202210299336 A CN 202210299336A CN 114841400 A CN114841400 A CN 114841400A
- Authority
- CN
- China
- Prior art keywords
- time
- site
- prediction
- air quality
- grained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010586 diagram Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000015654 memory Effects 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000004931 aggregating effect Effects 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 47
- 238000012544 monitoring process Methods 0.000 claims description 47
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 230000007774 longterm Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 16
- 238000004220 aggregation Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 239000013604 expression vector Substances 0.000 claims description 6
- 238000011425 standardization method Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 3
- 239000003344 environmental pollutant Substances 0.000 claims description 3
- 231100000719 pollutant Toxicity 0.000 claims description 3
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims description 2
- 230000006386 memory function Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 239000011541 reaction mixture Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003915 air pollution Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000003054 catalyst Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出基于多任务时空图卷积的空气质量预测方法。本发明所述方法使用记忆网络、注意力机制，多层图卷积网络等技术构建基于多任务的深度时空序列数据预测模型，利用单一站点的本地属性和整体站点的全局属性，动态的构建站点间的邻接关系图；利用多层图卷积分别聚合单一站点的时序关系以及邻居站点的空间关系；利用多任务协同训练策略既考虑细粒度站点级别的预测任务，也充分考虑了粗粒度城市级别的预测任务，大大提高了时空序列数据预测效果。
Description
技术领域
本发明属于时空数据挖掘技术领域，特别是涉及基于多任务时空图卷积的空气质量预测方法。
背景技术
随着工业化和城市化的不断发展，空气污染如今被认为是全世界人类共同体当前和未来的一个主要问题。空气污染通常被定义为由于人类活动或自然过程引起某些物质进入大气中呈现出足够危害生命健康的浓度。为了减轻人们长期暴露于空气污染的影响，准确的空气质量预测对政府决策以及个人都是至关重要的，例如可以帮助城市管理者制定更好的交通控制决策，大幅减少局部的严重污染(Francesca and Ivo 2008)。然而，由于空气质量与气象(风向、风速、温度等)、路网拓扑结构和区域功能性等因素有着复杂且动态的关系，给空气质量预测任务带来了很多的挑战。由于大气污染物的扩散本质是一个时空过程，因此时空相关性建模是空气质量预测任务的关键。
大量的研究工作使得空气质量预测方法在近几十年取得了长远的发展。最为基础常用的方法是像Li和Zhang分别在2017和2019年提出的那样简单的合并异构数据源在单一时间步的数据形成特征向量，并应用递归神经网络(RNN、GRU)来对非线性的时间序列进行建模。由于这类简单的方法没有考虑不同站点之间的空间关系，预测能力是有限的。Zheng在2013年提出了U-air模型，开始尝试利用站点间的空间关系辅助预测，简单的聚集邻居站点的空气质量监测读数、空间特征(POIs、路网)和气象数据提高了预测准确度。该模型显式表明了空间相关性是建模预测模型必不可少的一部分。然而，这些方法表现的空间相关性往往是静态的，不适合在整个训练中推广应用。由于动态空间关系建模的重要性，Cheng在2018年提出利用注意力机制区分不同站点对目标站点空气质量(AQI)的贡献权重。进一步地，Liang也在同年提出了改进版的预测模型，该模型在考虑地理空间相似度的同时学习不同时间步下动态的站点空间关系。
图卷积网络(GCN)近些年受到了越来越多的关注，并已经被应用于空气质量预测中站点间空间关系的建模。Wilson等在2018年提出通过图卷积获得监测站之间的高阶空间关系。Wang等在2021年将多种预定义的空间关系建模成底层图，并设计了一个基于GCN的并行编码模型，利用注意力机制获得不同空间关系的聚合特征。在该类框架中，图中的节点是监测站点的集合，图中的边代表成对监测站点之间的空间关联性。虽然现有的方法可以捕获复杂的时空相关性，但是仅仅考虑单个时间步的局部特征忽略了站点的整体全局模式，会使模型不稳定，此外计算空间关系预先确定的静态图结构并不是空气质量预测这种动态任务的最优解决方案。
对于时间相关性，虽然RNN被广泛的应用于时见相关性建模，例如Liet等在2017年采用堆叠的长短期记忆网络(LSTM)从历史空气质量数据和其他辅助数据中提取特征。Zhang等和Luo等在2019年采用编码器-解码器网络来模拟非线性的时间演变来对长期的空气质量序列进行建模。大多数现有的方法在建模时间相关性时都严重依赖RNN，若在时间序列相关性较弱或存在较多噪声的情况下，卷积网络由于稳定的梯度似乎比RNN更有优势。此外，监测站点之间的相关性不仅依赖于单一时间步的本地特征，还依赖于站点长期的全局特征，如周期性和趋势。由于推荐系统中短期意图和长期偏好共同建模可以提高推荐准确性，因此认为建模空间关系时考虑站点局部数据的同时考虑整体模式也会促进空气质量预测任务的学习。
发明内容
本发明目的是针对空气质量预测问题，克服现有技术的不足，提出了基于多任务时空图卷积的空气质量预测方法。本发明使用记忆网络、注意力机制，多层图卷积网络等技术构建基于多任务时空图卷积的空气质量预测方法，利用单一站点的本地属性和整体站点的全局属性，动态的构建站点间的邻接关系图；利用多层图卷积分别聚合单一站点的时序关系以及邻居站点的空间关系；利用多任务协同训练策略既考虑细粒度站点级别的预测任务，也充分考虑了粗粒度城市级别的预测任务，大大提高了时空序列数据预测效果。
本发明是通过以下技术方案实现的，本发明提出基于多任务时空图卷积的空气质量预测方法，所述方法包括以下步骤：
步骤1：获得站点空气质量监测数据集和细粒度的网格化气象数据集，构建POI数据集以及时间特征数据集，将数据集进行预处理并分为训练集、验证集和测试集，并将PM2.5作为目标污染物；
步骤2：构建基于多任务时空图卷积的空气质量预测模型；
步骤3：利用训练集对步骤2所述基于多任务时空图卷积的空气质量预测模型进行训练；
步骤4：将测试集中站点的时空序列数据输入到步骤3中训练后的基于多任务时空图卷积的空气质量预测模型，输出未来γ步的空气质量预测值。
进一步地，所述步骤1包括以下步骤：
步骤1.1：在空气质量监测数据集中，对每个站点的历史监测数据利用线性插值和最大最小标准化方法进行预处理；
步骤1.2：在网格化气象数据集中根据各个空气质量监测站点的经纬度将最近的气象监测站点数据作为该空气质量监测站点的气象数据，利用最大最小标准化方法进行预处理；
步骤1.3：从路网数据集中提取各站点周围的兴趣点信息，将各类兴趣点技术作为POI特征，进行最大最小标准化预处理；
步骤1.4：提取时间特征；
步骤1.5：将预处理好的数据集，划分为训练集、验证集和测试集。
进一步地，所述步骤2包括以下步骤：
步骤2.1：对每个时间步利用记忆网络和注意力机制构建动态的空间关系图；
步骤2.1.1：获得历史监测数据集中每个时间步的监测数据，将每个时间步的N个站点数据输入到特征重构模块，该特征重构模块是一个编码器-解码器结构，获得每个站点重构后的嵌入表示；
步骤2.1.2：构建每个站点的长期记忆单元；并将步骤2.1.1中重构的嵌入表示与长期模式嵌入表示进行聚合操作，得到最终的各站点该时间步的嵌入表示；
步骤2.1.3：根据步骤2.1.2得到的嵌入表示，利用注意力机制自适应得到成对站点间的影响权重构成每个时刻的空间关系图；
步骤2.2：利用图卷积网络和图神经网络分别对空间关联性和时间关联性建模；
步骤2.2.1：在每个时间步下，根据步骤2.1得到各个站点最终的嵌入表示以及N×N的邻接矩阵，进行拼接后输入到L层图卷积神经网络模块中，通过L层图卷积神经网络，聚合空间维度上的信息，得到每个站点融合K跳邻居后的嵌入表示；
步骤2.2.2：根据步骤2.2.1的操作，最终得到一个T×N的嵌入表示矩阵，T为历史时间序列长度，将该嵌入表示矩阵输入到CNN卷积神经网络模块中，聚合时间维度上的嵌入表示，得到最终各站点融合时空信息后的表示向量；
步骤2.3：利用多层的图神经网络构建站点的短期特征和长期模式，并利用多任务框架获得细粒度基于站点的预测任务和粗粒度基于城市的预测任务；
步骤2.3.1：将步骤2.2.2得到的融合时空信息后的表示向量分别输入到长期CNN预测模块和短期CNN预测模块中，得到最终的细粒度站点级别的预测序列；
步骤2.3.2：将步骤2.2.2得到的融合时空信息后的表示向量输入到另一个长期CNN预测模块中，得到最终的粗粒度城市级别的预测序列。
进一步地，所述步骤3包括以下步骤：
步骤3.1：将训练集中的数据输入到自适应空间关系图模块，得到一个时间序列下每个时间步不同的空间关系图；
步骤3.2：将步骤3.1得到的每个时间步不同的空间关系图输入到时空关系建模模块，得到各个站点每一时间步融合时空信息后的嵌入表示；
步骤3.3：将步骤3.2各个站点时空特征嵌入表示输入到多任务空气质量预测模块，得到细粒度站点级别的预测结果和粗粒度城市级别的预测结果；
步骤3.4：通过计算预测细粒度站点级别未来γ个时刻的PM2.5与真实PM2.5之间的误差来更新模型的参数以优化损失函数，训练得到最优的基于多任务时空图卷积的空气质量预测模型。
进一步地，所述步骤2.1.1中的特征重构模块的输入是步骤1中各个站点的特征向量，为了使模型训练更稳定，通过一个自动编码器得到重构后的特征向量作为后续模型的输入，特征重构模块通过以下步骤构建：
(1)构建一个编码器以原始特征向量作为输入，编码器为一层神经网络将原始输入编码成嵌入表示，具体计算公式如下：
h＝σ(Wx+b)
其中，x是站点原始的特征向量；W和b是编码器的变换矩阵；σ是激活函数；
(2)构建一个解码器以编码器的输出作为输入，解码器是一层神经网络将嵌入表示还原成与原始输入拥有相同维度的特征向量，具体计算公式如下：
其中，h是编码器最终的输出向量；W′和b′是解码器的变换矩阵，σ'为激活函数。
进一步地，所述步骤2.1.2中的记忆单元捕获各站点的长期模式，并利用一层全连接网络将各站点的长期模式表示与重构后的特征向量进行拼接得到最终的嵌入表示，具体计算步骤如下：
(1)为每个站点初始化一个记忆单元，记忆单元的记忆功能如下式记：
(2)最终的嵌入表征为
其中||表示拼接操作，β定义了记忆网络中的遗忘因子；矩阵Wm和Wh，以及向量bm和bh都是模型中的训练参数；起始状态下，
采用随机初始化。
进一步地，所述步骤2.1.3中通过注意力机制得到每个时刻动态的空间关系图结构，空间关联图的N个节点代表N个监测站点的集合，边代表的是当前时刻站点间的空间影响，具体计算步骤如下：
(1)将步骤2.1.2得到的每个站点最终的嵌入表示输入到注意力机制模块中，得到站点间的注意力得分，如下式记：
其中，Ws是注意力机制的变换矩阵，N是站点总数，σ是激活函数；公式中
和
分别是站点si和站点sj的嵌入表征；
(2)所有站点间的注意力得分构成了邻接矩阵
将动态邻接矩阵与一个单元矩阵进行拼接然后进行标准化处理得到最终的邻接矩阵，计算公式如下：
其中，
是一个N×N的单元矩阵，Dt是t时刻所有站点构成的对角矩阵。
进一步地，所述步骤2.2对应的时空建模模块分别对空间和时间进行聚合，输入为各站点最终的历史特征嵌入表示以及动态邻接矩阵，通过以下步骤实现：
(1)首先进行空间聚合，在每个时间步，已知各站点最终的历史特征嵌入表示和动态的邻接矩阵，利用多层图卷积层聚合多跳邻居站点的信息，具体公式如下：
其中，Ht聚合了t时刻所有站点的空间信息，l代表卷积网络的聚合步数，也就是l跳邻居站点的信息；
是空间图卷积的变换矩阵，其中h是站点特征的维度；
(2)对T个时间步的N个监测站点都进行空间聚合，得到一个T×N的矩阵，接下来进行时间维度的聚合，在该T×N的矩阵中应用卷积核为Γ×1，padding为(1，0)的卷积神经网络聚合纵向时间维度特征，具体公式如下：
其中，
表示站点si在t时刻的邻居站点集合，Γ为时间维度上的聚合跨度；由于历史监测数据是有序的，应用时间卷积网络得到最终的站点表征，具体公式如下：
其中，
是站点si在t时刻融合空间信息后的嵌入表示，θD是时间卷积网络的参数集合。
进一步地，步骤2.3.2中所述的粗粒度城市级别的预测任务作为辅助任务，利用卷积神经网络得到粗粒度的城市空气质量预测结果，具体计算公式如下：
其中，N是站点数量，
是每个时间步所有站点时空数据的平均值；θA是粗粒度站点级别预测任务中卷积神经网络的参数集合。
进一步地，步骤3.4中所述的损失函数结合细粒度站点级别的预测误差和粗粒度城市级别的预测误差，具体计算如下：
其中M训练样本的个数，γ是预测时间窗口，α是平衡细粒度站点级别预测损失和粗粒度城市级别损失的参数。
与现有技术相比，本发明的有益效果是提供了基于多任务时空图卷积的空气质量预测方法，充分考虑和挖掘站点间动态的空间关系以及站点本身监测序列的时间关系，基于站点的空气质量监测数据、气象数据以及路网数据并利用记忆网络、注意力机制和(图)卷积神经网络等技术构建多任务的预测模型，提升空气质量预测准确度并缓解数据不平稳的问题。
附图说明
图1为基于多任务时空图卷积的空气质量预测方法流程图；
图2为基于多任务时空图卷积的空气质量预测模型框架图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1-2，本发明提供了基于多任务时空图卷积的空气质量预测方法，具体包括以下步骤：
步骤1：获得空气质量监测数据、气象数据、路网数据等，将数据集进行预处理并分为训练集、验证集和测试集；
所述步骤1具体包含以下步骤：
步骤1.1：从历史的空气质量监测数据中，提取各个站点的监测数据，例如PM2.5、PM10、NO2、SO2、CO、O3等信息；
步骤1.2：从历史的气象监测数据集中，提取网格化的气象监测数据以及气象监测站点的经纬度坐标结合空气质量监测站点的经纬度坐标，计算出空气质量监测站点与各气象监测站点之间的距离，将离每个空气质量监测站点最近的气象监测站点的数据作为该空气监测站点的气象数据，包括风速、风向、温度、湿度、气压等气象信息；
步骤1.3：从路网数据集中，以每个站点为中心r为半径，提取每个站点周围的兴趣点类别数据以及路网拓扑数据，例如工业厂区、公园、娱乐场所、餐馆、高速公路、小路等路网相关信息；
步骤1.4：提取时间特征(小时、星期以及月份)；
步骤1.5：将数据集进行预处理，以8:1:1的比例划分为训练集、验证集和测试集。
步骤2：构建基于多任务时空图卷积的空气质量预测模型；
所述步骤2具体包含以下步骤：
步骤2.1：对每个时间步利用记忆网络和注意力机制构建动态的空间关系图；
所述步骤2.1中，由于空气质量监测数据都是数值类信息，且数据中有缺失数据，利用线性插值方法填充缺失数据后，采用最大最小标准化方法进行预处理得到初始的嵌入表示；
所述步骤2.1中，对于气象数据和路网数据，由于这两个数据集比较完整，去掉异常最小值后采用最大最小标准化方法得到初始的嵌入表示；
所述步骤2.1中，每个站点最终的嵌入表示为空气监测数据、气象数据和路网数据初始嵌入表示序列的融合；
所述步骤2.1中的监测站点空间关系图(G)是根据监测站点的实时数据动态构建的，如图2绿色虚线框中所示，节点即空气质量监测站点集合，边即成对空气质量监测站点之间动态的空间关系，并通过以下步骤构建：
(1)在任意时刻t，对于站点的实时特征(xt)，采用自动编码器的方法将原始特征xt进行重构，目的是提高样本的平稳性，减轻异常数据对训练造成的影响。自动编码器如下公式计：
h＝σ(Wx+b)
其中，x是站点原始的特征向量，h是编码器最终的输出向量；σ和σ'分别是编码器和解码器的激活函数，W和W'分别是编码器和解码器的变换矩阵，b和b'分别是编码器和解码器的偏差向量。
(2)在任意时刻t，对于站点的长期模式特征，采用记忆网络的方法学习各站点的长期序列模式，记忆网络的输入为上一步骤得到的该时间步重构后的特征以及上一时间步记忆网络的输出，可通过下式计：
其中||表示拼接操作，
是站点si重构后的嵌入表示，β定义了记忆网络中的遗忘因子；σ是记忆网络的激活函，
是站点si在t-1时刻的长期模式嵌入表示，矩阵Wm和向量bm是记忆网络模型中的变换矩阵以及偏差向量。
(3)最终各个站点的特征表达是重构后的短期实时数据特征
与长期序列模式
的融合，计为下式：
其中||表示拼接操作，σ是特征融合的激活函数，矩阵Wh和向量bh是特征融合网络的变换矩阵以及偏差向量。
(4)根据上一步骤得到的站点长短期特征融合过的数据，采用注意力机制对不同站点之间边(空间)的关系进行动态建模，图G中任意两个节点si和sj之间的注意力打分根据下式计：
其中，Ws是注意力机制的变换矩阵，N是站点总数，σ是激活函数；公式中
和
分别是站点si和站点sj的嵌入表征。
(5)根据上一步骤，每对站点之间都可计算出一个权重值，也就是空间图G中边的权重；此外由于空气污染的扩散特性，站点的空间关系图应当包含每个站点的自环，因此可通过如下公式计算出每个时刻空间图G的邻接矩阵：
其中，
是一个N×N的单元矩阵，Dt是t时刻所有站点构成的对角矩阵；At是t时刻每对站点之间空间关系构成的邻接矩阵，
是t时刻最终的站点空间关系图。因此可以看出，这种自适应邻接矩阵的方法更切合空气质量数据预测的实际场景。
步骤2.2：利用图卷积网络和图神经网络分别对空间关联性和时间关联性建模；
如图2蓝色虚线框内所示，所述步骤2.2中包括空间维度信息融合和时间维度信息融合。空间维度信息融合所需的空间关系图为步骤2.1所述的动态的空间关系图，并将空间信息融合后的结构作为时间维度信息融合的输入，具体通过以下步骤构建：
(1)在任意时刻t，空间维度的信息聚合的节点集合是步骤2.1中所述的所有空气监测站点的集合，根据步骤2.1得到的自适应空间关系图(邻接矩阵A)，采用图卷积网络(GCN)方法聚合多层邻居站点的信息得到融合多层空间关系后的节点嵌入表示，具体如下式计：
其中，Ht聚合了t时刻所有站点的空间信息；
是t时刻最终的站点空间关系图，l代表卷积网络的聚合步数，也就是l跳邻居站点的信息；Et是t时刻所有站点嵌入表征的集合；
是空间图卷积的变换矩阵，其中h是站点特征的维度。
(2)对于时间维度的信息聚合，根据上一步骤得到每一时刻空间信息融合后的结果{H1,H2,H3,…,HT}，其中T为历史时间窗口，采用卷积核为((2×Γ)+1，1)的卷积神经网络聚合时间维度的信息，如下式计：
其中，
表示站点si在t时刻的邻居站点集合，Γ为时间维度上的聚合跨度；
是站点si在t时刻融合空间信息后的嵌入表示，θD是时间卷积网络的参数集合。
步骤2.3：利用多层的图神经网络构建站点的短期特征和长期模式，并利用多任务框架获得细粒度基于站点的预测任务和粗粒度基于城市的预测任务；
所述步骤2.3中多任务空气质量预测模型包含一个主任务和一个辅助任务，主任务为细粒度站点级别的空气质量预测任务；辅助任务为粗粒度城市级别的空气质量预测任务，如图2红色虚线框中所示，主任务和辅助任务采用不同的网络进行训练，具体通过以下步骤构建：
(1)主任务是细粒度站点级别的预测任务，根据步骤2.2所述得到各个站点融合时空信息后的嵌入表示，分别考虑站点本身长期时间序列不同时间步对未来空气质量的影响以及短期内邻居站点由于拓扑关系对未来空气质量的影响。具体通过以下步骤构建：
·由于历史每个时间步对预测未来空气质量的权重不应相同，采用纵向卷积神经网络(CNN)的方法自动学到不同时间步下的权重，如下式计：
其中，
是所有站点融合时空信息后的嵌入表征，θL是长期不同时间步依赖建模中卷积神经网络的参数集合。
·除了站点本身历史监测预测的长期影响，站点未来的空气质量也与邻居站点最近n个时刻的历史监测数据有关，采用横向卷积神经网络(CNN)的方法计算邻居站点对目标站点的短期影响权重，如下式计：
其中，
是最近的n步各站点时空信息融合后的嵌入表征，N是站点数量；θS是短期空间依赖建模中卷积神经网络的参数集合。
·细粒度站点级别的预测任务是上述两方面的融合，如下式计：
其中，Wo和bo是细粒度站点级别预测的变换矩阵。
(2)辅助任务是粗粒度城市级别的预测任务，根据步骤2.2所述得到各个站点融合时空信息后的嵌入表示，将每一时间步各站点的嵌入表示求平均作为整个城市粗粒度的嵌入表示，采用如下公式利用卷积神经网络(CNN)对未来时间步做出预测：
其中，N是站点数量，
是每个时间步所有站点时空数据的平均值；θA是粗粒度站点级别预测任务中卷积神经网络的参数集合。
步骤3：利用训练集对步骤2所述基于多任务时空图卷积的空气质量预测模型进行训练；
步骤3.1：将训练集中的数据输入到自适应空间关系图模块，得到一个时间序列下每个时间步不同的空间关系图；
步骤3.2：将3.1得到的每个时间步不同的空间关系图输入到时空关系建模模块，得到各个站点每一时间步融合时空信息后的嵌入表示；
步骤3.3：将3.2学到站点时空特征表示输入到多任务空气质量预测模块，得到细粒度站点级别的预测结果和粗粒度城市级别的预测结果；
步骤3.4：通过计算预测细粒度站点级别未来γ个时刻的PM2.5与真实PM2.5之间的误差来更新模型的参数以优化损失函数，训练得到最优的基于多任务时空图卷积的空气质量预测模型。
优选的，步骤3.4中所述的损失函数具体计算如下：
其中M训练样本的个数，γ是预测时间窗口，α是平衡细粒度站点级别预测损失和粗粒度城市级别损失的参数。
步骤3.5：每K次数训练后，将验证集中的数据输入到步骤3.4训练好的基于多任务时空图卷积的空气质量预测模型，得到验证集中各个站点未来γ个时间步的空气质量值(PM2.5)；
步骤3.6：计算验证集中预测空气质量值与真实空气质量值之间的误差，不更新网络参数，验证集的目的就是未来辅助训练找到最优的超参数使得预测准确度最高。
步骤4：将测试集中待预测的历史时间窗口下的空气质量监测数据、历史气象数据、路网数据等信息输入到步骤3中已经训练好的基于多任务时空图卷积的空气质量预测模型，得到各个站点未来γ个时间步的空气质量值(PM2.5)。
以上对本发明所提出的基于多任务时空图卷积的空气质量预测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.基于多任务时空图卷积的空气质量预测方法，其特征在于，所述方法包括以下步骤：
步骤1：获得站点空气质量监测数据集和细粒度的网格化气象数据集，构建POI数据集以及时间特征数据集，将数据集进行预处理并分为训练集、验证集和测试集，并将PM2.5作为目标污染物；
步骤2：构建基于多任务时空图卷积的空气质量预测模型；
步骤3：利用训练集对步骤2所述基于多任务时空图卷积的空气质量预测模型进行训练；
步骤4：将测试集中站点的时空序列数据输入到步骤3中训练后的基于多任务时空图卷积的空气质量预测模型，输出未来γ步的空气质量预测值。
2.根据权利要求1所述的方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1：在空气质量监测数据集中，对每个站点的历史监测数据利用线性插值和最大最小标准化方法进行预处理；
步骤1.2：在网格化气象数据集中根据各个空气质量监测站点的经纬度将最近的气象监测站点数据作为该空气质量监测站点的气象数据，利用最大最小标准化方法进行预处理；
步骤1.3：从路网数据集中提取各站点周围的兴趣点信息，将各类兴趣点技术作为POI特征，进行最大最小标准化预处理；
步骤1.4：提取时间特征；
步骤1.5：将预处理好的数据集，划分为训练集、验证集和测试集。
3.根据权利要求1所述的方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1：对每个时间步利用记忆网络和注意力机制构建动态的空间关系图；
步骤2.1.1：获得历史监测数据集中每个时间步的监测数据，将每个时间步的N个站点数据输入到特征重构模块，该特征重构模块是一个编码器-解码器结构，获得每个站点重构后的嵌入表示；
步骤2.1.2：构建每个站点的长期记忆单元；并将步骤2.1.1中重构的嵌入表示与长期模式嵌入表示进行聚合操作，得到最终的各站点该时间步的嵌入表示；
步骤2.1.3：根据步骤2.1.2得到的嵌入表示，利用注意力机制自适应得到成对站点间的影响权重构成每个时刻的空间关系图；
步骤2.2：利用图卷积网络和图神经网络分别对空间关联性和时间关联性建模；
步骤2.2.1：在每个时间步下，根据步骤2.1得到各个站点最终的嵌入表示以及N×N的邻接矩阵，进行拼接后输入到L层图卷积神经网络模块中，通过L层图卷积神经网络，聚合空间维度上的信息，得到每个站点融合K跳邻居后的嵌入表示；
步骤2.2.2：根据步骤2.2.1的操作，最终得到一个T×N的嵌入表示矩阵，T为历史时间序列长度，将该嵌入表示矩阵输入到CNN卷积神经网络模块中，聚合时间维度上的嵌入表示，得到最终各站点融合时空信息后的表示向量；
步骤2.3：利用多层的图神经网络构建站点的短期特征和长期模式，并利用多任务框架获得细粒度基于站点的预测任务和粗粒度基于城市的预测任务；
步骤2.3.1：将步骤2.2.2得到的融合时空信息后的表示向量分别输入到长期CNN预测模块和短期CNN预测模块中，得到最终的细粒度站点级别的预测序列；
步骤2.3.2：将步骤2.2.2得到的融合时空信息后的表示向量输入到另一个长期CNN预测模块中，得到最终的粗粒度城市级别的预测序列。
4.根据权利要求1所述的方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1：将训练集中的数据输入到自适应空间关系图模块，得到一个时间序列下每个时间步不同的空间关系图；
步骤3.2：将步骤3.1得到的每个时间步不同的空间关系图输入到时空关系建模模块，得到各个站点每一时间步融合时空信息后的嵌入表示；
步骤3.3：将步骤3.2各个站点时空特征嵌入表示输入到多任务空气质量预测模块，得到细粒度站点级别的预测结果和粗粒度城市级别的预测结果；
步骤3.4：通过计算预测细粒度站点级别未来γ个时刻的PM2.5与真实PM2.5之间的误差来更新模型的参数以优化损失函数，训练得到最优的基于多任务时空图卷积的空气质量预测模型。
5.根据权利要求3所述的方法，其特征在于，所述步骤2.1.1中的特征重构模块的输入是步骤1中各个站点的特征向量，为了使模型训练更稳定，通过一个自动编码器得到重构后的特征向量作为后续模型的输入，特征重构模块通过以下步骤构建：
(1)构建一个编码器以原始特征向量作为输入，编码器为一层神经网络将原始输入编码成嵌入表示，具体计算公式如下：
h＝σ(Wx+b)
其中，x是站点原始的特征向量；W和b是编码器的变换矩阵；σ是激活函数；
(2)构建一个解码器以编码器的输出作为输入，解码器是一层神经网络将嵌入表示还原成与原始输入拥有相同维度的特征向量，具体计算公式如下：
其中，h是编码器最终的输出向量；W′和b′是解码器的变换矩阵，σ'为激活函数。
6.根据权利要求3所述的方法，其特征在于，所述步骤2.1.2中的记忆单元捕获各站点的长期模式，并利用一层全连接网络将各站点的长期模式表示与重构后的特征向量进行拼接得到最终的嵌入表示，具体计算步骤如下：
(1)为每个站点初始化一个记忆单元，记忆单元的记忆功能如下式记：
(2)最终的嵌入表征为
其中||表示拼接操作，β定义了记忆网络中的遗忘因子；矩阵Wm和Wh，以及向量bm和bh都是模型中的训练参数；起始状态下，
采用随机初始化。
7.根据权利要求3所述的方法，其特征在于，所述步骤2.1.3中通过注意力机制得到每个时刻动态的空间关系图结构，空间关联图的N个节点代表N个监测站点的集合，边代表的是当前时刻站点间的空间影响，具体计算步骤如下：
(1)将步骤2.1.2得到的每个站点最终的嵌入表示输入到注意力机制模块中，得到站点间的注意力得分，如下式记：
其中，Ws是注意力机制的变换矩阵，N是站点总数，σ是激活函数；公式中
和
分别是站点si和站点sj的嵌入表征；
(2)所有站点间的注意力得分构成了邻接矩阵
将动态邻接矩阵与一个单元矩阵进行拼接然后进行标准化处理得到最终的邻接矩阵，计算公式如下：
其中，
是一个N×N的单元矩阵，Dt是t时刻所有站点构成的对角矩阵。
8.根据权利要求7所述的方法，其特征在于，所述步骤2.2对应的时空建模模块分别对空间和时间进行聚合，输入为各站点最终的历史特征嵌入表示以及动态邻接矩阵，通过以下步骤实现：
(1)首先进行空间聚合，在每个时间步，已知各站点最终的历史特征嵌入表示和动态的邻接矩阵，利用多层图卷积层聚合多跳邻居站点的信息，具体公式如下：
其中，Ht聚合了t时刻所有站点的空间信息，l代表卷积网络的聚合步数，也就是l跳邻居站点的信息；
是空间图卷积的变换矩阵，其中h是站点特征的维度；
(2)对T个时间步的N个监测站点都进行空间聚合，得到一个T×N的矩阵，接下来进行时间维度的聚合，在该T×N的矩阵中应用卷积核为Γ×1，padding为(1，0)的卷积神经网络聚合纵向时间维度特征，具体公式如下：
其中，
表示站点si在t时刻的邻居站点集合，Γ为时间维度上的聚合跨度；由于历史监测数据是有序的，应用时间卷积网络得到最终的站点表征，具体公式如下：
其中，
是站点si在t时刻融合空间信息后的嵌入表示，θD是时间卷积网络的参数集合。
9.根据权利要求3所述的方法，其特征在于，步骤2.3.2中所述的粗粒度城市级别的预测任务作为辅助任务，利用卷积神经网络得到粗粒度的城市空气质量预测结果，具体计算公式如下：
其中，N是站点数量，
是每个时间步所有站点时空数据的平均值；θA是粗粒度站点级别预测任务中卷积神经网络的参数集合。
10.根据权利要求9所述的方法，其特征在于，步骤3.4中所述的损失函数结合细粒度站点级别的预测误差和粗粒度城市级别的预测误差，具体计算如下：
其中M训练样本的个数，γ是预测时间窗口，α是平衡细粒度站点级别预测损失和粗粒度城市级别损失的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299336.7A CN114841400A (zh) | 2022-03-25 | 2022-03-25 | 基于多任务时空图卷积的空气质量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210299336.7A CN114841400A (zh) | 2022-03-25 | 2022-03-25 | 基于多任务时空图卷积的空气质量预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114841400A true CN114841400A (zh) | 2022-08-02 |
Family
ID=82562814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210299336.7A Pending CN114841400A (zh) | 2022-03-25 | 2022-03-25 | 基于多任务时空图卷积的空气质量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114841400A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307212A (zh) * | 2023-03-24 | 2023-06-23 | 淮阴工学院 | 一种新型空气质量预测方法及系统 |
| CN116341763A (zh) * | 2023-05-23 | 2023-06-27 | 西南交通大学 | 一种空气质量预测方法 |
| CN116485202A (zh) * | 2023-04-25 | 2023-07-25 | 北京建工环境修复股份有限公司 | 一种基于物联网工业污染实时监测方法及系统 |
| CN117074627A (zh) * | 2023-10-16 | 2023-11-17 | 三科智能(山东)集团有限公司 | 基于人工智能的医疗实验室空气质量监测系统 |
-
2022
- 2022-03-25 CN CN202210299336.7A patent/CN114841400A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116307212A (zh) * | 2023-03-24 | 2023-06-23 | 淮阴工学院 | 一种新型空气质量预测方法及系统 |
| CN116307212B (zh) * | 2023-03-24 | 2023-12-19 | 淮阴工学院 | 一种空气质量预测方法及系统 |
| CN116485202A (zh) * | 2023-04-25 | 2023-07-25 | 北京建工环境修复股份有限公司 | 一种基于物联网工业污染实时监测方法及系统 |
| CN116485202B (zh) * | 2023-04-25 | 2024-03-08 | 北京建工环境修复股份有限公司 | 一种基于物联网工业污染实时监测方法及系统 |
| CN116341763A (zh) * | 2023-05-23 | 2023-06-27 | 西南交通大学 | 一种空气质量预测方法 |
| CN116341763B (zh) * | 2023-05-23 | 2023-07-28 | 西南交通大学 | 一种空气质量预测方法 |
| CN117074627A (zh) * | 2023-10-16 | 2023-11-17 | 三科智能(山东)集团有限公司 | 基于人工智能的医疗实验室空气质量监测系统 |
| CN117074627B (zh) * | 2023-10-16 | 2024-01-09 | 三科智能(山东)集团有限公司 | 基于人工智能的医疗实验室空气质量监测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114841400A (zh) | 基于多任务时空图卷积的空气质量预测方法 | |
| CN111832814B (zh) | 一种基于图注意力机制的空气污染物浓度预测方法 | |
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| CN111798051B (zh) | 基于长短期记忆神经网络的空气质量时空预测方法 | |
| CN112651665B (zh) | 一种基于图神经网络的地表水水质指标预测方法和装置 | |
| CN113222328B (zh) | 基于路段污染相似性的空气质量监测设备布点选址方法 | |
| CN108009674A (zh) | 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法 | |
| CN109887282A (zh) | 一种基于层级时序图卷积网络的路网交通流预测方法 | |
| CN109063908B (zh) | 一种基于深度多任务学习的城市aqi预测与空间细粒度aqi等级估计方法 | |
| CN109214592A (zh) | 一种多模型融合的深度学习的空气质量预测方法 | |
| CN110738355B (zh) | 一种基于神经网络的城市内涝预测方法 | |
| CN111091712A (zh) | 一种基于循环注意力对偶图卷积网络的交通流量预测方法 | |
| CN112085163A (zh) | 一种基于注意力增强图卷积神经网络agc和门控循环单元gru的空气质量预测方法 | |
| CN107346459B (zh) | 一种基于遗传算法改进的多模式污染物集成预报方法 | |
| CN110164129B (zh) | 基于gernn的单交叉口多车道交通流量预测方法 | |
| CN111554118B (zh) | 一种公交车到站时间的动态预测方法及系统 | |
| CN113516304B (zh) | 基于时空图网络的区域污染物时空联合预测方法及装置 | |
| CN110826244B (zh) | 模拟轨道交通影响城市生长的共轭梯度元胞自动机方法 | |
| Zou et al. | Air quality prediction based on a spatiotemporal attention mechanism | |
| CN113112791A (zh) | 一种基于滑动窗口长短时记忆网络的交通流量预测方法 | |
| CN113194493B (zh) | 基于图神经网络的无线网络数据缺失属性恢复方法及装置 | |
| CN114694767B (zh) | 基于时空图常微分方程网络的pm2.5浓度预测方法 | |
| CN115629160A (zh) | 一种基于时空图的空气污染物浓度预测方法及系统 | |
| CN113345236A (zh) | 一种基于Transformer网络的时空交通状态预测方法 | |
| CN115376317A (zh) | 一种基于动态图卷积和时序卷积网络的交通流预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |