CN114240000A

CN114240000A - 一种基于时空图卷积网络的空气质量预测方法

Info

Publication number: CN114240000A
Application number: CN202111669087.8A
Authority: CN
Inventors: 刘博�; 王明烁
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2021-12-31
Filing date: 2021-12-31
Publication date: 2022-03-25

Abstract

本发明公开了一种基于时空图卷积网络的空气质量预测方法，首先对数据集中各监测站点下的时序数据进行预处理，包括污染物浓度和气象因子观测值，并划分训练集、验证集和测试集；根据各监测站点的经纬度坐标构建邻接矩阵，然后一并输入至时空注意力机制卷积单元中。利用时空注意力机制捕获时空维度的动态相关性，通过在时间维度部署标准卷积和在空间维度部署图卷积网络分别捕获时空维度的特征及依赖。最后连接一层全连接层得到最终的输出。本发明可以更好的捕获数据中的时空特征及动态变化，纯卷积结构可以提高运算效率，减少因循环导致的误差积累，从而更好的完成预测任务。

Description

一种基于时空图卷积网络的空气质量预测方法

技术领域

本发明属于数据挖掘技术领域，特别涉及一种基于时空图卷积网络的空气质量预测方法。

背景技术

空气质量数据属于时空序列数据，同时具有时间和空间特性。目前空气质量预测的方法主要是基于传统参数的时间序列预测方法，例如差分自回归移动平均模型(Autoregressive Integrated MovingAverage Model，ARIMA)。通过计算物质守恒方程对大气中的污染物进行数值计算，旨在模拟一种真实的大气环境，并根据大气环境下的变化呈现出不同的预测结果，但该类方法忽略了空气质量数据的空间信息，且需要研究人员具有充分的先验知识，事先选定参数模型，并通过大量计算求解出相应的参数，速度较慢，且预测的准确率不高。在现今的大数据时代，基于机器学习的预测方法已被广泛应用。Shuyue Zhang等【1】于2020年使用长短期记忆网络(Long Short-Term Memory，LSTM)对空气质量进行预测，TAOYING LI 等【2】在LSTM的基础之上融合了卷积神经网络(Convolutional Neural Networks，CNN)，利用CNN直接有效地提取空气质量相关特征，利用LSTM学习输入时间序列数据的长期历史过程，均得到较好的预测效果。LSTM是一种特殊的循环神经网络(Recurrent Neural Network， RNN)，通过使用上一时刻学习得到的信息进行当前时刻的学习，从而可以很好地解决长时间依赖问题。

何加伟等【3】提出一种空气质量指数AQI的预测方法和装置，使用网格划分的方法融入地理位置信息，提高了预测AQI的准确度。但人为划分网格的方法较机械，无法使模型灵活的学习得到动态的空间特征，且时间特征和空间特征提取相对割裂，预测准确率不高。

发明内容

针对上述现有技术中的不足，本发明提出一种基于时空图卷积网络的空气质量预测方法。通过引入时空维度注意力机制以更好的关注空气质量时空序列数据中的动态相关性，同时在时间维度部署一维卷积以挖掘时间时序数据中的时间相关性，在空间维度部署图卷积网络以挖掘各站点间的空间相关性，从而对空气质量时空序列数据完成更加精准的预测任务。

本发明提出的一种基于时空图卷积网络的空气质量预测方法，首先将收集得到的数据集中的时间序列数据以及监测站点本身固有的空间数据分开处理。将时间序列数据进行缺失值填充等预处理工作，然后划分训练集、验证集和测试集，得到时间维度的输入数据。根据监测站点的空间位置数据得到带权邻接矩阵，得到全部监测站点在图结构上的统一表征，即空间维度的输入数据。然后将时空数据一并输入至时空注意力机制卷积单元中，该单元包括时空注意力机制层和时空卷积层。其中，利用时空注意力机制分别对时间维度和空间维度的重点信息给予更多的关注，从而获得更多的关键细节信息，提高模型对时空动态相关性的提取能力。在时空特征提取方面均采用卷积方式，通过在时间维度部署一维卷积层，可以在捕获时序特征的基础之上，减少随着预测步长增加所导致的误差累积现象，同时可以提高预测性能；空间维度则采用图卷积网络以适应各监测站点组成的非结构化拓扑图结构。最后连接一个全连接层，从而得到完整的基于时空图卷积网络的空气质量预测方法。

一种基于时空图卷积网络的空气质量预测方法，包括以下步骤：

步骤1、获取各监测站点的空气污染物因子浓度以及气象因子的历史时间序列数据，进行数据预处理，而后划分训练集、验证集和测试集，并作为时间维度的输入参量；

步骤2、获取各监测站点的地理位置信息数据，包括经纬度信息等，构建相应的图结构，并作为空间维度的输入参量；

步骤3、将经过所述预处理后的时序数据集与图结构一并输入至时空卷积单元，包括时空注意力机制模块和时空卷积模块，进行协同训练，以同时捕获时间和空间特性；

步骤4、将所述时空注意力机制模块和时空卷积模块协同训练后，级联一层全连接层，使模块的输出具有与预测目标相同的维度，从而输出最终的预测结果。

优选地，所述步骤1具体为：

步骤1.1、污染物因子数据采集：同一监测站点下不同污染物因子的历史时序数据，包括 CO、NO₂、SO₂、O₃、PM₁₀、PM_2.5，每个时刻污染物浓度向量为χ_t1＝ {C_t(CO),Ct₍NO₂),C_t(SO₂),C_t(O₃),C_t(PM₁₀),C_t(PM_2.5)}，向量中每个值代表不同污染物因子在 t时刻的浓度值；

步骤1.2、气象因子数据采集：同一监测站点下不同气象因子的历史时间序列数据，包括温度、风力、降雨量、湿度，每个时刻气象因子向量为χ_t2＝{Temp_t,Wind_t,Rain_t,Humi_t}，向量中每个值代表不同气象因子在t时刻的观测值；

步骤1.3、数据预处理：对上述所采集的空气污染物因子和气象因子的时序数据集进行缺失值填充和异常值处理，以得到完整可用的数据集；

步骤1.4、训练集、验证集、测试集划分：按照7:2:1的比例将原始数据集划分为训练集、验证集和测试集；

步骤1.5、数据归一化：利用最大最小归一化算法(Min-Max归一化)对划分好的训练集、验证集和测试集进行标准化处理，Min-Max标准化公式如下：

其中，max(x_i)代表数组中的最大值，min(x_i)代表数组中的最小值，x_i代表转换前的数据，x'_i表示经过归一化后的数据；

优选地，所述步骤2具体为：

步骤2.1、监测站点地理位置信息数据采集：收集所有监测站点的空间信息，包括经纬度信息等；

步骤2.2、图结构构建：根据上述所采集的各监测站点的地理位置信息数据，生成对应的带权邻接矩阵并构建相应的图结构，以表示地理空间数据的空间关系。图结构表示为：

G＝(V,E,A)

其中，G表示无向图，V表示节点集合，E表示边集合，代表节点之间的连接，A∈R^N×N表示节点的邻接矩阵；

优选地，所述步骤3具体为：

步骤3.1、空间注意力机制捕获节点中的动态相关性：将上述已经过数据预处理的历史时序数据和图结构输入至时空注意力机制模块，由空间注意力机制自适应的捕获节点中的动态相关性，公式如下：

S＝V_s·σ((χP₁)P₂(P₃χ)^T+b_s)

其中，χ∈R^N×C×T是时空模块的输入，C是输入时序数据的维度，T是输入时序数据的长度， V_s,b_s∈R^N×N，P₁∈R^T，P₂∈R^C×T，P₃∈R^C均为可学习参数，sigmoid作为激活函数。根据当前输入动态计算得到空间相关矩阵S，S'_i,j表示节点之间的相关强度。在进行图卷积时，同时使用邻接矩阵A和S'动态调整节点间的权重；

步骤3.2、时间注意力机制捕获时间片间的动态相关性：将上述已经过数据预处理的历史时序数据和图结构输入至时空注意力机制模块，由时间注意力机制自适应的捕获时间片间的动态相关性，公式如下：

E＝V_e·σ((χQ₁)Q₂(Q₃χ)^T+b_e)

其中，V_e,b_e∈R^T*T,Q₁∈R^N,Q₂∈R^C*N,Q₃∈R^C均为可学习参数，时间相关矩阵由不同的输入决定，E'_i,j代表不同时间片间的相关性。然后将通过归一化的时间相关矩阵作为输入，合并相关信息，动态调整输入得到

公式如下：

其中，

步骤3.3、图卷积捕获邻域空间依赖性：将上述经过时空注意力机制调整后的输出输入至时空卷积模块，由空间维度的图卷积捕获来自邻域的空间依赖性；

步骤3.3.1、计算图结构的拉普拉斯矩阵并归一化：

L＝D-A

其中，L∈R^N×N，归一化后为：

其中，A是邻接矩阵，I_N是单位矩阵，D∈R^N×N是度矩阵，由节点的度组成，也是对角矩阵， D_ii＝∑_jA_ij；

步骤3.3.2、拉普拉斯的特征值分解：

L＝UΛU^T

其中，Λ＝diag([λ₀,λ₁,…,λN_-1])是对角矩阵，U是傅里叶基；

步骤3.3.3、对节点信号进行图卷积操作，公式如下：

其中，*_G代表图卷积操作，θ∈R^K是多项式系数矩阵，

λ_max是拉普拉斯矩阵的最大特征值；

步骤3.3.4、使用线性整流函数(Rectified Linear Unit，ReLU)作为卷积模块的激活函数：

ReLU(g_θ*G_χ)

步骤3.4.5、动态调整节点间的相关性：

其中，

是切比雪夫递归多项式，T_k(x)＝2xT_k-1(x)-T_k-2(x),T₀(x)＝1,T₁(x)＝x；

步骤3.4、标准卷积捕获时间依赖性：将上述图卷积操作后的输出输入至时间卷积模块，由时间维度的标准卷积合并相邻时间片的信息，并更新节点信息，从而捕获时间依赖性：

其中，χ'∈R^C×N×T，*代表标注卷积，Φ是标准卷积核的参数，使用ReLU作为激活函数；

步骤3.5、本专利采用均方误差(Mean Square Error，MSE)作为损失函数，循环步骤3.1 至步骤3.4，直到模型收敛或迭代次数大于设定阈值。

本发明具有以下有益效果：

(1)本发明提出了一种基于时空图卷积网络的空气质量预测方法，提出一种时空注意力机制卷积单元，可以很好地完成同时对全部监测站点下历史数据的时空特征和时空动态相关性建模的目的，充分利用固有的空间结构信息并挖掘历史时序数据信息，以提高预测准确率；

(2)本发明中提出一种时空注意力机制模块，包含两种注意力机制：空间注意力机制和时间注意力机制。其中利用空间注意力机制自适应地捕获空间维度上节点间的动态相关性，利用时间注意力机制自适应地捕获时间维度上附近时间片的动态相关性，从而利用时空注意力机制模块捕获历史数据中的时空动态相关性；

(3)本发明中提出一种时空卷积模块，包含两种卷积：图卷积和标准卷积。其中利用图卷积捕获空间维度上每个节点的邻近信息，利用标准卷积捕获时间维度上附近时间片的信息，以更新节点信息，从而利用时空卷积模块捕获历史数据中的时空特性；

(4)本发明可以很好地解决传统方法需要大量人为干预调整数据的问题，通过模型学习可以有效且自动捕获数据间的隐含关系，在保证预测精度的基础上，可以极大的降低研究人员的工作量，同时可以为相关管理部门的防治措施以及广大人民群众的出行计划提供可靠的指导意见。

附图说明

图1为本发明提出的整体方法流程图

图2为本发明提出的时空注意力机制卷积单元框架图

具体实施方式

下面对本发明的具体实施方式进行描述，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

实施例

本发明的基本思想是充分利用各监测站点收集到的空气污染物因子和气象因子的时序数据，以及各监测站点本身固有的空间地理位置信息，以达到同时对空气质量数据的时空特征和动态相关性建模的目的。本发明提出一种时空注意力机制卷积单元，用以从时序数据以及空间地理位置信息中捕获时空依赖。

其中时空注意力机制卷积单元包含两部分：时空注意力机制模块和时空卷积模块。时空注意力机制模块中包含两种注意力机制，即空间注意力机制和时间注意力机制。在空间维度上，不同位置的空气状况是存在相互影响的，并且是高度动态相关的，同样在时间维度上，不同时间段的空气状况也存在相关性，且不同情况下相关性不同，故使用注意力机制来自适应的捕获动态时空相关性。时空卷积模块由空间维度上的图卷积和沿时间维度的标准卷积组成，利用图卷积操作捕获空间维度上每个节点的邻近信息，然后在时间维度上利用标准卷积堆叠以通过合并邻近时间片上的信息来更新节点的信号，从而捕获时空依赖。

时空注意力机制模块使网络自动对有价值的信息予以更多的关注，由时空注意力机制调整后的输出被输入到时空卷积模块中，由空间维度上的图卷积从邻居中捕获空间相关性，沿时间维度进行标准卷积，从附近的时间片中捕获时间依赖性，从而充分挖掘数据中的隐藏信息，提高空气质量预测的准确率。

如图1所示，本发明提供了一种基于时空图卷积网络的空气质量预测方法，该方法的具体实现步骤如下：

步骤1、获取各监测站点的空气污染物因子浓度以及气象因子的历史时间序列数据，进行数据预处理，而后划分训练集、验证集和测试集，并作为输入参量；

步骤1.1、获取各监测站点的空气污染物因子浓度历史时序数据并持久化到数据库存储：利用爬虫程序定时对中国天气网的污染物因子数据进行爬取，获取得到不同监测站点下逐时污染物因子浓度，并将数据持久化到数据库存储，作为时间维度的输入参量。本文应用到的城市范围内空气监测站点的历史污染物因子浓度数据，其中污染物因子包括CO、NO₂、SO₂、 O₃、PM₁₀、PM_2.5，然后构建每个时刻污染物因子浓度向量为χ_t1＝ {C_t(CO),C_t(NO₂),C_t(SO₂),C_t(O₃),C_t(PM₁₀),C_t(PM_2.5)}，向量中每个值代表不同污染物因子在 t时刻的浓度值；

步骤1.2、获取各监测站点的气象因子历史时序数据并持久化到数据库存储：利用爬虫程序定时对中国天气网的气象数据进行爬取，获取得到不同监测站点下逐时气象因子数值，并将数据持久化到数据库存储，作为输入参量。本文应用到的城市范围内空气监测站点的历史气象因子数据，包括温度、风力、降雨量和湿度，然后构建每个时刻气象因子向量为χ_t2＝ {Temp_t,Wind_t,Rain_t,Humi_t}，向量中每个值代表不同气象因子在t时刻的观测值；

步骤1.3、构建模型的输入数据和输出数据：构建模型的输入向量X＝{x₁,x₂,…,x_n}和输出向量Y＝{y₁,y₂,…,y_n}。X中的每个变量表示空气污染物浓度因子浓度和气象因子观测值，取当前时刻相关因子的历史数据；Y是期望输出，每个变量表示当前时刻未来24小时内逐时的空气污染物浓度因子浓度和气象因子数值。其中在空气质量预测中n为24；

步骤1.4、数据预处理：对上述所采集的空气污染物因子和气象因子的时序数据集进行缺失值填充和异常值处理，以得到完整可用的数据集；

步骤1.5、训练集、验证集、测试集划分：对所述经过数据预处理后的数据集以7:2:1的比例划分训练集、验证集和测试集；

步骤1.6、数据归一化：利用最大最小归一化算法(Min-Max归一化)对划分好的训练集、验证集和测试集进行标准化处理，归一化可以去除数据的量纲，数据将会被限制在一个很小的区间内，可以是[0,1]，[-1,1]等，归一化的主要目的是加快神经网络的收敛。Min-Max标准化公式如下：

步骤2、获取各监测站点的地理位置信息数据，构建相应的图结构，并作为输入参量；

步骤2.1、获取各监测站点的地理位置信息并持久化到数据库存存储：将本文应用到的城市范围内监测站点的经纬度信息数据持久化到数据库存储，即为各监测站点的空间位置信息，作为输入参量；

步骤2.2、图结构构建：根据上述所采集的各监测站点的地理位置信息数据，构建相应的图结构，以表示地理空间数据的空间关系。根据监测站点的经纬度信息，计算站点间具体的物理距离，以生成可以表征监测站点相对位置信息的邻接矩阵。

步骤3、将经过所述预处理后的时序数据集与图结构数据输入至时空注意力机制卷积单元，包括时空注意力机制模块和时空卷积模块，进行协同训练，以同时捕获时空间特征及动态相关性；

步骤3.1、空间注意力机制捕获节点中的动态相关性：将上述已经过数据预处理的历史时序数据和图结构数据输入至时空注意力机制模块，由空间注意力机制自适应的捕获相邻节点中的动态相关性，公式如下：

S＝V_s·σ((χP₁)P₂(P₃χ)^T+b_s)

步骤3.2、时间注意力机制捕获时间片间的动态相关性：将上述已经过数据预处理的历史时序数据和图结构数据输入至时空注意力机制模块，由时间注意力机制自适应的捕获附近时间片间的动态相关性，公式如下：

E＝Ve_·σ((χQ₁)Q₂(Q₃χ)^T+b_e)

其中，χ∈R^N×C×T是时空模块的输入，C是输入时序数据的维度，T是输入时序数据的长度， V_e,b_e∈R^T*T,Q₁∈R^N,Q₂∈R^C*N,Q₃∈R^C均为可学习参数，时间相关矩阵由不同的输入决定， E'_i,j代表不同时间片间的相关性。然后通过归一化的时间相关矩阵作为输入，合并相关信息，动态调整输入得到

公式如下：

其中，

步骤3.3.1、计算图结构的拉普拉斯矩阵并归一化：

L＝D-A

其中，L∈R^N×N，归一化后为：

步骤3.3.2、拉普拉斯的特征值分解：

L＝UΛU^T

其中，Λ＝diag([λ₀,λ₁,…,λ_N-1])是对角矩阵，U是傅里叶基；

步骤3.3.3、对节点信号进行图卷积操作，公式如下：

其中，*_G代表图卷积操作，θ∈R^K是多项式系数矩阵，

λ_max是拉普拉斯矩阵的最大特征值；

h＝ReLU(g_θ*_Gχ)

步骤3.4.5、动态调整节点间的相关性：

其中，

步骤3.4、标准卷积捕获时间依赖性：由时间维度的标准卷积合并相邻时间片的相关信息，并更新节点信息，从而捕获时间依赖性：

步骤3.5、本专利采用均方误差(Mean Square Error，MSE)作为损失函数，循环步骤3.1 至步骤3.4，直到模型收敛或迭代次数大于设定阈值。MSE公式具体如下：

其中y_i是污染物浓度的观测值，y_pi是污染物浓度的预测值；

本发明提出了一种基于时空图卷积网络的空气质量预测方法，设计一种时空注意力机制卷积单元，融合时空注意力机制模块和时空卷积模块。其中时空卷积模块包括空间维度的图卷积和时间维度的标准卷积，时空注意力机制模块使网络自动对有价值的信息予以更多关注，从而达到同时捕获数据中的动态时空相关性以及时空依赖的目的。

[1]Shuyue Zhang,Minfeng Lin,Xiuguo Zou,Steven Su,Wentian Zhang,XuhuiZhang,Zijie Guo. LSTM-based Air Quality Predicted Model for Large Cities inChina[J].Nature Environment& Polution Technology,2020,19(1).

[2]Li T,Hua M,Wu X.A Hybrid CNN-LSTM Model for ForecastingParticulate Matter(PM2.5) [J].IEEEAccess,2020,PP(99):1-1.

[3]何加伟,钟辉强,刘亮,尹存祥,方军.空气质量指数AQI的预测方法和装置[P].北京市： CN111222672A,2020-06-02.

Claims

1.一种基于时空图卷积网络的空气质量预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于时空图卷积网络的空气质量预测方法，其特征在于，所述步骤1具体为：

步骤1.1、污染物因子数据采集：同一监测站点下不同污染物因子的历史时序数据，包括CO、NO₂、SO₂、O₃、PM₁₀、PM_2.5，每个时刻污染物浓度向量为：χ_t1＝{C_t(CO)，C_t(NO₂)，C_t(SO₂)，C_t(O₃)，C_t(PM₁₀)，C_t(PM_2.5)}，向量中每个值代表不同污染物因子在t时刻的浓度值；

步骤1.2、气象因子数据采集：同一监测站点下不同气象因子的历史时间序列数据，包括温度、风力、降雨量、湿度，每个时刻气象因子向量为χ_t2＝{Temp_t，Wind_t，Rain_t，Humi_t}，向量中每个值代表不同气象因子在t时刻的观测值；

步骤1.3、数据预处理：对所采集的空气污染物因子和气象因子的时序数据集进行缺失值填充和异常值处理，得到完整可用的数据集；

步骤1.4、训练集、验证集、测试集划分：按照7∶2∶1的比例将原始数据集划分为训练集、验证集和测试集；

步骤1.5、数据归一化：利用最大最小归一化算法对划分好的训练集、验证集和测试集进行标准化处理，Min-Max标准化公式如下：

其中，max(x_i)代表数组中的最大值，min(x_i)代表数组中的最小值，x_i代表转换前的数据，x′_i表示经过归一化后的数据。

3.根据权利要求1所述的一种基于时空图卷积网络的空气质量预测方法，其特征在于，所述步骤2具体为：

步骤2.2、图结构构建：根据上述所采集的各监测站点的地理位置信息数据，生成对应的带权邻接矩阵并构建相应的图结构，以表示地理空间数据的空间关系；图结构表示为：

G＝(V，E，A)

其中，G表示无向图，V表示节点集合，E表示边集合，代表节点之间的连接，A∈R^N×N表示节点的邻接矩阵。

4.根据权利要求1所述的一种基于时空图卷积网络的空气质量预测方法，其特征在于，所述步骤3具体为：

步骤3.1、空间注意力机制捕获节点中的动态相关性：将上述已经过数据预处理的历史时序数据和图结构输入至时空注意力机制模块，由空间注意力机制自适应的捕获节点中的动态相关性，如下：

S＝V_s·σ((χP₁)P₂(P₃χ)^T+b_s)

其中，χ∈R^N×C×T是时空模块的输入，C是输入时序数据的维度，T是输入时序数据的长度，V_s，b_s∈R^N×N，P₁∈R^T，P₂∈R^C×T，P₃∈R^C均为可学习参数，sigmoid作为激活函数；根据当前输入动态计算得到空间相关矩阵S，S′_i，j表示节点之间的相关强度；在进行图卷积时，同时使用邻接矩阵A和S′动态调整节点间的权重；

E＝V_e·σ((χQ₁)Q₂(Q₃χ)^T+b_e)