CN113159409B - 一种基于组感知图神经网络的全国城市空气质量预测方法 - Google Patents

一种基于组感知图神经网络的全国城市空气质量预测方法 Download PDF

Info

Publication number
CN113159409B
CN113159409B CN202110401013.XA CN202110401013A CN113159409B CN 113159409 B CN113159409 B CN 113159409B CN 202110401013 A CN202110401013 A CN 202110401013A CN 113159409 B CN113159409 B CN 113159409B
Authority
CN
China
Prior art keywords
city
group
representation
air quality
cities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110401013.XA
Other languages
English (en)
Other versions
CN113159409A (zh
Inventor
陈岭
许佳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110401013.XA priority Critical patent/CN113159409B/zh
Publication of CN113159409A publication Critical patent/CN113159409A/zh
Application granted granted Critical
Publication of CN113159409B publication Critical patent/CN113159409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
    • Y02A50/20—Air quality improvement or preservation, e.g. vehicle emission control or emission reduction by using catalytic converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Operations Research (AREA)
  • Food Science & Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Combustion & Propulsion (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)

Abstract

本发明公开了一种基于组感知图神经网络的全国城市空气质量预测方法，包括：1)对城市空气质量监测数据和天气数据进行预处理，并利用滑动时间窗口得到训练数据集；2)根据城市的地理分布构建城市图，建模城市间的空间依赖关系；3)在编码器中利用可微分组网络将所有城市映射到固定数量的城市组，并利用组关系编码网络构建城市组图，建模城市组之间的相关性；4)在城市图与城市组图上采用消息传递机制分别建模城市间与城市组间的依赖关系；5)解码器接受编码输出后，实现端到端的预测输出。本发明结合组感知图神经网络和编解码器架构来预测全国城市空气质量，在卫生健康、城市规划等领域具有广阔的应用前景。

Description

一种基于组感知图神经网络的全国城市空气质量预测方法
技术领域
本发明属于城市空气质量预测领域，具体涉及一种基于组感知图神经网络的全国城市空气质量预测方法。
背景技术
由于工业化进程的快速推进、机动车的污染排放增加，近年来多地空气污染事件频发。解决空气污染问题既能保护公众健康，大大降低呼吸道及肺部疾病的发生率，又能对外展示良好的城市面貌，提升我国的国际形象。政府建立了空气质量监测站点来实时监测当地空气质量，并通过标准公式计算出空气质量指数(AQI)定量描述当地空气质量水平，同步向公众发布相关信息。研究者们认为，利用空气质量的历史观测数据以及其他城市大数据可以预测未来空气质量。高精度的空气质量预测能够辅助公众出行规划和政府政策制定，具有很强的实际应用价值。全国城市空气质量预测作为其中的一个典型问题，具有建模实体数量多，实体间依赖关系复杂等难点。
现有空气质量预测方法一般可以分为基于物理模型的方法和基于机器学习的方法。基于物理模型的方法以领域内的专业模型为基础，通过模拟空气污染物产生、扩散的完整物理化学过程来预测空气质量。该类方法对数据集质量要求极高，而这点在实际应用中往往难以满足。此外，该类模型往往需要专业人员依据实际场景调整相关参数，因此泛化能力较差。
基于机器学习的方法采用数据驱动的方式，学习从历史观测数据及其他影响因素到未来空气质量的复杂映射关系，可以进一步细分为基于时序分析模型的方法、基于通用回归模型的方法和基于深度学习的方法。基于时序分析模型的方法通过发现历史观测序列中的线性规律来预测未来AQI的变化趋势。但实际场景中的序列一般无法满足时序分析模型要求的平稳性假设，而且该类方法不能接受序列数据以外的特征输入，适用场景有限。基于通用回归模型的方法采用一些经典的统计回归模型来预测AQI，支持多源数据输入。但该类方法并没有根据空气质量预测场景的特点改进模型，仅仅是在输入特征上做适配，因此模型的预测性能十分依赖于特征工程，增加了模型的落地难度。
基于深度学习的方法通过堆叠多层神经网络来拟合从输入到输出的非线性复杂映射关系来实现自动化特征学习。这类方法一般采用循环神经网络(RNN)及其变体建模序列在时间上的复杂依赖关系，采用卷积神经网络(CNN)或者图神经网络(GNN)建模城市在空间上的复杂依赖关系。但是，现有基于深度学习的城市空气质量预测方法只考虑了距离较近城市间的空间依赖关系，没有考虑距离较远城市间的隐依赖关系(如受地形等因素影响，一些在地理上相距较远的城市可能具有相似的空气质量)。
发明内容
鉴于上述，本发明的目的是提供一种基于组感知图神经网络的全国城市空气质量预测方法，通过有效建模全国城市间的空间依赖关系和隐依赖关系来实现全国城市空气质量的预测。
为实现上述发明目的，本发明提供以下技术方案：
一种基于组感知图神经网络的全国城市空气质量预测方法，包括以下步骤：
步骤1，采集每个城市的城市空气质量监测数据和天气数据经预处理后形成历史观测序列数据；
步骤2，根据城市的地理分布确定城市节点和城市节点之间的边，依据城市间存在的空间依赖关系确定边属性，利用自注意力网络提取历史观测序列数据的特征作为城市节点的初始表示，以此构建城市图；
步骤3，融合城市的地理信息和城市节点的初始表示确定城市组节点的初始表示，根据城市组节点的初始表示采用组关系编码机制两两编码城市组间的边属性，以此构建城市组图；
步骤4，在编码器中，在城市组图上采用消息传递机制建模城市组间的依赖关系，以对城市组节点进行表示更新；根据更新后城市组节点的表示和城市节点的初始表示确定融合本地特征与城市组信息的城市表示，依据城市表示在城市图上采用消息传递机制建模城市间的依赖关系，以对城市节点进行表示更新；
步骤5，将更新后城市节点的表示和城市之间的边属性作为解码器的输入，在解码器中按照步骤4在城市组图和城市图上采用消息传递机制更新城市组节点的表示和城市节点的表示，获得城市节点的最终表示；
步骤6，依据城市节点的最终表示预测城市空气质量。
优选地，步骤1中，将采集的城市空气质量监测数据和天气数据经过异常值处理、归一化预处理，得到历史观测序列数据。
优选地，步骤2中，所述依据城市间存在的空间依赖关系确定边属性包括：
当城市之间地理距离小于距离阈值时，两城市之间存在连边，且边属性定义为地理距离的倒数。
优选地，步骤2中，所述利用自注意力网络提取历史观测序列数据的特征作为城市节点的初始表示包括：
采用自注意力网络包括依次连接的多头自注意力机制单元、第一加操作&层归一化单元、多层感知机、第二加操作&层归一化单元以及降维单元；历史观测序列数据输入至多头自注意力机制单元后，经计算输出提取结果，该提取结果和历史观测序列数输入至第一加操作&层归一化单元，经过加操作和层归一化处理后输入至多层感知机，经过多层感知处理后输入至第二加操作&层归一化单元，第一加操作&层归一化单元的结果也输入至第二加操作&层归一化单元，经加操作和层归一化处理后输入降维单元，经降维处理得到向量矩阵作为城市节点的初始表示。
优选地，步骤3中，融合城市的地理信息和城市节点的初始表示确定城市组节点的初始表示包括：
将城市的地理信息和城市节点的初始表示融合得到城市节点包含地理信息的表示；
依据城市节点包含地理信息的表示采用可微分组网络将所有城市映射到固定数量的城市组，得到城市组节点的初始表示。
优选地，所述根据城市组节点的初始表示采用组关系编码机制两两编码城市组间的边属性包括：
将两个城市组的初始表示和全局时间信息向量拼接后经过激活处理得到城市组间的边属性。
优选地，所述在城市组图上采用消息传递机制建模城市组间的依赖关系，以对城市组节点进行表示更新包括：
根据城市组图中城市组的边属性确定每个城市组的消息集合，依据消息集合更新每个城市组的消息，依据每个城市组的消息和初始表示更新城市组节点的表示。
优选地，所述依据城市表示在城市图上采用消息传递机制建模城市间的依赖关系，以对城市节点进行表示更新包括：
将每个城市节点的表示与初始表示拼接来第一次更新城市节点的表示，然后依据城市节点的第一次更新后表示和边属性确定每个城市的消息集合，依据消息集合更新每个城市的消息，依据每个城市的消息和第一次更新后城市表示更新城市节点的表示。
优选地，步骤6中，采用线性预测函数依据城市节点的最终属性计算得到城市空气质量的预测值。
与现有技术相比，本发明具有的有益效果至少包括：
以数据驱动的形式构建了城市图和城市组图，在城市图和城市组图上分别捕获城市间的空间依赖关系和隐依赖关系。引入了组关系编码机制，以端到端可微学习的方式编码城市组间的相关性，来有效地捕获城市组间的依赖关系。依据依赖关系进行全国城市空气质量预测，提升全国城市空气质量的预测准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于组感知图神经网络的全国城市空气质量预测方法的流程图；
图2是实施例提供的全国城市空气质量预测方法框架图；
图3是实施例提供的自注意力网络架构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了解决如何有效建模全国城市间的空间依赖关系和隐依赖关系，以提升全国城市空气质量预测的准确性的问题，实施例提供了一种基于组感知图神经网络的全国城市空气质量预测方法，通过结合组感知图神经网络和编解码器架构来预测全国城市空气质量。具体包括：首先对城市空气质量监测数据和天气数据进行预处理，并利用滑动时间窗口得到训练数据集；其次根据城市的地理分布构建城市图，建模城市间的空间依赖关系；然后在编码器中利用可微分组网络将所有城市映射到固定数量的城市组，并利用组关系编码网络构建城市组图，建模城市组之间的相关性；之后在城市图与城市组图上采用消息传递机制分别建模城市间与城市组间的依赖关系；最后解码器接受编码输出，实现端到端的预测输出。
图1是实施例提供的基于组感知图神经网络的全国城市空气质量预测方法的流程图。图2是实施例提供的全国城市空气质量预测方法框架图。如图1和图2所示，实施例提供的全国城市空气质量预测方法包括以下步骤：
步骤1，采集每个城市的城市空气质量监测数据和天气数据经预处理后形成历史观测序列数据。
实施例中，对采集的城市空气质量监测数据和天气数据进行异常值处理和归一化处理，并利用大小为τin+τout的滑动时间窗口对处理后的数据进行划分，得到训练数据集，τin表示历史时刻数，τout表示预测时刻数。
城市空气质量监测数据和天气数据中的异常值将视同缺失值进行处理。对于所有数据集中的缺失值，采用线性插值法进行填充，线性插值法的计算公式如下：
Figure BDA0003020286250000071
其中，x、x0和x1表示缺失值及其前后有效样本的数值，t、t0和t1表示缺失值及其前后有效样本对应的时刻值。
对补全后的数据进行归一化操作，归一化计算公式如下：
Figure BDA0003020286250000072
其中μ表示样本均值，σ表示样本标准差，xnorm表示归一化操作后的输出值。
人为设定历史时刻数为τin，预测时刻数为τout，利用τin+τout的滑动时间窗口对预处理后的数据进行步长为p的划分。其中每个样本包括所有城市τin+τout个历史及未来时刻的AQI观测数据aqi和所有城市τin个历史时刻的天气数据weather。
根据各个历史时刻各个城市的AQI观测数据
Figure BDA0003020286250000073
和天气数据
Figure BDA0003020286250000074
得到各个历史时刻各个城市的观测数据
Figure BDA0003020286250000075
以及各个城市的历史观测序列
Figure BDA0003020286250000076
其中t表示时刻值，i表示城市序号，城市观测数据
Figure BDA0003020286250000077
的计算公式如下：
Figure BDA0003020286250000078
其中
Figure BDA0003020286250000079
和
Figure BDA00030202862500000710
分别表示t时刻城市i的AQI观测数据和天气数据，
Figure BDA00030202862500000711
表示拼接操作。
步骤2，根据城市的地理分布确定城市节点和城市节点之间的边，依据城市间存在的空间依赖关系确定边属性，构建城市图。
空气质量在地理分布上具有平滑性，地理距离相近的城市具有相似的空气质量，即城市间存在空间依赖关系。根据城市的地理分布构建城市图
Figure BDA0003020286250000081
并且考虑到计算量问题，在城市图
Figure BDA0003020286250000082
中只有地理距离小于阈值Rh的两个城市之间才存在边的连接。根据上述条件计算城市图
Figure BDA0003020286250000083
的边属性矩阵E，完成城市图的构建过程：
Figure BDA0003020286250000084
Figure BDA0003020286250000085
其中[xi,yi]和[xj,yj]分别表示城市i和城市j的地理坐标，di,j和dj,i表示城市i和城市j间的欧式距离，Rh为地理距离阈值，Ei,j表示连接城市i到城市j边的属性，Ei,j和Ej,i是对称的。
步骤3，将训练数据集按照固定的批量大小进行分批，批次总数为Nbatch。
根据人为经验设定的批量大小m对训练数据集进行分批，批次总数为Nbatch。具体计算公式如下：
Figure BDA0003020286250000086
其中Nsample表示训练数据集中样本总数。
步骤4，从训练数据集中选取索引为k的一批训练样本，其中k∈{1,…,Nbatch}。对于该批次中的每一个训练样本，重复步骤5～10。
步骤5，利用自注意力网络提取历史观测序列数据的特征作为城市节点的初始表示。如图3所示，利用自注意力网络提取历史观测序列数据的特征作为城市节点的初始表示包括：
采用的自注意力网络包括依次连接的多头自注意力机制单元、第一加操作&层归一化单元、多层感知机、第二加操作&层归一化单元以及降维单元；历史观测序列数据输入至多头自注意力机制单元后，经计算输出提取结果，该提取结果和历史观测序列数输入至第一加操作&层归一化单元，经过加操作和层归一化处理后输入至多层感知机，经过多层感知处理后输入至第二加操作&层归一化单元，第一加操作&层归一化单元的结果也输入至第二加操作&层归一化单元，经加操作和层归一化处理后输入降维单元，经降维处理得到向量矩阵作为城市节点的初始表示。
其中，多头自注意力机制(multi-head self-attention)以多组不同的参数进行自注意力机制的运算，能够建模输入序列中元素点对点的相关性。自注意力机制的运算过程如下：
Q＝f(H,Wquery),K＝f(H,Wkey),V＝f(H,Wvalue) (7)
Figure BDA0003020286250000091
其中H表示历史观测序列，经转换函数f计算出Query矩阵Q、Key矩阵K和Value矩阵V，Wquery、Wkey和Wvalue表示参数矩阵，dkey为Key的维度大小。
在自注意力网络中还加入了层归一化(layer normalization)和跳跃连接(skipconnection)设计，以稳定低层神经网络的输出分布，避免梯度爆炸或梯度消失问题，有利于深层神经网络的训练。自注意力网络最终生成城市的初始表示X。基于此，构建得到的城市图表示为
Figure BDA0003020286250000092
其中V表示城市图上的城市节点集合，A表示城市图上边的集合，X表示节点表示矩阵，E表示边属性矩阵。
步骤6，融合城市的地理信息和城市节点的初始表示确定城市组节点的初始表示，根据城市组节点的初始表示采用组关系编码机制两两编码城市组间的边属性，以此构建城市组图。
实施例中，首先，基于城市的地理位置信息L来更新城市的初始表示X，得到包含地理信息的城市表示X′，计算过程如下：
Figure BDA0003020286250000101
其中Xi表示由自注意力网络输出的城市i初始表示，Li为城市i的地理坐标信息，W0表示系数矩阵，b0表示偏置向量，σ表示激活函数，
Figure BDA0003020286250000102
表示拼接操作。
然后采用可微分组网络中可学习的映射矩阵
Figure BDA0003020286250000103
和城市表示X′计算出城市组的初始表示Z，具有较强隐依赖关系的城市将共享城市组表示，计算过程如下：
Figure BDA0003020286250000104
其中Zj为城市组j的表示，X′i为地理信息的城市i表示，Ncity为参与建模的城市数量，Ngroup为预先设定的城市组数量。
构建的构建城市组图为全连接图，采用组关系编码机制两两编码城市组间的边属性R，不仅可以考虑城市组的表示，还能够考虑其他影响城市组间依赖关系的因素(时间信息)，组关系编码过程如下：
Figure BDA0003020286250000105
其中Ri,j表示连接城市组i和城市组j的边属性，Zi和Zj为城市组表示，time为表示全局时间信息的向量，W1表示系数矩阵，b1表示偏置向量。基于此，构建的城市组图
Figure BDA0003020286250000106
其中
Figure BDA0003020286250000107
表示城市组图上的城市组节点集合，
Figure BDA0003020286250000108
表示城市组图上边的集合，Z表示城市组图节点表示矩阵，R表示边属性矩阵。
步骤7，在编码器中，在城市组图上采用消息传递机制建模城市组间的依赖关系，以对城市组节点进行表示更新。
城市组图上的消息传递机制包括信息聚合和表示更新两个过程，具体的计算过程如下：
Ri＝{(Zi,Zj,Rj,i)}i≠j (12)
ri←ρg(Ri) (13)
Z′i←φg(ri,Zi) (14)
其中，Ri表示所有从其他所有城市组传递到城市组i的消息集合，并通过函数计算出向量ri，城市组表示Zi会基于接受到的消息ri更新，得到更新后的城市组i表示Z′i，ρg和φg是变换函数，由多层感知机实现。
步骤8，在编码器中，根据更新后城市组节点的表示和城市节点的初始表示确定融合本地特征与城市组信息的城市表示，依据城市表示在城市图上采用消息传递机制建模城市间的依赖关系，以对城市节点进行表示更新。
实施例中，根据映射矩阵S和更新后的城市组表示Z′计算出基于城市组信息的城市表示X1，并与城市初始表示X拼接得到融合本地特征与城市组信息的城市表示X2。之后在城市图上采用消息传递机制建模城市间的依赖关系，得到更新后的城市表示X3。
城市组的信息可以通过映射矩阵S反馈到城市节点，得到基于城市组信息的表示X1，计算过程如下：
Figure BDA0003020286250000111
其中
Figure BDA0003020286250000112
为城市i基于城市组信息的表示，Z′j为更新后的城市j表示。
在城市图上同样采用消息传递机制建模城市间的依赖关系，与城市组图上的计算步骤略有不同的是，首先需要将从城市组图反馈的信息融合到城市表示中，再进行信息聚合和表示更新过程，具体的运算过程如下：
Figure BDA0003020286250000113
Figure BDA0003020286250000114
ri←ρ(Ri) (18)
Figure BDA0003020286250000121
其中
Figure BDA0003020286250000122
是融合了本地特征与城市组信息的城市i表示，Ri表示所有从邻居城市传递到城市i的消息集合，并通过函数计算出向量ri，
Figure BDA0003020286250000123
是基于ri更新得到的城市i表示，ρ和φ是变换函数，由多层感知机实现。
步骤9，将更新后城市节点的属性和城市之间的边属性作为解码器的输入，在解码器中按照步骤7和8在城市组图和城市图上采用消息传递机制更新城市组节点的表示和城市节点的表示，获得城市节点的最终属性。
实施例中，将编码器中更新后的城市表示X3、映射矩阵S和城市组图边属性矩阵R作为编码结果输入到解码器中，在解码器中重复步骤6和7在城市组图和城市图上的消息传递过程，得到城市的最终表示Xoutput。将Xoutput输入到预测函数中，输出所有城市τout个未来时刻的AQI预测结果。
解码器接受编码器产生的编码输出：所有更新后的城市表示X3、映射矩阵S(解码器中S的参数将不会被更新)以及城市组图边属性矩阵R(解码器中的城市组图边属性将不会被重新编码)。解码器中的计算过程与编码器类似，区别是输入解码器的已经是城市的表示向量，而不是观测序列，因此省略了用于提取序列特征的自注意力网络。
在解码器中重复步骤7和8在城市组图及城市图上的消息传递过程后，可以得到城市的最终表示Xoutput，通过预测函数得到城市空气质量的预测输出序列：
Figure BDA0003020286250000124
其中
Figure BDA0003020286250000125
为城市i的最终表示，W2表示系数矩阵，b2表示偏置向量。
步骤10，计算单个训练样本的预测损失Ls，即该样本的真实值和模型输出的预测值之间的误差，其中s表示样本序号。
预测任务的损失函数定义为平均绝对误差，单个训练样本的预测损失计算方式如下：
Figure BDA0003020286250000131
其中s表示样本序号，Ncity表示城市数量，
Figure BDA0003020286250000132
表示城市i在τin+k时刻的AQI预测值，
Figure BDA0003020286250000133
表示城市i在τin+k时刻的AQI真实值。
步骤11，根据批中所有样本的预测损失L，对整个模型中的网络参数进行调整。
计算批中所有样本的预测损失L，具体计算方式如下所示：
Figure BDA0003020286250000134
其中Ls表示样本s的预测损失，m表示每个批中样本的数量。在本发明中，根据所有样本的预测损失L，对整个模型中的网络参数进行调整。
步骤12，重复步骤4-10直到训练数据集的所有批次都参与了模型训练。
步骤13，重复步骤4-11直到达到指定迭代次数。
步骤14，对当前时刻及之前τin个历史时刻的城市空气质量监测数据和天气数据进行异常值和归一化处理。
步骤15，将处理后的数据样本输入已训练好的模型，得到当前时刻之后τout个未来时刻的全国城市空气质量预测结果。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于组感知图神经网络的全国城市空气质量预测方法，其特征在于，包括以下步骤：
步骤1，采集每个城市的城市空气质量监测数据和天气数据，将采集的城市空气质量监测数据和天气数据经预处理后形成历史观测序列数据；
步骤2，根据城市的地理分布确定城市节点和城市节点之间的边，依据城市间存在的空间依赖关系确定边属性，利用自注意力网络提取历史观测序列数据的特征作为城市节点的初始表示，以此构建城市图；
步骤3，将城市的地理信息和城市节点的初始表示融合得到城市节点包含地理信息的表示；依据城市节点包含地理信息的表示采用可微分组网络将所有城市映射到固定数量的城市组，得到城市组节点的初始表示，将两个城市组的初始表示和全局时间信息向量拼接后经过激活处理得到城市组间的边属性，以此构建城市组图；
步骤4，在编码器中，在城市组图上采用消息传递机制建模城市组间的依赖关系，以对城市组节点进行表示更新；根据更新后城市组节点的表示和城市节点的初始表示确定融合本地特征与城市组信息的城市表示，依据城市表示在城市图上采用消息传递机制建模城市间的依赖关系，以对城市节点进行表示更新；
步骤5，将更新后城市节点的表示和城市之间的边属性作为解码器的输入，在解码器中按照步骤4在城市组图和城市图上采用消息传递机制更新城市组节点的表示和城市节点的表示，获得城市节点的最终表示；
步骤6，依据城市节点的最终表示预测城市空气质量。
2.如权利要求1所述的基于组感知图神经网络的全国城市空气质量预测方法，其特征在于，步骤1中，将采集的城市空气质量监测数据和天气数据经过异常值处理、归一化预处理，得到历史观测序列数据。
3.如权利要求1所述的基于组感知图神经网络的全国城市空气质量预测方法，其特征在于，步骤2中，所述依据城市间存在的空间依赖关系确定边属性包括：
当城市之间地理距离小于距离阈值时，两城市之间存在连边，且边属性定义为地理距离的倒数。
4.如权利要求1所述的基于组感知图神经网络的全国城市空气质量预测方法，其特征在于，步骤2中，所述利用自注意力网络提取历史观测序列数据的特征作为城市节点的初始表示包括：
采用的自注意力网络包括依次连接的多头自注意力机制单元、第一加操作&层归一化单元、多层感知机、第二加操作&层归一化单元以及降维单元；历史观测序列数据输入至多头自注意力机制单元后，经计算输出提取结果，该提取结果和历史观测序列数输入至第一加操作&层归一化单元，经过加操作和层归一化处理后输入至多层感知机，经过多层感知处理后输入至第二加操作&层归一化单元，第一加操作&层归一化单元的结果也输入至第二加操作&层归一化单元，经加操作和层归一化处理后输入降维单元，经降维处理得到向量矩阵作为城市节点的初始表示。
5.如权利要求1所述的基于组感知图神经网络的全国城市空气质量预测方法，其特征在于，所述在城市组图上采用消息传递机制建模城市组间的依赖关系，以对城市组节点进行表示更新包括：
根据城市组图中城市组的边属性确定每个城市组的消息集合，依据消息集合更新每个城市组的消息，依据每个城市组的消息和初始表示更新城市组节点的表示。
6.如权利要求1所述的基于组感知图神经网络的全国城市空气质量预测方法，其特征在于，所述依据城市表示在城市图上采用消息传递机制建模城市间的依赖关系，以对城市节点进行表示更新包括：
将每个城市节点的表示与初始表示拼接来第一次更新城市节点的表示，然后依据城市节点的第一次更新后表示和边属性确定每个城市的消息集合，依据消息集合更新每个城市的消息，依据每个城市的消息和第一次更新后城市表示更新城市节点的表示。
7.如权利要求1所述的基于组感知图神经网络的全国城市空气质量预测方法，其特征在于，步骤6中，采用线性预测函数依据城市节点的最终属性计算得到城市空气质量的预测值。
CN202110401013.XA 2021-04-14 2021-04-14 一种基于组感知图神经网络的全国城市空气质量预测方法 Active CN113159409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110401013.XA CN113159409B (zh) 2021-04-14 2021-04-14 一种基于组感知图神经网络的全国城市空气质量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110401013.XA CN113159409B (zh) 2021-04-14 2021-04-14 一种基于组感知图神经网络的全国城市空气质量预测方法

Publications (2)

Publication Number Publication Date
CN113159409A CN113159409A (zh) 2021-07-23
CN113159409B true CN113159409B (zh) 2022-05-17

Family

ID=76890369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110401013.XA Active CN113159409B (zh) 2021-04-14 2021-04-14 一种基于组感知图神经网络的全国城市空气质量预测方法

Country Status (1)

Country Link
CN (1) CN113159409B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063908A (zh) * 2018-07-30 2018-12-21 浙江鸿程计算机系统有限公司 一种基于深度多任务学习的城市aqi预测与空间细粒度aqi等级估计方法
CN110610209A (zh) * 2019-09-16 2019-12-24 北京邮电大学 一种基于数据挖掘的空气质量预测方法及系统
CN111832814A (zh) * 2020-07-01 2020-10-27 北京工商大学 一种基于图注意力机制的空气污染物浓度预测方法
CN112119412A (zh) * 2018-05-18 2020-12-22 伯耐沃伦人工智能科技有限公司 具有注意力的图神经网络
CN112561191A (zh) * 2020-12-22 2021-03-26 北京百度网讯科技有限公司 预测模型的训练、预测方法、装置、设备、程序和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200402665A1 (en) * 2019-06-19 2020-12-24 GE Precision Healthcare LLC Unplanned readmission prediction using an interactive augmented intelligent (iai) system
CN111079931A (zh) * 2019-12-27 2020-04-28 浙江大学 一种基于图神经网络的状态空间概率性多时间序列预测方法
CN111814921B (zh) * 2020-09-04 2020-12-18 支付宝(杭州)信息技术有限公司 对象特征信息获取、对象分类、信息推送方法及装置
CN112560981B (zh) * 2020-12-24 2023-07-25 北京百度网讯科技有限公司 生成对抗模型的训练方法、装置、设备、程序和存储介质
CN112651665B (zh) * 2021-01-14 2022-12-20 浙江鸿程计算机系统有限公司 一种基于图神经网络的地表水水质指标预测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112119412A (zh) * 2018-05-18 2020-12-22 伯耐沃伦人工智能科技有限公司 具有注意力的图神经网络
CN109063908A (zh) * 2018-07-30 2018-12-21 浙江鸿程计算机系统有限公司 一种基于深度多任务学习的城市aqi预测与空间细粒度aqi等级估计方法
CN110610209A (zh) * 2019-09-16 2019-12-24 北京邮电大学 一种基于数据挖掘的空气质量预测方法及系统
CN111832814A (zh) * 2020-07-01 2020-10-27 北京工商大学 一种基于图注意力机制的空气污染物浓度预测方法
CN112561191A (zh) * 2020-12-22 2021-03-26 北京百度网讯科技有限公司 预测模型的训练、预测方法、装置、设备、程序和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HighAir: A Hierarchical Graph Neural Network-Based Air Quality Forecasting Method;Jiahui Xu;《arXiv》;20210112;第1-11页 *
Multi-scale spatiotemporal graph convolution network for air quality prediction;Liang Ge;《Applied Intelligence》;20201114;第3491-3505页 *
基于图神经网络和时间注意力的会话序列推荐;孙鑫;《计算机工程与设计》;20201016;第41卷(第10期);第2913-2920页 *

Also Published As

Publication number Publication date
CN113159409A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN111159425A (zh) 一种基于历史关系和双图卷积网络的时态知识图谱表示方法
CN110969854A (zh) 一种交通流量的预测方法、系统及终端设备
CN110570651A (zh) 一种基于深度学习的路网交通态势预测方法及系统
CN114330671A (zh) 一种基于Transformer时空图卷积网络的交通流预测方法
CN112651665B (zh) 一种基于图神经网络的地表水水质指标预测方法和装置
CN113688253B (zh) 一种层次感知的时态知识图谱表示学习方法
CN111243045A (zh) 一种基于高斯混合模型先验变分自编码器的图像生成方法
WO2022142418A1 (zh) 一种基于gis地图信息的交通拥堵指数预测方法及装置
CN113112791A (zh) 一种基于滑动窗口长短时记忆网络的交通流量预测方法
CN113112793A (zh) 一种基于动态时空相关性的交通流预测方法
CN111950195B (zh) 一种基于画像系统与深度回归模型的工程进度预测方法
CN111723667A (zh) 基于人体关节点坐标的智慧灯杆人群行为识别方法和装置
CN113610286A (zh) 顾及时空相关性和气象因素的pm2.5浓度预测方法及装置
CN115629160A (zh) 一种基于时空图的空气污染物浓度预测方法及系统
CN117194763A (zh) 基于用户偏好与时空上下文信息的下一个poi推荐方法
CN114757389A (zh) 一种基于联邦学习的城市交通流量时空预测方法
CN113627093A (zh) 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN116913088A (zh) 一种用于高速公路的智能流量预测方法
CN115376317A (zh) 一种基于动态图卷积和时序卷积网络的交通流预测方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN113159409B (zh) 一种基于组感知图神经网络的全国城市空气质量预测方法
CN117494034A (zh) 基于交通拥堵指数和多源数据融合的空气质量预测方法
CN115936242B (zh) 空气质量与交通状况的溯源关系数据获取方法及装置
Guzmán et al. A cyberphysical system for data-driven real-time traffic prediction on the Las Vegas I-15 freeway
CN115797557A (zh) 基于图注意力网络的自监督3d场景流估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant