CN111832814A - 一种基于图注意力机制的空气污染物浓度预测方法 - Google Patents
一种基于图注意力机制的空气污染物浓度预测方法 Download PDFInfo
- Publication number
- CN111832814A CN111832814A CN202010620605.6A CN202010620605A CN111832814A CN 111832814 A CN111832814 A CN 111832814A CN 202010620605 A CN202010620605 A CN 202010620605A CN 111832814 A CN111832814 A CN 111832814A
- Authority
- CN
- China
- Prior art keywords
- attention
- layer
- data
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 67
- 239000000809 air pollutant Substances 0.000 title claims abstract description 55
- 231100001243 air pollutant Toxicity 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 230000007613 environmental effect Effects 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 17
- 231100000719 pollutant Toxicity 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 239000010410 layer Substances 0.000 claims description 176
- 239000013598 vector Substances 0.000 claims description 78
- 230000006870 function Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims description 7
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 239000000356 contaminant Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims 4
- 101100533306 Mus musculus Setx gene Proteins 0.000 claims 1
- 239000010419 fine particle Substances 0.000 claims 1
- 230000003287 optical effect Effects 0.000 claims 1
- 230000017105 transposition Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 31
- 239000013618 particulate matter Substances 0.000 description 15
- 238000007637 random forest analysis Methods 0.000 description 10
- 238000012417 linear regression Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 235000004257 Cordia myxa Nutrition 0.000 description 2
- 244000157795 Cordia myxa Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
- G01N33/0067—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display by measuring the rate of variation of the concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
- G01N33/0068—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display using a computer specifically programmed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Combustion & Propulsion (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
Abstract
本发明公布了一种基于图注意力机制的空气污染物浓度预测方法，构建基于图注意力机制的空间污染物浓度预测模型，将气象数据、空气监测数据、环境因素数据作为模型输入数据，通过图注意力机制构建图邻接矩阵，利用图卷积神经网络层和多层感知机网络层提取图信息特征，输出预测的空气污染物浓度值。本发明对空气污染物浓度预测更加准确，过程更加高效。
Description
技术领域
本发明属于图卷积神经网络技术和空气质量监控技术领域，涉及一种预测点位置处空气污染物浓度预测技术，尤其涉及一种基于图注意力机制的空气污染物浓度预测方法。
背景技术
空气质量一直是研究环境污染变化的一个重要组分，空气质量的变化是由空气污染物浓度决定的，研究空气污染物浓度能够更好的掌握空气质量的变化。大多数对空气污染物浓度预测是收集多种相关影响因素数据，进行污染物的相关性分析，空气污染物在空气中的浓度与污染物的排放量、污染源的布局、类型和气象条件等各种变量因素有关，将收集到的影响因素数据作为自变量，空气污染物浓度数据作为因变量进行相关性分析，但是由于周围环境的复杂性以及自变量之间的相互影响，使得自变量因素与因变量空气污染物浓度之间的相关性具有不确定性。对此，后续的污染物浓度预测研究中多使用机器学习算法来解决复杂的多元非线性问题。
预测算法的实质是通过对一系列动态数据分析其特征之间的关联性、变化状况而构建出对未来进行预测的算法。其中，空气质量预测通常是利用历史污染物浓度数据，通过分析动态数据间的关联来找到空气污染过程的规律性，进而对未来空气质量状况做出预测。目前常用的空气污染物预测算法主要利用机器学习方法和深度学习方法来进行构建。机器学习方法在预测过程中具有坚实的数学基础，为建立合理的空气质量预测模型提供了理论依据，而深度学习方法可以通过不断地训练找出数据间的非线性关系。
在针对空气污染物浓度预测的研究中，Cobourn W G等人针对PM2.5浓度预测开发了一种非线性回归模型，并在模型基础上增加了基于PM2.5浓度的附加参数PM24，PM24是结合空气流动轨迹和当前空气质量人为估计得到，PM24参数的添加使模型效果表现的更好，但是这种人工判断参数值的方式需要不断地手工调整参数，会被噪声数据干扰，同时对结果具有不确定性。Zhao等人将收集到的空气中的气体成分信息通过基于径向基函数(RBF)的模糊神经网络模型进行定量分析，实现了对混合气体的定量检测。王丽梅等人利用BP神经网络建立了城市大气二氧化硫浓度预测模型，引入了城市人口、国内生产总值、年燃煤量等相关变量对某城市二氧化硫浓度作出了合理的预测。王芳等利用遗传算法来对BP神经网络的初始权重和参数进行优化，将优化后的权重和参数输入BP神经网络并对北京市PM10的浓度进行预测，该模型通过遗传算法提高了BP神经网络的收敛速度，同时提高了预测的精度。但是这些算法中使用的变量较少，没有考虑到外界气象条件以及环境因素对气体浓度的影响，并且算法较为单一，很难将模型泛化到其它地区的数据中。
姚宁等人在构建BP神经网络预测模型时，在数据集收集阶段考虑了气温、湿度、降水量等气象因素对大气污染物浓度的影响，通过AGNES算法对这些特征数据进行处理，减少离散值。万显列等在在构建基于人工神经网络的气体浓度预测模型时，也加入了风速、风向、温度、湿度等这些环境影响因素。数据维度的增加会适当的提高模型预测的精度，但是当数据量过多时，造成数据冗余或者不必要的网络噪声。随着人工智能优化算法研究逐渐深入，深度学习在气体浓度检测领域也开始广泛应用。其中基于LSTM和RNN的循环神经网络是深度学习应用于气体浓度监测的主要方法。此外，孙蒙等也使用了基于深度置信网络的方法建立空气质量指数预测模型。但这些方法仍然具有对样本依赖性较强，输入较多冗余数据，预测准确率较低等问题。
现有的预测算法，基于机器学习的预测算法主要有多元线性回归(MultipleLinear Regression，MLR)、支持向量机(Support Vector Machine，SVM)、随机森林(RandomForest，RF)方法，其中，多元线性回归算法的计算较为简单、速度快，结果易理解，但是对数据质量要求高、拟合性不好；支持向量机算法的鲁棒性好，可以降低过拟合概率，但是难以对大规模数据进行训练；随机森林算法的抗过拟合能力强，算法稳定，数据适应性强，但是对噪声数据敏感，计算成本高，耗时较长。基于深度学习的预测算法主要有BP神经网络和循环神经网络算法(Recurrent Neural Network,RNN)，其中BP神经网络的容错能力、非线性映射和自学习能力强，但是数据量大、算法收敛速度慢、样本依赖性强；循环神经网络算法易解决时间序列问题，但是对非时间序列数据处理效果不好。图注意力网络算法(GAT，Graph Attention Network)加入attention机制，给节点之间的边给予重要性，帮助模型学习结构信息，但相对的缺点是训练方式不是很好，效率不够高，效果较差。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于图注意力机制的空间污染物浓度预测方法，其预测效果更加准确，过程更加高效。
本发明解决上述技术问题所采用的技术方案为：
一种基于图注意力机制的空气污染物浓度预测方法，构建基于图注意力机制的空间污染物浓度预测模型，将气象数据、空气监测数据、环境因素数据作为模型输入数据，通过图注意力机制构建图邻接矩阵，利用图卷积神经网络层和多层感知机网络层提取图信息特征，输出预测空气污染物浓度值；包括训练阶段和测试阶段；具体包括如下步骤：
1)利用空气污染物浓度数据、气象数据、环境因子数据，构建输入特征向量X；
对收集的空气污染物浓度数据、气象数据和环境因子数据分别进行数据清洗，对缺失数据进行填充或删除等操作，并针对这些数据以GPS位置信息为基准对数据进行整合，使数据在时空尺度保持一致。将处理好的数据按照经纬度通过ARCGIS工具映射在地图中，再按照路程长度平均选取点位置数据，将所有点位置数据组成向量集合，每个点位置关联的数据包括空气污染物浓度数据、气象数据和环境因子数据；将污染物浓度作为预测标签，将环境因子数据、气象数据作为每个点位置的特征标签；每一个特征标签为一列，将每列特征标签数据进行归一化处理，构建输入特征向量X。
具体实施时，收集街道尺度空气污染物浓度数据(包括但不限于可入肺颗粒物(PM1)、细颗粒物(PM2.5)、可吸入颗粒物(PM10)、375nm处紫外线颗粒物(UltravioletParticulate Matter，UVBC)、880nm处颗粒物(IRBC))、气象数据(包括但不限于温度(Temperature)、风速(Wind speed)、风向(Wind direction)和大气压强(Pressure))和环境因子数据(包括但不限于从街景影像提取的建筑物、植被、天空、人、车辆、道路环境因子所占百分比)，将数据进行预处理，使数据具有统一的空间尺度。根据预测街道空间范围，由街道起点开始到街道终点为止，每Q米选取一个点，共选取P个点位，选取的P个点的位置数据组成向量集合，每个点位置关联的数据包括空气污染物浓度数据、气象数据和环境因子数据；并将污染物浓度作为预测标签，将环境因子数据、气象数据作为每个点位置的特征标签；每一个特征标签在特征向量中为一列，将每列特征标签数据进行归一化处理；将P个点按一定比例分为训练集、验证集和测试集，其中训练集的位置点为n个，构建输入特征向量
X是一个n*d的矩阵，表示一共有n个点，每个点具有d维特征。
2)构建基于图注意力机制的空气污染物浓度预测模型：
基于图注意力机制的空气污染物浓度预测模型包括：多层感知机、注意力机制模型、图注意力网络层；其中，多层感知机包括：输入层、中间的多个隐层、输出层，多层感知机的层与层之间是全连接的；注意力机制模型包括编码器、用于进行归一化的softmax层和解码器；图注意力网络层包括输入层与输出层、特征提取与注意力机制、输出特征层(Outputfeatures)和多头注意力机制(Multi-head attention)。
具体步骤如下：
2-1)将输入特征向量X输入到多层感知机(MLP，Multilayer Perceptron)中进行变换，得到新的特征向量H1；
多层感知机层与层之间是全连接的(全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接)。具体实施时，我们使用的MLP为三层，其中输入层给定实验样本
表示样本X的批量大小为n，输入的特征个数为d；设置多层感知机有一层隐藏层，其中隐藏层神经元的个数为h，隐藏层的输出为G1，有
表示其隐藏层输出为行为n，列为h的矩阵，因为隐藏层和输出层均是全连接层，有d*h个权重，故Wh大小为(d,h)，d行h列，每一列对应隐藏层的每一个神经元的连接权重。bh是偏置，隐藏层有h个神经元，故bh为h维向量，1行h列。设置隐藏层的权重参数和偏差参数分别为
隐藏层的输出为G1＝XWh+bh，同理，我们设置输出层的权重和偏差参数分别为
和
输出
为H1＝f(G1W1+b1)，函数f是常用的ELU函数；
2-2)将H1通过四层的MLP，得到新的特征向量H2；
再次通过四层的MLP得到新的特征向量H2，其中输入层给定实验样本
其点个数批量大小为n，输入的个数为q，n行q列；设置多层感知机有两层隐藏层，其中第一层隐藏层单元的个数为h，隐藏层的输出为G2，有
输入批量大小为n，隐藏层单元为h，所以输出为n行h列，第一层隐藏层的输出G2即为第二层隐藏层的输入，第二层隐藏层单元个数为m，所以第二层隐藏层输出为G3，
n行m列，同时，第一层隐藏层、第二层隐藏层和输出层均是全连接层，设置第一层隐藏层的权重参数和偏差参数分别为
隐藏层的输出为G2＝H1Wh+bh，第二层隐藏层的权重参数和偏差参数分别为
隐藏层的输出为G3＝G2Wm+bm，输出层的权重和偏差参数分别为
输出为
H2＝f(G3W3+b3).函数f是常用的ELU函数
2-3)通过注意力机制得到所构造的邻接矩阵A；
对于注意力机制(Attention)的作用角度出发，我们就可以从两个角度来分类注意力的种类：空间注意力和时间注意力，即Spatial Attention和Temporal Attention，本算法的主要应用在于空间注意力，我们将编码器输入结构化的数据，用集合表示为C＝{c1,c2,...,cM}，总共有M个元素，集合中的元素代表我们输入信息中的空间位置上的输入信息，在t位置上，根据已知的语义表示向量gt、上一时刻预测的zt-1和解码器中的隐状态ht-1，输出
为在位置t下，第i个元素上下文分别表示对应的注意力，反映了编码器对于输入注意位置和权重与输出注意位置和权重之间的相关性
其中，gn表示每个元素所对应的语义向量，hi表示每个输入单词对应的隐状态，
表示注意力得分。
我们将图像视觉编码后的特征为B*C维的特征图(Feature Maps)，构造为邻接矩阵A。
将邻接矩阵A和特征向量H1作为参数，输入到图注意力网络层(GAT，GraphAttention Network)中，通过两层图注意力网络层得到新的特征向量H3；包括步骤2-4)和2-5)。
2-4)将邻接矩阵A和特征向量H1作为参数输入到GAT层中，输入为
N为节点的个数，F为特征(feature)的个数，这表示输入为N个节点的每个节点的F个feature；输出为
表示对这N个节点的F'个输出，输出为N个节点的每个节点的F'个feature，这里我们明确一下，针对的是N个节点，按照其输入的feature预测输出的feature。
为了得到相应的输入与输出的转换，我们需要根据输入的feature至少一次线性变换得到输出的feature，所以我们需要对所有节点训练一个权值矩阵：
这个权值矩阵就是输入与输出的F个feature与输出的F'个feature之间的关系。针对每个节点实行自注意力机制(Self-attention Mechanism)，机制为
注意力互相关系数为attention coefficients，表示为
这个公式表示节点j对于节点i的重要性，而不去考虑图结构性的信息，向量h就是feature向量，下标i，j表示第i个节点和第j个节点。
通过伪装注意力机制(Masked Attention)将这个自注意力机制
引入图结构之中，伪装注意力机制的含义：只计算节点i的相邻的节点j，节点j为j∈Ni，其中Ni为节点i的所有相邻节点。为了使得互相关系数更容易计算和便于比较，我们引入了softmax对所有的i的相邻节点j进行正则化：
αij为注意力互相关系数
正则化后的结果。
实验之中，注意力机制
是一个单层的前馈神经网络，通过权值向量来确定
并且加入了LeakyRelu的非线性激活，这里小于零斜率为0.2。(这里我们回顾下几种Relu函数，relu:小于0就是0，大于零斜率为1；LRelu:小于零斜率固定一个值，大于零斜率为1；PRelu:小于零斜率可变，大于零斜率为1；还有CRelu,Elu,SELU)。注意力机制如下：
也是我们前面需要得到的注意力互相关系数
在模型中应用相互注意机制
通过权重向量
参数化，应用LeakyReLU激活；模型权重为
转置表示为T，concate表示将新向量拼接到原来的向量之后，对应着维数增加，用||表示，公式含义就是权值矩阵与F'个特征相乘，然后节点相乘后并列在一起，与权重相乘，LRelu激活后指数操作得到softmax的分子，通过上面，运算得到了正则化后的不同节点之间的注意力互相关系数(normalized attentioncoefficients)，可以用来预测每个节点的输出特征层(output feature)：
W为与feature相乘的权值矩阵，αij为前面算得的注意力互相关系数，softmax为非线性激活，遍历的j表示所有与i相邻的节点，这个公式表示就是，该节点的输出feature与之相邻的所有节点有关，是他们的线性和非线性系数，这个线性和非线性系数是前面求得的注意力互相关系数。
在上面的输出特征层：
加入计算多头注意力机制(Multi-headattention)的运算公式:
concate同样是将新向量拼接到原来的向量之后，对应着维数增加，操作表示为||，第k个注意力机制为(ak)，共K个注意力机制需要考虑，k表示K中的第k个，输入特征的线性变换表示为Wk，最终的输出为h'共由KF'个特征影响。
多头注意力机制(Multi-head attention)是多个自注意力结构的结合，每个头学习到在不同表示空间中的特征，多个头学习到的注意力侧重点可能略有不同，这样给了模型更大的容量。对于最终的输出，concate操作可能不那么敏感了，所以我们直接用K平均来取代concate操作，得到最终的公式：
其中，共K个注意力机制需要考虑，k表示K中的第k个，αij为前面算得的注意力互相关系数，输入特征的线性变换表示为Wk，最终输出为
2-5)将h’作为输入再次输入到2-4所描述的GAT模型中，通过2-4.2-5两层GAT网络层我们的得到新的特征向量
2-6)将得到的特征向量H2和H3特征向量进行相加操作得到新的特征向量H4，并将特征向量H4和邻接矩阵A输入到与2-4)过程相同的GAT网络层之中，即将特征向量H4和邻接矩阵A再进行一次2-4)操作得到最终的输出预测标签向量Y。
3)训练模型并验证；
在模型的训练中，使用随机梯度下降(Stochastic Gradient Descent,SGD)作为优化函数，学习率设置为α，训练迭代次数设置为s，并最终选取在验证集中MAPE值最小时的输出作为最终预测结果。
在本算法中，主要用平均绝对百分误差(MAPE)、均方误差(MSE)和平均绝对误差(MAE)作为评价指标，具体函数如下式所示：
其中，Yi表示第i个实际值，Yi表示第i个预测值，Ei表示Yi与Yi之间的绝对误差，n表示向量长度。由公式可以看出，这三种评价指标在不同模型间进行对比时，计算得到的数值越小，表示该模型比其它几个模型的效果较好。
在测试阶段，对待测空气，采用训练好的空气污染物浓度预测模型进行预测，即得到空气污染物的预测浓度。
以上就是一种基于图注意力机制的空气污染物浓度预测算法的全部流程。
与现有技术相比，本发明的优点在于
1)本发明算法在实施过程中采用了图注意力机制，图注意力机制一般用于具有拓扑结构，变量之间具有一定相关性的数据集中，所需要的数据较少，不容易造成数据冗余。
2)本发明算法在实验过程中将MLP与注意力机制相结合，得到可以调节的邻接矩阵，提高了预测的准确性。
附图说明
图1为本发明方法的流程框图。
图2为本发明实施实例采用本发明提供的M-GAT方法、现有的线性回归、随机森林和多层感知器四个模型测试结果预测值与真实值的对比；
其中，a为线性回归模型；b为随机森林模型；c为M-GAT模型；d为多层感知器模型。
具体实施方式
以下结合附图，通过实施例对本发明作进一步详细描述，但不以任何方式限制本发明的范围。
本发明提出的一种基于图注意力机制的空间污染物浓度预测算法，结合气象站点监测数据、空气监测数据、环境因素数据作为模型输入数据，通过图注意力机制构建图邻接矩阵，并结合图卷积神经网络层和多层感知机网络层提取图信息特征，最终输出预测空气污染物浓度值。方法总体实现流程如图1所示，其包括训练阶段和测试阶段两个过程。
一种基于图注意力机制的空间污染物浓度预测方法，其特征在于包括训练阶段和测试阶段两个过程，包括如下步骤：
所述的训练阶段过程的具体步骤为：
1)构造输入特征向量X
1-1)数据源主要包括1)空气污染物数据：人工空气污染物移动采样装置上安装的传感器采集空气污染物数据；2)气象站点数据：固定监测站采集的气温、相对湿度、风速和风向等气象数据集；3)环境因素数据：街景影像分割后获取的环境因素数据。其中，空气污染物数据包括可入肺颗粒物(PM1)、细颗粒物(PM2.5)、可吸入颗粒物(PM10)、375nm处紫外线颗粒物(Ultraviolet Particulate Matter，UVBC)、880nm处颗粒物(IRBC)；气象站点数据包括温度(Temperature)、风速(Wind speed)、风向(Wind direction)和大气压强(Pressure)。由于空气污染物数据在采集的过程中会出现，人工行走时在某位置停留导致采集数据重复，以及硬件故障重新开启导致中间时间段数据缺失的问题，为了能够更好的利用现有数据进行污染物浓度预测研究，我们对实际采集数据中产生的数据重复、缺失、负值等异常值，进行数据清洗和缺失数据处理。首先清理一些硬件原因造成的异常数据，比如污染物浓度为负值、温度数据异常过高或过低(-999℃等情况)、大气压强数值为0等情况。针对这些异常值，我们采用了以时间为中心的移动自适应降噪方法对数据进行了平滑处理。居中移动平均值方法是一种平滑技术，使时间序列数据趋势更平稳。与简单的移动平均值不同，使用居中移动平均值的数据没有移位或者群体延迟等问题。
针对缺失数据，在手推车行走的过程中由于设备故障或者电量用光的原因，会造成数据在一段时间或者一段路程内缺失。本方法针对缺失数据，进行适当的填充以尽可能的使填充数据与真实数据相一致，若缺失时间长度过大，将放弃这一段时间内的数据。此外，由于在某个位置停留，而搜集了该位置处多个时间的数据。因为停留的时间范围不大(4-6分钟)，空气污染物浓度几乎没有变化，将这些重复数据求取平均值，作为该位置处的采集数据。
当数据的预处理工作完成之后，数据处理时按GPS信息对这些特征数据进行整合，然后将数据按照经纬度在ARCGIS工具中映射到地图上，再按照路程长度平均选取400个点位置。
在整理好的数据中，我们将污染物PM2.5作为预测标签，将建筑物、植被、天空、人、车辆、道路环境因子数据，以及温度、风速等气象数据作为每个点位置的特征标签，即每个点位置共具有11个特征标签。
1-2)将选取的400个点位置数据整理向量集合，并将每列特征标签数据进行归一化处理，将点位置数据按照6:2:2的比例分为训练集、验证集和测试集，将训练集中所有数据形成的特征向量X作为模型的输入，n＝240，d＝11。
2)构建基于图注意力机制的空间污染物浓度预测模型并训练模型：将原始输入特征向量X输入到多层感知机(MLP，Multilayer Perceptron)层中进行变换得到新的特征向量H1，分别将H1通过两层MLP得到新的特征向量H2，通过注意力机制得到所构造的邻接矩阵A，将邻接矩阵A和特征向量H1作为参数输入到图注意力网络层(GAT，Graph AttentionNetwork)中，通过两层图注意力网络层得到新的特征向量H3。
2-1)多层感知机除了输入输出层，它中间可以有多个隐层，多层感知机层与层之间是全连接的(全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接)。我们使用三层MLP，其中输入层给定实验样本
其批量大小为240，输入的特征个数为11；设置多层感知机有一层隐藏层，其中隐藏层单元的个数为h，隐藏层的输出为G1，有
因为隐藏层和输出层均是全连接层，设置隐藏层的权重参数和偏差参数分别为
和
隐藏层的输出为G1＝XWh+bh，输出层的权重和偏差参数分别为
和
输出
函数f是常用的ELU函数
2-2)再次通过四层的MLP得到新的特征向量H2，其中输入层给定实验样本
其批量大小为n，输入的个数为q；设置多层感知机有两层隐藏层，其中第一层隐藏层单元的个数为h，隐藏层的输出为G2，有
第一层隐藏层的输出G2即为第二层隐藏层的输入，第二层隐藏层单元个数为m，所以第二层隐藏层输出为G3，
同时，第一层隐藏层、第二层隐藏层和输出层均是全连接层，设置第一层隐藏层的权重参数和偏差参数分别为
和
隐藏层的输出为G2＝H1Wh+bh，第二层隐藏层的权重参数和偏差参数分别为
隐藏层的输出为G3＝G2Wm+bm，输出层的权重和偏差参数分别为
和
输出
为，H2＝f(G3W3+b3).函数f是常用的ELU函数
2-3)对于注意力机制(Attention)的作用角度出发，我们就可以从两个角度来分类注意力的种类：空间注意力和时间注意力，即Spatial Attention和TemporalAttention，本算法的主要应用在于空间注意力，我们将编码器输入结构化的数据，用集合表示为C＝{c1,c2,...,cM}，总共有M个元素，集合中的元素代表我们输入信息中的空间位置上的输入信息，在t位置上，根据已知的语义表示向量gt、上一时刻预测的zt-1和解码器中的隐状态ht-1，输出
为在位置t下，第i个元素上下文分别表示对应的注意力，反映了编码器对于输入注意位置和权重与输出注意位置和权重之间的相关性
同时，解码器对集合C中不同的上下文信息表示注意的程度(即概率)可以通过上述得分反应，用这个注意力分布作为每个输入元素ci受关注程度的权重，对每个输入单词对应的隐状态hi进行加权求和，就得到了每个元素所对应的语义向量表示gn，也就是attention值
我们将图像视觉编码后的特征为B*C维的featuremaps，构造为邻接矩阵A
2-4)将邻接矩阵A和特征向量H1作为参数输入到GAT层中，输入为
N为节点的个数，F为feature的个数，这表示输入为N个节点的每个节点的F个feature；输出为
表示对这N个节点的F'个输出，输出位N个节点的每个节点的F'个feature，这里我们明确一下，针对的是N个节点，按照其输入的feature预测输出的feature。
为了得到相应的输入与输出的转换，我们需要根据输入的feature至少一次线性变换得到输出的feature，所以我们需要对所有节点训练一个权值矩阵：
这个权值矩阵就是输入与输出的F个feature与输出的F'个feature之间的关系。针对每个节点实行self-attention的注意力机制，机制为
注意力互相关系数为attentioncoefficients：
这个公式表示的节点j对于节点i的重要性，而不去考虑图结构性的信息，向量h就是feature向量，下标i，j表示第i个节点和第j个节点。
通过masked attention将这个注意力机制引入图结构之中，masked attention的含义：只计算节点i的相邻的节点j，节点j为j∈Ni，其中Ni为节点i的所有相邻节点。为了使得互相关系数更容易计算和便于比较，我们引入了softmax对所有的i的相邻节点j进行正则化：
实验之中，注意力机制
是一个单层的前馈神经网络，通过权值向量来确定
并且加入了LeakyRelu的非线性激活，这里小于零斜率为0.2。(这里我们回顾下几种Relu函数，relu:小于0就是0，大于零斜率为1；LRelu:小于零斜率固定一个值，大于零斜率为1；PRelu:小于零斜率可变，大于零斜率为1；还有CRelu,Elu,SELU)。注意力机制如下：
也是我们前面需要得到的注意力互相关系数
在模型中应用相互注意机制
通过权重向量a参数化，应用LeakyReLU激活，模型权重为
转置表示为T，concate用||表示，公式含义就是权值矩阵与F'个特征相乘，然后节点相乘后并列在一起，与权重相乘，LRelu激活后指数操作得到softmax的分子，通过上面，运算得到了正则化后的不同节点之间的注意力互相关系数(normalizedattention coefficients)，可以用来预测每个节点的output feature：
W为与feature相乘的权值矩阵，αij为前面算得的注意力互相关系数，softmax为非线性激活，遍历的j表示所有与i相邻的节点，这个公式表示就是，该节点的输出feature与之相邻的所有节点有关，是他们的线性和非线性系数，这个线性和非线性系数是前面求得的注意力互相关系数。
在上面的output feature加入计算multi-head的运算公式:
concate操作为||，第k个注意力机制为(ak)，共大K个注意力机制需要考虑，k表示K中的第k个，输入特征的线性变换表示为Wk，最终的输出为h'共由KF'个特征影响。
对于最终的输出，concate操作可能不那么敏感了，所以我们直接用K平均来取代concate操作，得到最终的公式：
其中，共K个注意力机制需要考虑，k表示K中的第k个，αij为前面算得的注意力互相关系数，输入特征的线性变换表示为Wk，最终输出为
2-5)将h’作为输入再次输入到2-4所描述的GAT模型中，通过2-4.2-5两层GAT网络层我们的得到新的特征向量
2-6)将得到的特征向量H2和H3特征向量进行相加操作得到新的特征向量H4，并将特征向量H4和邻接矩阵A输入到与2-4过程相同的GAT网络层之中，即将特征向量H4和邻接矩阵A再进行一次2-4操作得到最终的输出预测标签向量Y。
3)训练模型并验证；
在模型的训练中，使用随机梯度下降(Stochastic Gradient Descent,SGD)作为优化函数，学习率设置为0.001，训练迭代次数设置为300，并最终选取在验证集中MAPE值最小时的输出作为最终预测结果。
在本算法中，主要用平均绝对百分误差(MAPE)、均方误差(MSE)和平均绝对误差(MAE)作为评价指标，具体函数如下式所示：
其中，Yi表示第i个实际值，Yi表示第i个预测值，Ei表示Yi与Yi之间的绝对误差，n表示向量长度。由公式可以看出，这三种评价指标在不同模型间进行对比时，计算得到的数值越小，表示模型训练的效果越好。
本实验选取了标准线性回归，随机森林和多层感知器网络作为比较模型。标准线性回归和随机森林是常用的回归预测算法，多层感知器是神经网络算法中常用的回归预测算法，这些都是常用作预测模型进行实验。实验结果如下表1所示：
表1模型验证结果
由表1可以看出，本文提出的M-GAT模型在三个评价指标下预测效果均优于线性回归模型、随机森林模型以及多层感知器模型(MLP)。其中，LR、RF等机器学习预测方法对多源数据构成的复杂非线性关系建模效果相对较差，本章所设计的M-GAT模型能够有效通过不同特征标签在点位置数据间建立起复杂的非线性关系，一定程度上提高了预测结果的精度。
为了进一步证明加入的环境因子数据是否影响了空气污染物浓度预测模型的实验结果，我们通过将输入数据划分为添加环境因子数据和不添加环境因子数据分别作为输入数据输入M-GAT预测模型中来做对比试验，实验结果如下表3所示：
表3环境因子添加对比实验结果
从表3可以看出，添加了环境因子之后MAPE、MAE和MSE的值均比不添加环境因子得到的结果误差较小，说明通过采用街景图像获取得到的环境因子数据引入到空气污染物浓度预测模型中使得模型预测精度略有提升，效果较好。为了进一步证明模型的有效性，在这里分别展示四个模型测试结果误差，如图2所示。其中，图中，a为线性回归模型所得到的结果，b为随机森林模型所得到的结果，c为本课题所设计的基于注意力机制的模型所得到结果，d为多层感知器模型得到结果。由图中可以看出，线性回归预测结果与实际结果偏差最大，M-GAT模型结果偏差相对最小。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (8)
1.一种基于图注意力机制的空气污染物浓度预测方法，构建基于图注意力机制的空间污染物浓度预测模型，将气象数据、空气监测数据、环境因素数据作为模型输入数据，通过图注意力机制构建图邻接矩阵，利用图卷积神经网络层和多层感知机网络层提取图信息特征，输出预测的空气污染物浓度值；
所述基于图注意力机制的空气污染物浓度预测方法包括训练阶段和测试阶段；具体包括如下步骤：
1)利用空气污染物浓度数据、气象数据、环境因子数据和地图数据，构建输入特征向量X；包括如下操作：
11)对收集的空气污染物浓度数据、气象数据和环境因子数据分别进行数据清洗，对缺失数据进行填充或删除；
12)以GPS位置信息为基准对数据进行整合，使数据的时空尺度保持一致；将数据按照经纬度映射在地图中，再按照路程长度平均选取点位置；
13)将所有点位置的数据形成向量集合；点位置关联的数据包括空气污染物浓度数据、气象数据和环境因子数据；将空气污染物浓度作为预测标签，将环境因子数据、气象数据作为每个点位置的特征标签；
14)每一个特征标签作为特征向量中的一列；将每列特征标签数据进行归一化处理；按比例分为训练集、验证集和测试集；将训练集的n个位置点构建输入特征向量
X是一个n*d的矩阵，表示一共有n个点，每个点具有d维特征，即构建得到输入特征向量X；
共选取P个点位，选取的P个点的位置数据组成向量集合，每个点位置关联的数据包括空气污染物浓度数据、气象数据和环境因子数据；并将污染物浓度作为预测标签，将环境因子数据、气象数据作为每个点位置的特征标签；每一个特征标签在特征向量中为一列，将每列特征标签数据进行归一化处理；将P个点按一定比例分为训练集、验证集和测试集，其中训练集的位置点为n个，构建输入特征向量
X是一个n*d的矩阵，表示一共有n个点，每个点具有d维特征
2)构建基于图注意力机制的空气污染物浓度预测模型：
基于图注意力机制的空气污染物浓度预测模型包括：多层感知机、注意力机制模型、图注意力网络层；其中，多层感知机包括：输入层、中间的多个隐层、输出层；多层感知机的层与层之间是全连接的；注意力机制模型包括编码器、用于进行归一化的softmax层和解码器；图注意力网络层包括输入层与输出层、特征提取与注意力机制、输出特征层和多头注意力机制；构建模型包括如下过程：
21)将输入特征向量X输入到多层感知机的层中进行变换，得到新的特征向量H1；
给定实验样本
作为输入层，
表示样本X的批量大小为n，输入的个数为d；设置多层感知机有一层隐藏层，隐藏层神经元的个数为h，隐藏层的输出为G1，
表示其隐藏层输出是行为n，列为h的矩阵；隐藏层和输出层均是全连接层，有d*h个权重；设置隐藏层的权重参数和偏差参数分别为
和
隐藏层的输出为G1＝XWh+bh；其中，Wh大小为(d,h)，即d行h列，每一列对应隐藏层的每一个神经元的连接权重；bh是偏置，为h维向量，1行h列；
设置输出层的权重和偏差参数分别为
和
输出
为H1＝f(G1W1+b1)，函数f是ELU函数；
22)将H1通过四层的多层感知机，得到新的特征向量H2；
输入层给定实验样本
其批量大小为n，输入的个数为q，n行q列；设置多层感知机有两层隐藏层，其中第一层隐藏层单元的个数为h，隐藏层的输出为G2，
输入批量大小为n，隐藏层单元为h；输出为n行h列，第一层隐藏层的输出G2即为第二层隐藏层的输入，第二层隐藏层单元个数为m；第二层隐藏层输出为G3，
n行m列，同时，第一层隐藏层、第二层隐藏层和输出层均是全连接层，设置第一层隐藏层的权重参数和偏差参数分别为
和
隐藏层的输出为G2＝H1Wh+bh，第二层隐藏层的权重参数和偏差参数分别为
和
隐藏层的输出为G3＝G2Wh+bh；输出层的权重和偏差参数分别为
和
输出为
H2＝f(G3W3+b3)；
23)通过注意力机制得到所构造的邻接矩阵A；
输入结构化的数据到编码器中；结构化的数据用集合表示为c＝{c1,c2,...,cM}，总共有M个元素，集合中的元素代表输入信息中的空间位置上的输入信息，在t位置上，根据已知的语义表示向量ct、上一时刻预测的zt-1和解码器中的隐状态ht-1，输出
为在位置t下，第i个元素上下文分别表示对应的注意力，反映编码器对于输入注意位置和权重与输出注意位置和权重之间的相关性，表示为：
解码器对集合C中不同的上下文信息表示注意的程度即概率，用注意力分布作为每个输入元素ci受关注程度的权重，对每个输入单词对应的隐状态hi进行加权求和，得到每个元素所对应的语义向量表示gn，即注意力值；
将图像视觉编码后的特征为B*C维的特征图，构造为邻接矩阵A；
将邻接矩阵A和特征向量H1作为参数，输入到图注意力网络层中，通过两层图注意力网络层得到新的特征向量H3；包括步骤24)和25)；
24)针对图注意力网络层N个节点，按照输入的特征预测输出的特征；
将邻接矩阵A和特征向量H1作为参数输入到图注意力网络层中，输入为
N为节点的个数，F为特征的个数，表示输入为N个节点的每个节点的F个特征；输出为
表示对N个节点的F'个输出，输出为N个节点的每个节点的F'个特征；
对所有节点训练一个权值矩阵：
该权值矩阵表示输入与输出的F个feature与输出的F'个feature之间的关系；针对每个节点实行自注意力机制，机制为a:
注意力互相关系数表示为
表示节点j对于节点i的重要性；向量h即特征向量，下标i，j表示第i个节点和第j个节点；由此得到相应的输入与输出的转换；
通过伪装注意力机制将注意力机制引入图结构中；伪装注意力机制即只计算节点i的相邻的节点j，节点j为j∈Ni，其中Ni为节点i的所有相邻节点；
通过softmax函数对所有的i的相邻节点j进行正则化；表示为：
αij为注意力互相关系数
正则化后的结果；
注意力机制a是一个单层的前馈神经网络，通过权值向量确定
并加入LeakyRelu的非线性激活；注意力机制表示如下：
注意力互相关系数
αij为注意力互相关系数
正则化计算后的结果；
应用相互注意机制a(Whi，Whj)，通过权重向量a参数化，应用LeakyReLU函数激活，模型权重为
T表示转置；符号“||”表示将新向量拼接到原来的向量之后，对应维数增加；注意力机制公式即表示将权值矩阵与F'个特征相乘，然后节点相乘后并列在一起，与权重相乘，激活后进行指数操作得到softmax函数的分子，通过运算得到正则化后的不同节点之间的注意力互相关系数，用来预测每个节点的输出特征层：
其中W为与特征相乘的权值矩阵，αij为计算得到的注意力互相关系数，softmax为非线性激活，遍历的j表示所有与i相邻的节点；
将输出特征层加入计算多头注意力机制，计算公式表示为:
其中，第k个注意力机制为(ak)；K为注意力机制的数量；k表示K中的第k个；输入特征的线性变换表示为Wk，最终的输出为h'，共KF'个特征，输出为
25)将h’再次输入到步骤24)的图注意力网络层模型中，得到新的特征向量H3＝{h'11,h'11,...,h'11},
26)将得到的特征向量H2和H3进行相加操作，得到新的特征向量H4，并将特征向量H4和邻接矩阵A输入到与步骤24)相同的图注意力网络层中，即将特征向量H4和邻接矩阵A再进行一次步骤24)的操作，得到最终的输出预测标签向量Y；
3)训练模型并验证，得到训练好的空气污染物浓度预测模型；
训练模型使用随机梯度下降作为优化函数，学习率设置为α，训练迭代次数设置为s；当验证集中的平均绝对百分误差MAPE值最小时的输出作为最终预测结果；
在测试阶段，对待测空气，采用训练好的空气污染物浓度预测模型进行预测，即得到空气污染物的预测浓度。
2.如权利要求1所述基于图注意力机制的空气污染物浓度预测方法，其特征是，步骤21)将输入特征向量X输入到多层感知机的层中进行变换，采用的多层感知机的层数为三层，包括：输入层；一层隐藏层；输出层。
3.如权利要求1所述基于图注意力机制的空气污染物浓度预测方法，其特征是，步骤22)将H1通过四层的MLP，包括：输入层、两层隐藏层和输出层。
4.如权利要求2或3所述基于图注意力机制的空气污染物浓度预测方法，其特征是，函数f表示为：
函数f是ELU函数。
5.如权利要求1所述基于图注意力机制的空气污染物浓度预测方法，其特征是，步骤23)中，概率分布
表示为：
6.如权利要求1所述基于图注意力机制的空气污染物浓度预测方法，其特征是，步骤23)中，每个元素所对应的语义向量gn表示为：
其中，gn表示每个元素所对应的语义向量，hi表示每个输入单词对应的隐状态，
表示注意力得分。
7.如权利要求1所述基于图注意力机制的空气污染物浓度预测方法，其特征是，步骤3)中，验证训练的模型具体采用平均绝对百分误差MAPE、均方误差MSE和平均绝对误差MAE作为评价指标，分别表示为：
其中，Yi表示第i个实际值，Yi表示第i个预测值，Ei表示Yi与Yi之间的绝对误差，n表示向量长度。
8.如权利要求1所述基于图注意力机制的空气污染物浓度预测方法，其特征是，步骤1)中，空气污染物浓度数据包括但不限于可入肺颗粒物、细颗粒物、可吸入颗粒物、375nm处紫外线颗粒物、880nm处颗粒物；气象数据包括但不限于温度、风速、风向和大气压强；环境因子数据包括但不限于从街景影像提取的建筑物、植被、天空、人、车辆、道路环境因子所占百分比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620605.6A CN111832814B (zh) | 2020-07-01 | 2020-07-01 | 一种基于图注意力机制的空气污染物浓度预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620605.6A CN111832814B (zh) | 2020-07-01 | 2020-07-01 | 一种基于图注意力机制的空气污染物浓度预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832814A true CN111832814A (zh) | 2020-10-27 |
| CN111832814B CN111832814B (zh) | 2023-06-23 |
Family
ID=72900991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010620605.6A Active CN111832814B (zh) | 2020-07-01 | 2020-07-01 | 一种基于图注意力机制的空气污染物浓度预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832814B (zh) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541302A (zh) * | 2020-12-23 | 2021-03-23 | 北京百度网讯科技有限公司 | 空气质量预测模型训练方法、空气质量预测方法及装置 |
| CN112581387A (zh) * | 2020-12-03 | 2021-03-30 | 广州电力通信网络有限公司 | 一种配电室智能运维系统、装置及方法 |
| CN112578089A (zh) * | 2020-12-24 | 2021-03-30 | 河北工业大学 | 一种基于改进tcn的空气污染物浓度预测方法 |
| CN112651577A (zh) * | 2021-01-08 | 2021-04-13 | 重庆邮电大学 | 一种基于融合时空数据的隧道形变预测方法 |
| CN112700402A (zh) * | 2020-12-09 | 2021-04-23 | 浙江工业大学 | 基于图像和自编码生成网络的锅炉高温氧浓度预测方法 |
| CN112766549A (zh) * | 2021-01-07 | 2021-05-07 | 清华大学 | 一种空气污染物浓度预报方法、装置及存储介质 |
| CN112784909A (zh) * | 2021-01-28 | 2021-05-11 | 哈尔滨工业大学 | 基于自注意力机制和自适应子网络的图像分类识别方法 |
| CN113011455A (zh) * | 2021-02-02 | 2021-06-22 | 北京数汇通信息技术有限公司 | 一种空气质量预测svm模型构建方法 |
| CN113159409A (zh) * | 2021-04-14 | 2021-07-23 | 浙江大学 | 一种基于组感知图神经网络的全国城市空气质量预测方法 |
| CN113188968A (zh) * | 2021-05-06 | 2021-07-30 | 长沙理工大学 | 基于组合深度学习模型的空气污染物浓度预测方法及系统 |
| CN113222328A (zh) * | 2021-03-25 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于路段污染相似性的空气质量监测设备布点选址方法 |
| CN113326981A (zh) * | 2021-05-26 | 2021-08-31 | 北京交通大学 | 基于动态时空注意力机制的大气环境污染物预测模型 |
| CN113516304A (zh) * | 2021-06-29 | 2021-10-19 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
| CN113763184A (zh) * | 2021-08-26 | 2021-12-07 | 甘肃同兴智能科技发展有限责任公司 | 一种碳资产评估方法 |
| CN114002303A (zh) * | 2021-12-31 | 2022-02-01 | 中国农业科学院农业资源与农业区划研究所 | 冷链物流中气体感知的校准方法及多源感知装置 |
| CN114298389A (zh) * | 2021-12-22 | 2022-04-08 | 中科三清科技有限公司 | 一种臭氧浓度预报方法及装置 |
| CN114609008A (zh) * | 2022-03-30 | 2022-06-10 | 中国科学院地理科学与资源研究所 | 一种气体浓度预测模型的训练方法和气体浓度预测方法 |
| CN114942308A (zh) * | 2022-06-23 | 2022-08-26 | 北京工商大学 | 一种基于多变量多步lstm模型的气体浓度预测方法 |
| CN115146537A (zh) * | 2022-07-12 | 2022-10-04 | 四川大学 | 基于耗电量的大气污染物排放量估算模型构建方法及系统 |
| CN115147152A (zh) * | 2022-07-01 | 2022-10-04 | 浙江出海数字技术有限公司 | 广告投放效果数据采集与统计分析系统 |
| CN115310361A (zh) * | 2022-08-16 | 2022-11-08 | 中国矿业大学 | 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统 |
| CN115618927A (zh) * | 2022-11-17 | 2023-01-17 | 中国人民解放军陆军防化学院 | 一种基于时序-图融合神经网络的气体种类识别方法 |
| CN115994629A (zh) * | 2023-03-23 | 2023-04-21 | 南京信息工程大学 | 一种基于gn-rbf的空气湿度预测方法及系统 |
| CN116170351A (zh) * | 2023-01-29 | 2023-05-26 | 南京信息工程大学 | 一种基于时空图注意力机制的网络流量预测方法 |
| CN116189800A (zh) * | 2023-02-23 | 2023-05-30 | 深圳大学 | 基于气体检测的模式识别方法、装置、设备及存储介质 |
| CN116307292A (zh) * | 2023-05-22 | 2023-06-23 | 安徽中科蓝壹信息科技有限公司 | 一种基于机器学习和集成学习的空气质量预报优化方法 |
| CN116720635A (zh) * | 2023-08-11 | 2023-09-08 | 航天信德智图（北京）科技有限公司 | 一种基于实测数据的广西油茶估产方法 |
| CN116824305A (zh) * | 2023-08-09 | 2023-09-29 | 中国气象服务协会 | 应用于云计算的生态环境监测数据处理方法及系统 |
| CN117111540A (zh) * | 2023-10-25 | 2023-11-24 | 南京德克威尔自动化有限公司 | 一种用于io远程控制总线模块的环境监测预警方法及系统 |
| CN117313551A (zh) * | 2023-11-28 | 2023-12-29 | 中国科学院合肥物质科学研究院 | 基于gat-lstm的放射性核素扩散预测方法及系统 |
| US11874261B2 (en) * | 2022-04-06 | 2024-01-16 | Chengdu Qinchuan Iot Technology Co., Ltd. | Method and internet of things (IoT) system for managing dust pollution in smart city |
| CN117633661A (zh) * | 2024-01-26 | 2024-03-01 | 西南交通大学 | 一种基于进化图自监督学习的运渣车高危污染源分类方法 |
| CN117634972A (zh) * | 2023-12-07 | 2024-03-01 | 国网西藏电力有限公司 | 一种基于气象数据的风光发电资源评估方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485353A (zh) * | 2016-09-30 | 2017-03-08 | 中国科学院遥感与数字地球研究所 | 空气污染物浓度预报方法及系统 |
| CN109492830A (zh) * | 2018-12-17 | 2019-03-19 | 杭州电子科技大学 | 一种基于时空深度学习的移动污染源排放浓度预测方法 |
| CN110070239A (zh) * | 2019-03-29 | 2019-07-30 | 北京航空航天大学 | 一种基于a星搜索和深度学习的个性化路线推荐方法 |
| CN111160628A (zh) * | 2019-12-13 | 2020-05-15 | 重庆邮电大学 | 一种基于CNN和双注意力seq2seq的空气污染物浓度预测方法 |
-
2020
- 2020-07-01 CN CN202010620605.6A patent/CN111832814B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485353A (zh) * | 2016-09-30 | 2017-03-08 | 中国科学院遥感与数字地球研究所 | 空气污染物浓度预报方法及系统 |
| CN109492830A (zh) * | 2018-12-17 | 2019-03-19 | 杭州电子科技大学 | 一种基于时空深度学习的移动污染源排放浓度预测方法 |
| CN110070239A (zh) * | 2019-03-29 | 2019-07-30 | 北京航空航天大学 | 一种基于a星搜索和深度学习的个性化路线推荐方法 |
| CN111160628A (zh) * | 2019-12-13 | 2020-05-15 | 重庆邮电大学 | 一种基于CNN和双注意力seq2seq的空气污染物浓度预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴春霖;李琦;侯俊雄;KARIMIAN HAMED;陈工;: "卷积神经网络的PM2.5预报模型", 测绘科学 * |
Cited By (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112581387A (zh) * | 2020-12-03 | 2021-03-30 | 广州电力通信网络有限公司 | 一种配电室智能运维系统、装置及方法 |
| CN112700402B (zh) * | 2020-12-09 | 2024-02-02 | 浙江工业大学 | 基于图像和自编码生成网络的锅炉高温氧浓度预测方法 |
| CN112700402A (zh) * | 2020-12-09 | 2021-04-23 | 浙江工业大学 | 基于图像和自编码生成网络的锅炉高温氧浓度预测方法 |
| CN112541302A (zh) * | 2020-12-23 | 2021-03-23 | 北京百度网讯科技有限公司 | 空气质量预测模型训练方法、空气质量预测方法及装置 |
| CN112541302B (zh) * | 2020-12-23 | 2024-02-06 | 北京百度网讯科技有限公司 | 空气质量预测模型训练方法、空气质量预测方法及装置 |
| CN112578089A (zh) * | 2020-12-24 | 2021-03-30 | 河北工业大学 | 一种基于改进tcn的空气污染物浓度预测方法 |
| CN112578089B (zh) * | 2020-12-24 | 2023-04-07 | 河北工业大学 | 一种基于改进tcn的空气污染物浓度预测方法 |
| CN112766549A (zh) * | 2021-01-07 | 2021-05-07 | 清华大学 | 一种空气污染物浓度预报方法、装置及存储介质 |
| CN112651577A (zh) * | 2021-01-08 | 2021-04-13 | 重庆邮电大学 | 一种基于融合时空数据的隧道形变预测方法 |
| CN112651577B (zh) * | 2021-01-08 | 2022-03-22 | 重庆邮电大学 | 一种基于融合时空数据的隧道形变预测方法 |
| CN112784909A (zh) * | 2021-01-28 | 2021-05-11 | 哈尔滨工业大学 | 基于自注意力机制和自适应子网络的图像分类识别方法 |
| CN113011455B (zh) * | 2021-02-02 | 2024-01-05 | 北京数汇通信息技术有限公司 | 一种空气质量预测svm模型构建方法 |
| CN113011455A (zh) * | 2021-02-02 | 2021-06-22 | 北京数汇通信息技术有限公司 | 一种空气质量预测svm模型构建方法 |
| CN113222328A (zh) * | 2021-03-25 | 2021-08-06 | 中国科学技术大学先进技术研究院 | 基于路段污染相似性的空气质量监测设备布点选址方法 |
| CN113222328B (zh) * | 2021-03-25 | 2022-02-25 | 中国科学技术大学先进技术研究院 | 基于路段污染相似性的空气质量监测设备布点选址方法 |
| CN113159409A (zh) * | 2021-04-14 | 2021-07-23 | 浙江大学 | 一种基于组感知图神经网络的全国城市空气质量预测方法 |
| CN113159409B (zh) * | 2021-04-14 | 2022-05-17 | 浙江大学 | 一种基于组感知图神经网络的全国城市空气质量预测方法 |
| CN113188968A (zh) * | 2021-05-06 | 2021-07-30 | 长沙理工大学 | 基于组合深度学习模型的空气污染物浓度预测方法及系统 |
| CN113326981A (zh) * | 2021-05-26 | 2021-08-31 | 北京交通大学 | 基于动态时空注意力机制的大气环境污染物预测模型 |
| CN113326981B (zh) * | 2021-05-26 | 2024-05-31 | 北京交通大学 | 基于动态时空注意力机制的大气环境污染物预测模型 |
| CN113516304A (zh) * | 2021-06-29 | 2021-10-19 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
| CN113516304B (zh) * | 2021-06-29 | 2024-01-23 | 上海师范大学 | 基于时空图网络的区域污染物时空联合预测方法及装置 |
| CN113763184A (zh) * | 2021-08-26 | 2021-12-07 | 甘肃同兴智能科技发展有限责任公司 | 一种碳资产评估方法 |
| CN114298389A (zh) * | 2021-12-22 | 2022-04-08 | 中科三清科技有限公司 | 一种臭氧浓度预报方法及装置 |
| CN114002303B (zh) * | 2021-12-31 | 2022-04-05 | 中国农业科学院农业资源与农业区划研究所 | 冷链物流中气体感知的校准方法及多源感知装置 |
| CN114002303A (zh) * | 2021-12-31 | 2022-02-01 | 中国农业科学院农业资源与农业区划研究所 | 冷链物流中气体感知的校准方法及多源感知装置 |
| CN114609008A (zh) * | 2022-03-30 | 2022-06-10 | 中国科学院地理科学与资源研究所 | 一种气体浓度预测模型的训练方法和气体浓度预测方法 |
| CN114609008B (zh) * | 2022-03-30 | 2023-09-01 | 中国科学院地理科学与资源研究所 | 一种气体浓度预测模型的训练方法和气体浓度预测方法 |
| US11874261B2 (en) * | 2022-04-06 | 2024-01-16 | Chengdu Qinchuan Iot Technology Co., Ltd. | Method and internet of things (IoT) system for managing dust pollution in smart city |
| CN114942308A (zh) * | 2022-06-23 | 2022-08-26 | 北京工商大学 | 一种基于多变量多步lstm模型的气体浓度预测方法 |
| CN115147152A (zh) * | 2022-07-01 | 2022-10-04 | 浙江出海数字技术有限公司 | 广告投放效果数据采集与统计分析系统 |
| CN115146537A (zh) * | 2022-07-12 | 2022-10-04 | 四川大学 | 基于耗电量的大气污染物排放量估算模型构建方法及系统 |
| CN115310361A (zh) * | 2022-08-16 | 2022-11-08 | 中国矿业大学 | 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统 |
| CN115310361B (zh) * | 2022-08-16 | 2023-09-15 | 中国矿业大学 | 基于wgan-cnn煤矿井下粉尘浓度预测方法和系统 |
| CN115618927A (zh) * | 2022-11-17 | 2023-01-17 | 中国人民解放军陆军防化学院 | 一种基于时序-图融合神经网络的气体种类识别方法 |
| CN116170351A (zh) * | 2023-01-29 | 2023-05-26 | 南京信息工程大学 | 一种基于时空图注意力机制的网络流量预测方法 |
| CN116170351B (zh) * | 2023-01-29 | 2023-08-22 | 南京信息工程大学 | 一种基于时空图注意力机制的网络流量预测方法 |
| CN116189800B (zh) * | 2023-02-23 | 2023-08-18 | 深圳大学 | 基于气体检测的模式识别方法、装置、设备及存储介质 |
| CN116189800A (zh) * | 2023-02-23 | 2023-05-30 | 深圳大学 | 基于气体检测的模式识别方法、装置、设备及存储介质 |
| CN115994629A (zh) * | 2023-03-23 | 2023-04-21 | 南京信息工程大学 | 一种基于gn-rbf的空气湿度预测方法及系统 |
| CN116307292B (zh) * | 2023-05-22 | 2023-08-04 | 安徽中科蓝壹信息科技有限公司 | 一种基于机器学习和集成学习的空气质量预报优化方法 |
| CN116307292A (zh) * | 2023-05-22 | 2023-06-23 | 安徽中科蓝壹信息科技有限公司 | 一种基于机器学习和集成学习的空气质量预报优化方法 |
| CN116824305A (zh) * | 2023-08-09 | 2023-09-29 | 中国气象服务协会 | 应用于云计算的生态环境监测数据处理方法及系统 |
| CN116824305B (zh) * | 2023-08-09 | 2024-06-04 | 中国气象服务协会 | 应用于云计算的生态环境监测数据处理方法及系统 |
| CN116720635B (zh) * | 2023-08-11 | 2023-10-20 | 航天信德智图（北京）科技有限公司 | 一种基于实测数据的广西油茶估产方法 |
| CN116720635A (zh) * | 2023-08-11 | 2023-09-08 | 航天信德智图（北京）科技有限公司 | 一种基于实测数据的广西油茶估产方法 |
| CN117111540A (zh) * | 2023-10-25 | 2023-11-24 | 南京德克威尔自动化有限公司 | 一种用于io远程控制总线模块的环境监测预警方法及系统 |
| CN117111540B (zh) * | 2023-10-25 | 2023-12-29 | 南京德克威尔自动化有限公司 | 一种用于io远程控制总线模块的环境监测预警方法及系统 |
| CN117313551A (zh) * | 2023-11-28 | 2023-12-29 | 中国科学院合肥物质科学研究院 | 基于gat-lstm的放射性核素扩散预测方法及系统 |
| CN117634972A (zh) * | 2023-12-07 | 2024-03-01 | 国网西藏电力有限公司 | 一种基于气象数据的风光发电资源评估方法及系统 |
| CN117634972B (zh) * | 2023-12-07 | 2024-04-19 | 国网西藏电力有限公司 | 一种基于气象数据的风光发电资源评估方法及系统 |
| CN117633661A (zh) * | 2024-01-26 | 2024-03-01 | 西南交通大学 | 一种基于进化图自监督学习的运渣车高危污染源分类方法 |
| CN117633661B (zh) * | 2024-01-26 | 2024-04-02 | 西南交通大学 | 一种基于进化图自监督学习的运渣车高危污染源分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832814B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111832814B (zh) | 一种基于图注意力机制的空气污染物浓度预测方法 | |
| CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
| Choi et al. | Graph neural controlled differential equations for traffic forecasting | |
| CN111798051B (zh) | 基于长短期记忆神经网络的空气质量时空预测方法 | |
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| US11270579B2 (en) | Transportation network speed foreeasting method using deep capsule networks with nested LSTM models | |
| CN109142171B (zh) | 基于特征扩张的融合神经网络的城市pm10浓度预测方法 | |
| CN111915059B (zh) | 基于注意力机制的Seq2seq泊位占有率预测方法 | |
| CN111899510A (zh) | 基于发散卷积和gat的智能交通系统流量短期预测方法及系统 | |
| CN110889546A (zh) | 一种基于注意力机制的交通流量模型训练方法 | |
| CN110766942A (zh) | 一种基于卷积长短期记忆网络的交通路网拥堵预测方法 | |
| CN114330868A (zh) | 基于自注意力的个性化增强图卷积网络的客流预测方法 | |
| CN114925836B (zh) | 基于动态多视图图神经网络的城市交通车流量推理方法 | |
| CN113516304B (zh) | 基于时空图网络的区域污染物时空联合预测方法及装置 | |
| CN114781538A (zh) | 一种ga-bp神经网络耦合决策树的空气质量预测方法和系统 | |
| CN115376317B (zh) | 一种基于动态图卷积和时序卷积网络的交通流预测方法 | |
| CN112966871A (zh) | 基于卷积长短期记忆神经网络的交通拥堵预测方法及系统 | |
| CN112884014A (zh) | 一种基于路段拓扑结构分类的交通速度短时预测方法 | |
| CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN115862324A (zh) | 一种智慧交通的时空同步图卷积神经网络及交通预测方法 | |
| CN116913098B (zh) | 一种融合空气质量与车流量数据的短时交通流预测方法 | |
| CN111815075B (zh) | 一种重大公共卫生事件下交通出行需求的预测方法 | |
| CN117077843A (zh) | 基于CBAM-CNN-Transformer的时空注意力细粒度PM2.5浓度预测方法 | |
| CN115730456A (zh) | 基于双注意力融合网络的机动车多元尾气预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Xun Inventor after: Liu Xiansheng Inventor after: Ma Guangchi Inventor after: Jiang Dong Inventor after: Fu Jingying Inventor after: Hao Mengmeng Inventor after: Zhao Ruifang Inventor before: Zhao Ruifang Inventor before: Zhang Xun Inventor before: Jiang Dong Inventor before: Fu Jingying Inventor before: Hao Mengmeng Inventor before: Ma Guangchi Inventor before: Liu Xiansheng |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |