CN113657042A - 一种基于多尺度注意力机制的空气质量参数预测方法 - Google Patents

一种基于多尺度注意力机制的空气质量参数预测方法 Download PDF

Info

Publication number
CN113657042A
CN113657042A CN202111029024.6A CN202111029024A CN113657042A CN 113657042 A CN113657042 A CN 113657042A CN 202111029024 A CN202111029024 A CN 202111029024A CN 113657042 A CN113657042 A CN 113657042A
Authority
CN
China
Prior art keywords
layer
output
gru
scale
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111029024.6A
Other languages
English (en)
Other versions
CN113657042B (zh
Inventor
马武彬
顾桐菲
吴亚辉
邓苏
周浩浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111029024.6A priority Critical patent/CN113657042B/zh
Priority claimed from CN202111029024.6A external-priority patent/CN113657042B/zh
Publication of CN113657042A publication Critical patent/CN113657042A/zh
Application granted granted Critical
Publication of CN113657042B publication Critical patent/CN113657042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多尺度注意力机制的空气质量参数预测方法，包括以下步骤：构建基于多尺度注意力机制的混合循环神经网络模型；利用训练集数据，对所述的混合循环神经网络模型进行训练，所述的训练集数据包括影响因素数据和已知空气参数质量数值；将测试集数据输入训练完毕的混合循环神经网络模型，计算获得空气质量参数的预测值。本发明方法在传统的循环神经网络基础上，引入注意力机制，提出基于多尺度注意力机制的卷积循环GRU的空气质量参数预测方法，其预测精度更高。

Description

一种基于多尺度注意力机制的空气质量参数预测方法
技术领域
本发明属于空气质量预测技术领域，具体涉及一种基于多尺度注意力机制的空气质量参数预测方法。
背景技术
空气污染问题已经严重影响了人们的生命健康。据不完全统计，每年空气污染导致人们死亡的人数已经上升到了300万。尤其是在发展中国家，PM2.5 是空气污染的主要成分之一，对未来PM2.5浓度的准确预测可以为人们的出行以及政府环境影响相关决策提供重要信息，减少空气污染对人们带来的危害。于是，PM2.5浓度的预测问题成为了当前研究的热点。
政府一直致力于如何减少空气污染以及对人们健康的影响。一方面，政府通过限制污染企业、提倡绿色清洁能源的使用，努力治理减少空气污染物排放的同时，另一方面通过提前预测未来PM2.5浓度信息发布公众，提醒人们在浓度过高的条件下减少户外活动，能够给保护人们的身体健康。因此，对于PM2.5 污染浓度的预测研究显得尤为重要。
目前对于PM2.5污染浓度的预测精度仍然不够，难以满足人们的需求。由于影响PM2.5浓度的因素非常多，且不同因素之间的关系非常复杂，难以确定不同尺度信息对其浓度的影响。例如过去连续几个或者几十个小时无风的不同尺度条件下对未来PM2.5的影响情况，或者过去几个或几十个小时降雨的不同尺度对未来PM2.5的影响情况。目前采用的主要方法有基于回归的预测、基于随机森林的预测、基于SVM的预测以及基于神经网络的预测，然而这些方法都难以捕捉到这些不同尺度信息对PM2.5浓度的影响。
发明内容
有鉴于此，为解决空气质量参数尤其是PM2.5的精准预测问题，本发明的目的在于提供基于多尺度注意力机制的空气质量参数预测方法，所述方法在传统的循环神经网络基础上，引入注意力机制，提出基于多尺度注意力机制的卷积循环GRU的空气质量参数预测方法。
基于上述目的，提出一种基于多尺度注意力机制的空气质量参数预测方法，包括以下步骤：
步骤1，构建基于多尺度注意力机制的混合循环神经网络模型；
步骤2，利用训练集数据，对所述的混合循环神经网络模型进行训练，所述的训练集数据包括影响因素数据和已知空气质量参数数值；
步骤3，将测试集数据输入训练完毕的混合循环神经网络模型，计算获得空气质量参数的预测值。
具体地，所述的混合神经网络模型包括第一卷积层、第一双向GRU层、第一多尺度注意力层、第二双向GRU层、第二多尺度注意力层、第二卷积层和全连接层，各层之间依次顺序连接，第一卷积层的输出和第一双向GRU层的输出连接后同时作为第一多尺度注意力层和第二多尺度注意力层的输入，所述的双向GRU层由一个前向GRU模型和一个后向GRU模型并联形成一个双向结构，所述的双向GRU层输出两个合并的GRU信号，所述的全连接层的输出层为1，所述的混合神经网络模型中第一卷积层的输入为影响因素数据序列，全连接层的输出为空气质量参数值。
具体地，对于所述的混合神经网络模型为
Figure RE-GDA0003269178010000021
x0,...,xT为影响因素序列数据，(y0,...,yK),K<T为已知的空气质量参数值， (yK+1,...,yT)为需要预测的空气质量参数值，
Figure RE-GDA0003269178010000022
为相应的估计值，输入为 x0,...,xT,y0,...,yK变量，依次输入所述的混合神经网络模型中开始训练，损失函数采用标准归一化MSE，激活函数采用Relu函数。
具体地，所述的混合神经网络模型的解析表达式如下：
Figure RE-GDA0003269178010000031
Figure RE-GDA0003269178010000032
Figure RE-GDA0003269178010000033
Figure RE-GDA0003269178010000034
Figure RE-GDA0003269178010000035
Figure RE-GDA0003269178010000036
C4 t＝η2([C2 t,C3 t])
Figure RE-GDA0003269178010000037
其中，xt为t时刻模型的输入，η1(·)和η2(·)为两个卷积操作，[·,·]为合并连接操作，MutiScalAttention(·,ScaleNum1)和MutiScalAttention(·,ScaleNum2)为ScaleNum1 和ScaleNum2两个尺度的注意力采集操作，每个注意力层前需要一个双向GRU层作为输入，之间采取串联结构，具体的融合卷积的过程如下：
第一卷积层η1(xt)接受序列数据xt的输入，输出为
Figure RE-GDA0003269178010000038
同时作为第一多尺度注意力层和第二多尺度注意力层的输入；
Figure RE-GDA0003269178010000039
为第一双向GRU层的输出，
Figure RE-GDA00032691780100000310
表示将前向GRU的输出
Figure RE-GDA00032691780100000311
与后向GRU输出
Figure RE-GDA00032691780100000312
进行合并连接；
Figure RE-GDA00032691780100000313
是对第一双向GRU层乘以权重向量
Figure RE-GDA00032691780100000314
并加上偏移向量
Figure RE-GDA00032691780100000315
的结果；
将
Figure RE-GDA00032691780100000316
与η1(xt)的输出
Figure RE-GDA00032691780100000317
进行合并为Pt 1，作为第一多尺度注意力层的输入；
Figure RE-GDA00032691780100000318
是第一多尺度注意力层尺度为ScaleNum1的注意力层的输出，连接到第二双向GRU层；
Figure RE-GDA00032691780100000319
为第二双向GRU层的输出，
Figure RE-GDA00032691780100000320
表示将其中前向GRU的输出
Figure RE-GDA0003269178010000041
与后向GRU输出
Figure RE-GDA0003269178010000042
进行合并连接；
Figure RE-GDA0003269178010000043
是对第二双向GRU层乘以权重向量
Figure RE-GDA0003269178010000044
并加上偏移向量
Figure RE-GDA0003269178010000045
的结果；
以此类推，通过表达式得到
Figure RE-GDA0003269178010000046
然后通过一个卷积操作对两次多尺度注意力模型结果进行融合，对不同尺度对输出进行筛选和识别，使得那些对目标更为重要的尺度信息能够保留下来，得到输出
Figure RE-GDA0003269178010000047
再经过一个全连接操作得到输出Ot；
其中，
Figure RE-GDA0003269178010000048
和
Figure RE-GDA0003269178010000049
均是通过学习训练所得。
具体地，在所述的第一多尺度注意力层和第二多尺度注意力层中采用改进的多尺度注意力模型，结构如下：dt＝Dense((Wd·x't+Bd),units＝ScaleNum)， ft＝1D-expand_dims(dt)，ot＝attention(ft)，所述的多尺度注意力模型分为两步，首先在输入变量处利用全连接层的输出单元生成尺度信息，尺度大小用 ScaleNum表示，从而将输入模型预处理为一个固定尺度的二维向量dt；然后采用一维扩展机制1D-expand_dims，将二维向量dt扩展成三维向量ft，使得多尺度注意力模型能够展开识别固定尺度下的输入信息，x't为输入变量，Wd和Bd为需要学习的参数向量，Dense()表示全连接操作，ot＝attention(ft)中，包括以下两步操作：at＝Va·Softmax(Waft T+Ba)，ot＝Dense(Wbai T·ft+Bb)，其中，ft T是ft的转置，Va，Wa以及Ba是需要学习的参数向量，第一步通过SoftMax输出为at，将第at转置乘以输入ft作为下一步的输入，Wb和Bb为全连接层输出学习参数，所述多尺度注意力层的模型过程记为ot＝MutiScalAttention(ft,ScaleNum)。
所述的双向GRU层通过连接前向GRU和后向GRU两个GRU模型形成的一个双向结构，前向GRU中第一层遗忘门输出：f1 t＝σ(W1 f[H1 t-1,x”t]+B1 f)，σ(x)＝1/(1+e-x)，在前向GRU更新门中，第一输出为：z1 t＝σ(W1 z[H1 t-1,x”t]+B1 z)，第二输出为：
Figure RE-GDA00032691780100000410
同理，后向GRU相应的第一输出为：z2 t＝σ(W2 z[H2 t-1,x”t]+B2 z)，第二输出：
Figure RE-GDA0003269178010000051
前向 GRU的中间输出
Figure RE-GDA0003269178010000052
以及后向GRU的中间输出
Figure RE-GDA0003269178010000053
通过对中间输出的聚合操作，得到输出
Figure RE-GDA0003269178010000054
Figure RE-GDA0003269178010000055
表示将前向GRU的输出
Figure RE-GDA0003269178010000056
与后向GRU输出
Figure RE-GDA0003269178010000057
进行合并连接，作为双向GRU层的输出
Figure RE-GDA0003269178010000058
x”t为双向GRU层的输入，[W1 f,B1 f]， [W1 Z,B1 Z]，[W1 h,B1 h]为前向GRU模型参数，[W2 f,B2 f],[W2 Z,B2 Z]，[W2 h,B2 h] 为反向GRU模型参数，[W12 o,B12 o]为输出层参数。
优选地，所述的卷积层为1维卷积网络。
具体地，所述的影响因素数据包括：露点温度、空气温度、空气湿度、大气压力、风向、风速、每小时降雨量和当天累计降雨量。
本发明方法中的混合循环神经网络模型主要包含多尺度注意力层、双向 GRU层和全连接层，将多尺度注意力层引入到循环神经网络中，将改进后的多个注意力单元通过串联方式进行连接，从不同尺度上分布注意力机制，从而使得模型能够从不同尺度采集历史信息，区别不同输入元素对预测结果的影响，双向GRU层在GRU的基础上能够更加充分的获取序列数据的上下文信息，整个模型采用卷积结构对不同尺度注意力机制的识别输出进行融合，并通过卷积连接对不同尺度对输出进行筛选和识别，使得那些对目标更为重要的尺度信息能够保留下来，由此对空气质量参数值的预测获取更好的精度。
附图说明
图1为本发明方法的流程示意图；
图2为本发明方法的数据处理流程图；
图3为本发明中1维卷积网络的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，提出一种基于多尺度注意力机制的空气质量参数预测方法，包括以下步骤：
步骤1，构建基于多尺度注意力机制的混合循环神经网络模型；
步骤2，利用训练集数据，对所述的混合循环神经网络模型进行训练，所述的训练集数据包括影响因素数据和已知空气质量参数数值；
步骤3，将测试集数据输入训练完毕的混合循环神经网络模型，计算获得空气质量参数的预测值。
具体地，所述的混合神经网络模型包括第一卷积层、第一双向GRU层、第一多尺度注意力层、第二双向GRU层、第二多尺度注意力层、第二卷积层和全连接层，各层之间依次顺序连接，第一卷积层的输出和第一双向GRU层的输出连接后同时作为第一多尺度注意力层和第二多尺度注意力层的输入，所述的双向GRU层由一个前向GRU模型和一个后向GRU模型并联形成一个双向结构，所述的双向GRU层输出两个合并的GRU信号，所述的全连接层的输出层为1，所述的混合神经网络模型中第一卷积层的输入为影响因素数据序列，全连接层的输出为空气质量参数值。
具体地，对于所述的混合神经网络模型为
Figure RE-GDA0003269178010000061
x0,...,xT为影响因素序列数据，(y0,...,yK),K<T为已知的空气质量参数值， (yK+1,...,yT)为需要预测的空气质量参数值，
Figure RE-GDA0003269178010000062
为相应的估计值，输入为 x0,...,xT,y0,...,yK变量，依次输入所述的混合神经网络模型中开始训练，损失函数采用标准归一化MSE，激活函数采用Relu函数。
具体地，所述的混合神经网络模型的解析表达式如下：
Figure RE-GDA0003269178010000071
Figure RE-GDA0003269178010000072
Figure RE-GDA0003269178010000073
Figure RE-GDA0003269178010000074
Figure RE-GDA0003269178010000075
Figure RE-GDA0003269178010000076
C4 t＝η2([C2 t,C3 t])
Figure RE-GDA0003269178010000077
其中，xt为t时刻模型的输入，η1(·)和η2(·)为两个卷积操作，[·,·]为合并连接操作，MutiScalAttention(·,ScaleNum1)和MutiScalAttention(·,ScaleNum2)为ScaleNum1 和ScaleNum2两个尺度的注意力采集操作，每个注意力层前需要一个双向GRU层作为输入，之间采取串联结构，具体的融合卷积的过程如下：
第一卷积层η1(xt)接受序列数据xt的输入，输出为
Figure RE-GDA0003269178010000078
同时作为第一多尺度注意力层和第二多尺度注意力层的输入；
Figure RE-GDA0003269178010000079
为第一双向GRU层的输出，
Figure RE-GDA00032691780100000710
表示将前向GRU的输出
Figure RE-GDA00032691780100000711
与后向GRU输出
Figure RE-GDA00032691780100000712
进行合并连接；
Figure RE-GDA00032691780100000713
是对第一双向GRU层乘以权重向量
Figure RE-GDA00032691780100000714
并加上偏移向量
Figure RE-GDA00032691780100000715
的结果；
将
Figure RE-GDA00032691780100000716
与η1(xt)的输出
Figure RE-GDA00032691780100000717
进行合并为Pt 1，作为第一多尺度注意力层的输入；
Figure RE-GDA00032691780100000718
是第一多尺度注意力层尺度为ScaleNum1的注意力层的输出，连接到第二双向GRU层；
Figure RE-GDA00032691780100000719
为第二双向GRU层的输出，
Figure RE-GDA00032691780100000720
表示将其中前向GRU的输出
Figure RE-GDA0003269178010000081
与后向GRU输出
Figure RE-GDA0003269178010000082
进行合并连接；
Figure RE-GDA0003269178010000083
是对第二双向GRU层乘以权重向量
Figure RE-GDA0003269178010000084
并加上偏移向量
Figure RE-GDA0003269178010000085
的结果；
以此类推，通过表达式得到
Figure RE-GDA0003269178010000086
然后通过一个卷积操作对两次多尺度注意力模型结果进行融合，对不同尺度对输出进行筛选和识别，使得那些对目标更为重要的尺度信息能够保留下来，得到输出
Figure RE-GDA0003269178010000087
再经过一个全连接操作得到输出Ot；本发明方法的数据处理流程如图2所示；
其中，
Figure RE-GDA0003269178010000088
和
Figure RE-GDA0003269178010000089
均是通过学习训练所得。
具体地，在所述的第一多尺度注意力层和第二多尺度注意力层中采用改进的多尺度注意力模型，结构如下：dt＝Dense((Wd·x't+Bd),units＝ScaleNum)， ft＝1D-expand_dims(dt)，ot＝attention(ft)，所述的多尺度注意力模型分为两步，首先在输入变量处利用全连接层的输出单元生成尺度信息，尺度大小用 ScaleNum表示，从而将输入模型预处理为一个固定尺度的二维向量dt；然后采用一维扩展机制1D-expand_dims，将二维向量dt扩展成三维向量ft，使得多尺度注意力模型能够展开识别固定尺度下的输入信息，x't为输入变量，Wd和Bd为需要学习的参数向量，Dense()表示全连接操作，ot＝attention(ft)中，包括以下两步操作：at＝Va·Softmax(Waft T+Ba)，ot＝Dense(Wbai T·ft+Bb)，其中，ft T是ft的转置，Va，Wa以及Ba是需要学习的参数向量，第一步通过SoftMax输出为at，将第at转置乘以输入ft作为下一步的输入，Wb和Bb为全连接层输出学习参数，所述多尺度注意力层的模型过程记为ot＝MutiScalAttention(ft,ScaleNum)。
所述的双向GRU层通过连接前向GRU和后向GRU两个GRU模型形成的一个双向结构，前向GRU中第一层遗忘门输出：f1 t＝σ(W1 f[H1 t-1,x”t]+B1 f)，σ(x)＝1/(1+e-x)，f1 t为NumberofGRUCells×20的2维中间矩阵，NumberofGRUCells 代表正向GRU模型的内部神经单元数量，xt为2维矩阵数据，维度为Windowsize×20，Windowsize为输入数据的长度；在前向GRU更新门中，第一输出为：
Figure RE-GDA00032691780100000912
z1 t的数据格式同f1 t一样，第二输出为：
Figure RE-GDA0003269178010000091
同理，后向GRU相应的第一输出为： z2 t＝σ(W2 z[H2 t-1,x”t]+B2 z)，第二输出：
Figure RE-GDA0003269178010000092
前向GRU 的中间输出
Figure RE-GDA0003269178010000093
以及后向GRU的中间输出
Figure RE-GDA0003269178010000094
通过对中间输出的聚合操作，得到输出
Figure RE-GDA0003269178010000095
Figure RE-GDA0003269178010000096
表示将前向GRU的输出
Figure RE-GDA0003269178010000097
与后向GRU输出
Figure RE-GDA0003269178010000098
进行合并连接，作为双向GRU层的输出
Figure RE-GDA0003269178010000099
x”t为双向GRU层的输入，[W1 f,B1 f]， [W1 Z,B1 Z]，[W1 h,B1 h]为前向GRU模型参数，[W2 f,B2 f],[W2 Z,B2 Z]，[W2 h,B2 h] 为反向GRU模型参数，[W12 o,B12 o]为输出层参数。
Figure RE-GDA00032691780100000910
为NumberofGRUCells×20 的2维中间矩阵
优选地，所述的卷积层为1维卷积网络。卷积神经网络一般包括1维卷积、 2维卷积以及3维卷积网络。一维卷积网络主要用于序列数据，例如音频数据、设备维修抽样数据等，二维卷积主要用于图像处理，例如图像分类、目标识别、图像分割等，三维卷积网络主要用于视频处理，例如医学影像视频、动作检测等。本实施例中主要对时间序列数据进行分析，采用1维卷积网络结果。典型的1维卷积网络结果如图3所示。其中包含一维卷积核向量，过滤尺寸(filter size)k＝4。卷积间隔(dilation factors)d＝1。
对于当前需要卷积的元素s来讲，一维卷积操作的数学表达式为：
Figure RE-GDA00032691780100000911
其中f(i)表示卷积核函数，Xs-d·i表示向前取间隔为d的样本值。
为了更好的展示本实施例的细节，采用北京的城市空气污染数据集，每个城市一共包括采集时间、季节、PM2.5值、雾气、温度、相对湿度、大气压力、风向、风速、每小时降雨量等15项数据。数据样本每1小时采集一次。数据说明如表1所示。
表1数据集中数据项含义说明
Figure RE-GDA0003269178010000101
对已有的数据集主要做如下处理：1、样本数据中删除年份数据和月份数据，对小时数据进行分类，对应白天和黑夜，分为两类进行替换。2、对其中的缺失数据进行插值和删除处理，因为每个城市都包含了多个传感器的空气检测点，有些传感器空气检测点的数据是丢失的，因此采用横向插值法，将同一时刻距离较近的空气采集数据按照距离进行平均，插入到该数据项中。3、数据分类裂项处理：a)将代表类别的数据，例如季节、风向数据，按照每一个不同值增加一列数据项进行裂项处理；b)对于连续型数值，进行数据归一化到[0,1]间的值。
模型的实验参数如表2所示：
表2：算法变量参数取值
Figure RE-GDA0003269178010000102
实验环境：本文所采用的实验背景为：电脑主要配置为：Pentium(R)Dual- core3.06CPU，8G RAM内存。
效果评估：本文对算法的性能评估采用的参数包括RMSE、MAE、MAPE以及CC：
RMSE(Root Mean Square Error，均方根误差)，其计算方式为：
Figure RE-GDA0003269178010000111
MAE(Mean Absolutely Error，平均绝对误差)，其计算方式为：
Figure RE-GDA0003269178010000112
MAPE(Mean Absolutely Percentage Error平均绝对百分误差)，其计算方式为：
Figure RE-GDA0003269178010000113
CCV(correlation coefficient value)，相关系数，算方式为：
Figure RE-GDA0003269178010000114
需要说明的是，RMSE、MAE以及MAPE都是对预测误差的衡量，其值越小代表越准确，而CCV参数代表两个序列数量的相关系数，其值越大，代表两个序列数据越为相关，预测效果越好。
针对北京数据集，降雨量、雾气、温度、PM2.5数据随着季节的变化呈周期性变化。
下面采本发明方法对PM2.5的浓度进行预测。首先预测北京未来3小时的 PM2.5的浓度，预测精度如表3。
表3：不同方法的预测结果值
Figure RE-GDA0003269178010000121
从表3中可以看出，在针对北京未来3小时的空气质量参数PM2.5浓度预测计算中，本发明方法相对于其他循环神经网络模型具备较好的精度。从RMSE 指标上看，相对于LSTM、GRU、Att-Based、Att-LSTM、Att-GRU、LSTM-Att、GRU- Att、Bi-LSTM、Bi-GRU、Bi-Conv-LSTM、Bi-Conv-GRU网络模型，本发明方法将误差减少了9.10％、27.67％、22.84％、16.07％、10.96％、24.30％、9.10％、3.72％、 1.77％、4.55％、5.48％。平均准确度分别提高了14.86％、30.60％、41.13％、28.84％、 23.73％、33.75％、14.86％、21.25％、13.61％、15.57％、15.67％，而且预测相关性分别提高了-3.61％、-2.99％、-7.56％、-5.90％、-4.45％、-7.58％、-3.61％、-2.31％、 -1.22％、-2.67％、-3.24％，并且，在平均百分误差上，本发明方法都要比其他网络模型表现出更好的性能。
由发明内容和实施例可知，本发明方法首先对数据进行了预处理，采用线性插值方法对缺失数据进行了处理，并分析了城市空气污染数据在不同季节、不同天气下的总体特征；其次，对注意力机制进行改进，提出多尺度注意力结构模型。将改进后的多个注意力单元通过串联方式进行连接，从不同尺度上分布注意力机制，从而使得模型能够从不同尺度采集历史信息；在本实施例中采用卷积结构对不同尺度注意力机制的识别输出进行融合，并通过卷积连接对不同尺度对输出进行筛选和识别，使得那些对目标更为重要的尺度信息能够保留下来，提高空气质量参数的预测精度。

Claims (7)

1.一种基于多尺度注意力机制的空气质量参数预测方法，其特征在于，包括以下步骤：
步骤1，构建基于多尺度注意力机制的混合循环神经网络模型；
步骤2，利用训练集数据，对所述的混合循环神经网络模型进行训练，所述的训练集数据包括影响因素数据和已知空气质量参数数值；
步骤3，将测试集数据输入训练完毕的混合循环神经网络模型，计算获得空气质量参数的预测值；
所述的混合神经网络模型包括第一卷积层、第一双向GRU层、第一多尺度注意力层、第二双向GRU层、第二多尺度注意力层、第二卷积层和全连接层，各层之间依次顺序连接，第一卷积层的输出和第一双向GRU层的输出连接后同时作为第一多尺度注意力层和第二多尺度注意力层的输入，所述的双向GRU层由一个前向GRU模型和一个后向GRU模型并联形成一个双向结构，所述的双向GRU层输出两个合并的GRU信号，所述的全连接层的输出层为1，所述的混合神经网络模型中第一卷积层的输入为影响因素数据序列，全连接层的输出为空气质量参数值。
2.根据权利要求1所述的一种基于多尺度注意力机制的空气质量参数预测方法，其特征在于，对于所述的混合神经网络模型为
Figure RE-FDA0003269177000000011
x0,...,xT为影响因素序列数据，(y0,...,yK),K<T为已知的空气质量参数值，(yK+1,...,yT)为需要预测的空气质量参数值，
Figure RE-FDA0003269177000000012
为相应的估计值，输入为x0,...,xT,y0,...,yK变量，依次输入所述的混合神经网络模型中开始训练，损失函数采用标准归一化MSE，激活函数采用Relu函数。
3.根据权利要求1所述的一种基于多尺度注意力机制的空气质量参数预测方法，其特征在于，所述的混合神经网络模型的解析表达式如下：
Figure RE-FDA0003269177000000021
Figure RE-FDA0003269177000000022
Figure RE-FDA0003269177000000023
Figure RE-FDA0003269177000000024
Figure RE-FDA0003269177000000025
Figure RE-FDA0003269177000000026
C4 t＝η2([C2 t,C3 t])
Figure RE-FDA0003269177000000027
其中，xt为t时刻模型的输入，η1(·)和η2(·)为两个卷积操作，[·,·]为合并连接操作，MutiScalAttention(·,ScaleNum1)和MutiScalAttention(·,ScaleNum2)为ScaleNum1和ScaleNum2两个尺度的注意力采集操作，具体的融合卷积的过程如下：
第一卷积层η1(xt)接受序列数据xt的输入，输出为
Figure RE-FDA00032691770000000225
同时作为第一多尺度注意力层和第二多尺度注意力层的输入；
Figure RE-FDA0003269177000000028
为第一双向GRU层的输出，
Figure RE-FDA0003269177000000029
表示将前向GRU的输出
Figure RE-FDA00032691770000000210
与后向GRU输出
Figure RE-FDA00032691770000000211
进行合并连接；
Figure RE-FDA00032691770000000212
是对第一双向GRU层乘以权重向量
Figure RE-FDA00032691770000000213
并加上偏移向量
Figure RE-FDA00032691770000000214
的结果；
将
Figure RE-FDA00032691770000000215
与η1(xt)的输出
Figure RE-FDA00032691770000000216
进行合并为Pt 1，作为第一多尺度注意力层的输入；
Figure RE-FDA00032691770000000217
是第一多尺度注意力层尺度为ScaleNum1的注意力层的输出，连接到第二双向GRU层；
Figure RE-FDA00032691770000000218
为第二双向GRU层的输出，
Figure RE-FDA00032691770000000219
表示将其中前向GRU的输出
Figure RE-FDA00032691770000000220
与后向GRU输出
Figure RE-FDA00032691770000000226
进行合并连接；
Figure RE-FDA00032691770000000221
是对第二双向GRU层乘以权重向量
Figure RE-FDA00032691770000000222
并加上偏移向量
Figure RE-FDA00032691770000000223
的结果；
以此类推，通过表达式得到
Figure RE-FDA00032691770000000224
然后通过一个卷积操作对两次多尺度注意力模型结果进行融合，对不同尺度对输出进行筛选和识别，使得那些对目标更为重要的尺度信息能够保留下来，得到输出
Figure RE-FDA0003269177000000031
再经过一个全连接操作得到输出Ot；
其中，
Figure RE-FDA0003269177000000032
和
Figure RE-FDA0003269177000000033
均是通过学习训练所得。
4.根据权利要求2或3所述的一种基于多尺度注意力机制的空气质量参数预测方法，其特征在于，在所述的第一多尺度注意力层和第二多尺度注意力层中采用改进的多尺度注意力模型，结构如下：dt＝Dense((Wd·x't+Bd),units＝ScaleNum)，ft＝1D-expand_dims(dt)，ot＝attention(ft)，所述的多尺度注意力模型分为两步，首先在输入变量处利用全连接层的输出单元生成尺度信息，尺度大小用ScaleNum表示，从而将输入模型预处理为一个固定尺度的二维向量dt；然后采用一维扩展机制1D-expand_dims，将二维向量dt扩展成三维向量ft，使得多尺度注意力模型能够展开识别固定尺度下的输入信息，x't为输入变量，Wd和Bd为需要学习的参数向量，Dense()表示全连接操作，ot＝attention(ft)中，包括以下两步操作：at＝Va·Softmax(Waft T+Ba)，ot＝Dense(Wbai T·ft+Bb)，其中，ft T是ft的转置，Va，Wa以及Ba是需要学习的参数向量，第一步通过SoftMax输出为at，将第at转置乘以输入ft作为下一步的输入，Wb和Bb为全连接层输出学习参数，所述多尺度注意力层的模型过程记为ot＝MutiScalAttention(ft,ScaleNum)。
5.根据权利要求4所述的一种基于多尺度注意力机制的空气质量参数预测方法，其特征在于，所述的双向GRU层通过连接前向GRU和后向GRU两个GRU模型形成的一个双向结构，前向GRU中第一层遗忘门输出：f1 t＝σ(W1 f[H1 t-1,x”t]+B1 f)，σ(x)＝1/(1+e-x)，在前向GRU更新门中，第一输出为：z1 t＝σ(W1 z[H1 t-1,x”t]+B1 z)，第二输出为：
Figure RE-FDA0003269177000000034
同理，后向GRU相应的第一输出为：z2 t＝σ(W2 z[H2 t-1,x”t]+B2 z)，第二输出：
Figure RE-FDA0003269177000000041
前向GRU的中间输出
Figure RE-FDA0003269177000000042
以及后向GRU的中间输出
Figure RE-FDA0003269177000000043
通过对中间输出的聚合操作，得到输出
Figure RE-FDA0003269177000000044
表示将前向GRU的输出
Figure RE-FDA0003269177000000045
与后向GRU输出
Figure RE-FDA0003269177000000047
进行合并连接，作为双向GRU层的输出
Figure RE-FDA0003269177000000046
为双向GRU层的输入，[W1 f,B1 f]，[W1 Z,B1 Z]，[W1 h,B1 h]为前向GRU模型参数，[W2 f,B2 f],[W2 Z,B2 Z]，[W2 h,B2 h]为反向GRU模型参数，[W12 o,B12 o]为输出层参数。
6.根据权利要求5所述的一种基于多尺度注意力机制的空气质量参数预测方法，其特征在于，所述的卷积层为1维卷积网络。
7.根据权利要求1所述的一种基于多尺度注意力机制的空气质量参数预测方法，其特征在于，所述的影响因素数据包括：露点温度、空气温度、空气湿度、大气压力、风向、风速、每小时降雨量和当天累计降雨量。
CN202111029024.6A 2021-09-01 一种基于多尺度注意力机制的空气质量参数预测方法 Active CN113657042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111029024.6A CN113657042B (zh) 2021-09-01 一种基于多尺度注意力机制的空气质量参数预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111029024.6A CN113657042B (zh) 2021-09-01 一种基于多尺度注意力机制的空气质量参数预测方法

Publications (2)

Publication Number Publication Date
CN113657042A true CN113657042A (zh) 2021-11-16
CN113657042B CN113657042B (zh) 2024-11-05

Family

ID=

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298389A (zh) * 2021-12-22 2022-04-08 中科三清科技有限公司 一种臭氧浓度预报方法及装置
CN115099488A (zh) * 2022-06-16 2022-09-23 厦门海洋职业技术学院 基于cnn-agu的空气质量指数预测方法及装置
CN117975220A (zh) * 2024-02-29 2024-05-03 郑州正隆环保科技有限公司 一种空气质量监控管理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242369A (zh) * 2020-01-09 2020-06-05 中国人民解放军国防科技大学 基于多重融合卷积gru的pm2.5数据预测方法
US20210192272A1 (en) * 2019-07-16 2021-06-24 Northeastern University Decision-making method of comprehensive alumina production indexes based on multi-scale deep convolutional network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192272A1 (en) * 2019-07-16 2021-06-24 Northeastern University Decision-making method of comprehensive alumina production indexes based on multi-scale deep convolutional network
CN111242369A (zh) * 2020-01-09 2020-06-05 中国人民解放军国防科技大学 基于多重融合卷积gru的pm2.5数据预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADNAN RIAZ 等: "SBAG: AHybrid Deep Learning Model for Large Scale Traffic Speed Prediction", (IJACSA) INTERNATIONAL JOURNAL OF ADVANCED COMPUTER SCIENCE AND APPLICATIONS, vol. 11, no. 1, 31 December 2020 (2020-12-31), pages 1 - 6 *
王星 等: "联合图注意力和卷积神经网络的链接预测方法", 山西大学学报, vol. 44, no. 3, 6 April 2021 (2021-04-06), pages 1 - 9 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114298389A (zh) * 2021-12-22 2022-04-08 中科三清科技有限公司 一种臭氧浓度预报方法及装置
CN115099488A (zh) * 2022-06-16 2022-09-23 厦门海洋职业技术学院 基于cnn-agu的空气质量指数预测方法及装置
CN117975220A (zh) * 2024-02-29 2024-05-03 郑州正隆环保科技有限公司 一种空气质量监控管理方法及系统

Similar Documents

Publication Publication Date Title
CN111832814B (zh) 一种基于图注意力机制的空气污染物浓度预测方法
CN102956023B (zh) 一种基于贝叶斯分类的传统气象数据与感知数据融合的方法
CN111178611B (zh) 一种日电量预测的方法
CN109977812A (zh) 一种基于深度学习的车载视频目标检测方法
CN106650913A (zh) 一种基于深度卷积神经网络的车流密度估计方法
CN111832222B (zh) 一种污染物浓度的预测模型训练方法、预测方法及装置
CN111626518A (zh) 基于深度学习神经网络的城市天级需水量在线预测方法
CN110909909A (zh) 基于深度学习和多层时空特征图的短时交通流预测方法
CN115223063B (zh) 基于深度学习的无人机遥感小麦新品种倒伏面积提取方法及系统
Liang et al. A deep spatio-temporal fuzzy neural network for passenger demand prediction
CN117494034A (zh) 基于交通拥堵指数和多源数据融合的空气质量预测方法
CN112232543A (zh) 一种基于图卷积网络的多站点预测方法
CN105550712A (zh) 基于优化卷积自动编码网络的极光图像分类方法
CN112101132B (zh) 一种基于图嵌入模型和度量学习的交通状况预测方法
CN111784022A (zh) 一种基于Wrapper方法与SVM方法结合的短时邻近大雾预测方法
CN113836808A (zh) 一种基于重污染特征约束的pm2.5深度学习预测方法
CN115376318A (zh) 一种基于多属性融合神经网络的交通数据补偿方法
CN117371571A (zh) 一种基于多尺度动态同步图机制的区域空气质量预测模型
Liu et al. Air quality index forecasting via genetic algorithm-based improved extreme learning machine
CN111242369B (zh) 基于多重融合卷积gru的pm2.5数据预测方法
CN114662791A (zh) 一种基于时空注意力的长时序pm2.5预测方法及系统
CN114139719A (zh) 一种基于机器学习的多源人为热时空量化方法
Zhao et al. Mastgn: Multi-attention spatio-temporal graph networks for air pollution prediction
CN115115940A (zh) 一种蓝藻水华监测方法及该方法的监测预警系统
Ghannam et al. Comparison of deep learning approaches for forecasting urban short-term water demand a Greater Sydney Region case study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant