CN111141879B - 一种深度学习的空气质量监测方法以及装置、设备 - Google Patents

一种深度学习的空气质量监测方法以及装置、设备 Download PDF

Info

Publication number
CN111141879B
CN111141879B CN202010110960.9A CN202010110960A CN111141879B CN 111141879 B CN111141879 B CN 111141879B CN 202010110960 A CN202010110960 A CN 202010110960A CN 111141879 B CN111141879 B CN 111141879B
Authority
CN
China
Prior art keywords
air quality
data
noise reduction
model
reduction self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010110960.9A
Other languages
English (en)
Other versions
CN111141879A (zh
Inventor
蔡建羡
戴旬
王莉
张良鑫
闫粉粉
穆如旺
段丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Disaster Prevention
Original Assignee
Institute of Disaster Prevention
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Disaster Prevention filed Critical Institute of Disaster Prevention
Priority to CN202010110960.9A priority Critical patent/CN111141879B/zh
Publication of CN111141879A publication Critical patent/CN111141879A/zh
Application granted granted Critical
Publication of CN111141879B publication Critical patent/CN111141879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004Gaseous mixtures, e.g. polluted air
    • G01N33/0009General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method, e.g. intermittent, or the display, e.g. digital
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004Gaseous mixtures, e.g. polluted air
    • G01N33/0009General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0027General constructional details of gas analysers, e.g. portable test equipment concerning the detector
    • G01N33/0031General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array
    • G01N33/0034General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array comprising neural networks or related mathematical techniques

Abstract

本申请公开了一种深度学习的空气质量监测方法以及装置、设备。该方法包括输入空气污染物时序数据到降噪自编码模型;合并根据所述降噪自编码模型提取的空气质量特征;生成空气质量的预测输出结果;其中,所述空气质量特征包括:历史空气质量数据和辅助输入时间数据。本申请解决了在空气质量预测方面预测速度慢且精度低的技术问题。通过本申请实现了基于深度网络的预测模型,从而对空气质量进行更加准确、快速的监测。

Description

一种深度学习的空气质量监测方法以及装置、设备
技术领域
本申请涉及空气污染预测领域,具体而言,涉及一种深度学习的空气质量监测方法以及装置、设备。
背景技术
空气质量预测对于政府应急管理重污染天气有着重要意义,不仅能警示公众合理回避高污染天气,还能为政府实施重污染企业限产限排、机动车限行等恰当的减缓大气污染应急措施提供时间裕量。同时,空气质量预测也是实现科学决策、综合管理环境以加强空气污染防治的有效技术手段,是将相关环境监测信息快速转化为空气污染防治决策依据的重要形式。
尽管深度网络在空气质量预测方面已经实现较好的应用,但是依然存在一些问题:
一是,空气质量或气象监测数据存在噪声,而现有空气质量预测方法对噪声很敏感,一定程度上影响了预测的精度;
二是,训练阶段耗时长的问题,如果使用硬件设备成本和维护费用太高。
针对相关技术中在空气质量预测方面预测速度慢且精度低的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种深度学习的空气质量监测方法以及装置、设备,以解决空气质量预测方面预测速度慢且精度低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种深度学习的空气质量监测方法。
根据本申请的深度学习的空气质量监测方法包括:输入空气污染物时序数据到降噪自编码模型;合并根据所述降噪自编码模型提取的空气质量特征;生成空气质量的预测输出结果;其中,所述空气质量特征包括:历史空气质量数据和辅助输入时间数据。
进一步地,输入空气污染物时序数据到降噪自编码模型的输入层,采用双向长短时记忆模型网络。
进一步地,合并根据所述降噪自编码模型提取的空气质量特征的中间层,采用全连接层。
进一步地,生成空气质量的预测输出结果的输出层,采用双向长短时记忆模型网络。
进一步地,所述降噪自编码模型在训练时,使用均方根误差和平均绝对误差作为预测精度的评估标准。
进一步地,所述降噪自编码模型在训练前,对原始空气质量数据进行归一化处理。
为了实现上述目的,根据本申请的另一方面,提供了一种深度学习的空气质量监测装置。
根据本申请的深度学习的空气质量监测装置包括:输入层模块,用于输入空气污染物时序数据到降噪自编码模型;中间层模块,用于合并根据所述降噪自编码模型提取的空气质量特征;输出层模块,用于生成空气质量的预测输出结果;其中,作为降噪自编码模型的输入层,采用双向LSTM网络;
合并根据所述降噪自编码模型提取的空气质量特征的中间层,采用全连接层;
生成空气质量的预测输出结果的输出层,采用双向LSTM网络。
进一步地,装置还包括:归一化模块,用于对原始空气质量数据进行归一化处理。
进一步地,装置还包括:预测精度的评估模块,用于使用均方根误差和平均绝对误差作为预测精度的评估标准。
为了实现上述目的,根据本申请的另一方面,提供了电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现任一项所述的深度学习的空气质量监测方法的步骤。
在本申请实施例中深度学习的空气质量监测方法以及装置、设备,采用输入空气污染物时序数据到降噪自编码模型的方式,通过输入空气污染物时序数据到降噪自编码模型,达到了生成空气质量的预测输出结果的目的,从而实现了基于深度网络的新预测模型对空气质量进行监测的技术效果,进而解决了在空气质量预测方面预测速度慢且精度低的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的深度学习的空气质量监测方法流程示意图;
图2是根据本申请实施例的深度学习的空气质量监测装置结构示意图;
图3是根据本申请实施例的DAEDN模型结构示意图;
图4是根据本申请实施例的自编码器网络结构示意图;
图5是根据本申请实施例的降噪自编码器网络结构示意图;
图6是根据本申请实施例的LSTM单元结构示意图;
图7是根据本申请实施例的双向LSTM网络结构示意图;
图8是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值(单层单向LSTM模型);
图9是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值时(单层双向LSTM模型);
图10是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值(双层单向LSTM模型);
图11是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值(双层双向LSTM模型);
图12是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(单层单向LSTM模型);
图13是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(单层双向LSTM模型);
图14是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(双层单向LSTM模型);
图15是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(双层双向LSTM模型)。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,该方法包括如下的步骤S101至步骤S103:
步骤S101,输入空气污染物时序数据到降噪自编码模型;
作为模型的主要输入,其中包括历史空气质量数据和辅助输入时间数据。在输入层即降噪自编码模型,内部为双向LSTM网络结构。
步骤S102,合并根据所述降噪自编码模型提取的空气质量特征;
中间层采用全连接层结构,主要功能是对降噪自编码模型提取的污染物特征和辅助输入时间数据进行合并,对空气质量预测模型进行训练和测试,提高模型的预测精度。
步骤S103,生成空气质量的预测输出结果;
输出层采用单层双向LSTM深度神经网络,通过历史污染物和气象数据信息,生成空气质量的预测输出。
其中,所述空气质量特征包括:历史空气质量数据和辅助输入时间数据。
具体地,输入空气污染物时序数据到降噪自编码模型时,DAEDN降噪自编码模型模型是以空气污染物时序数据为实验数据基础,具体网络结构可在编码器-解码器框架基础上进行扩展。在输入层采用了降噪自编码器(Denoising Auto-Encoder,DAE)提取原始监测数据的固有空气质量特征,实现对监测数据的降噪处理,提高模型的预测精度,并同时将DAE内部结构优化为双向LSTM网络,以解决单向LSTM的shift问题,提高模型的训练速度。在中间层采用的是全连接层,用来合并输入层提取到的空气质量特征。在输出层仍然采用双向LSTM结构,生成空气质量的预测输出。
从以上的描述中,可以看出,本申请实现了如下技术效果:
在本申请实施例中深度学习的空气质量监测方法以及装置、设备,采用输入空气污染物时序数据到降噪自编码模型的方式,通过输入空气污染物时序数据到降噪自编码模型,达到了生成空气质量的预测输出结果的目的,从而实现了基于深度网络的新预测模型对空气质量进行监测的技术效果,进而解决了在空气质量预测方面预测速度慢且精度低的技术问题。
根据本申请实施例,优选地,输入空气污染物时序数据到降噪自编码模型的输入层,采用双向长短时记忆模型网络。
具体地,双向长短时记忆模型网络LSTM,能够同时利用序列中的历史信息和未来信息,将序列信息分成两个方向输入模型中,使用两个隐藏层保存两个方向的输入信息,并将隐藏层相应的输出连接到相同的输出层。两者结构相同,相互独立,只是接受不同的序列输入,因此,最终得到的隐层向量包含该数据集正反时序的数据,加快了模型的收敛速度,更好地预测了空气污染指数的数据。
根据本申请实施例,优选地,合并根据所述降噪自编码模型提取的空气质量特征的中间层,采用全连接层。
根据本申请实施例,优选地,生成空气质量的预测输出结果的输出层,采用双向长短时记忆模型网络。通过历史污染物和气象数据信息,生成空气质量的预测输出。实现对空气质量预测模型进行训练和测试,提高模型的预测精度。
根据本申请实施例,优选地,所述降噪自编码模型在训练时,使用均方根误差和平均绝对误差作为预测精度的评估标准。
具体地,因为本申请中考虑的是空气污染指数,针对的问题类型是回归即预测空气污染物浓度的实数值,实验使用的数据集均为真实数据集。对于这样的数据集,即使不训练模型而单凭生活经验也可以进行一定准确性的预测,因此单纯使用准确率来判断预测模型的性能好坏显然是不合适的。本申请在训练模型时,使用均方根误差(Root MeanSquared Error,RMSE)和平均绝对误差(Mean Absolute Error,MAE)作为预测精度的评估标准。
根据本申请实施例,优选地,所述降噪自编码模型在训练前,对原始空气质量数据进行归一化处理。
具体地,响空气质量的因子众多,而且每个因子具有各自的物理性质和量纲,如果直接拿这些数据进行分析,会影响结果的准确性。为便于网络训练,防止计算过程出现过拟合等问题,可以先对原始数据进行归一化处理,让不同影响因子处于同一数量级,以便进行更精确的数据分析。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,还提供了一种用于实施上述方法的深度学习的空气质量监测装置,如图2所示,该装置包括:输入层模块10,用于输入空气污染物时序数据到降噪自编码模型;中间层模块11,用于合并根据所述降噪自编码模型提取的空气质量特征;输出层模块12,用于生成空气质量的预测输出结果;其中,作为降噪自编码模型的输入层,采用双向LSTM网络;合并根据所述降噪自编码模型提取的空气质量特征的中间层,采用全连接层;生成空气质量的预测输出结果的输出层,采用双向LSTM网络。
本申请实施例的输入层模块10中作为模型的主要输入,其中包括历史空气质量数据和辅助输入时间数据。在输入层即降噪自编码模型,内部为双向LSTM网络结构。
本申请实施例的中间层模块11中的中间层采用全连接层结构,主要功能是对降噪自编码模型提取的污染物特征和辅助输入时间数据进行合并,对空气质量预测模型进行训练和测试,提高模型的预测精度。
本申请实施例的输出层模块12中输出层采用单层双向LSTM深度神经网络,通过历史污染物和气象数据信息,生成空气质量的预测输出。
具体地,输入空气污染物时序数据到降噪自编码模型时,DAEDN降噪自编码模型模型是以空气污染物时序数据为实验数据基础,具体网络结构可在编码器-解码器框架基础上进行扩展。在输入层采用了降噪自编码器(Denoising Auto-Encoder,DAE)提取原始监测数据的固有空气质量特征,实现对监测数据的降噪处理,提高模型的预测精度,并同时将DAE内部结构优化为双向LSTM网络,以解决单向LSTM的shift问题,提高模型的训练速度。在中间层采用的是全连接层,用来合并输入层提取到的空气质量特征。在输出层仍然采用双向LSTM结构,生成空气质量的预测输出。
根据本申请实施例,优选地,装置还归一化模块13,用于对原始空气质量数据进行归一化处理。
根据本申请实施例,优选地,装置还包括预测精度的评估模块14,用于使用均方根误差和平均绝对误差作为预测精度的评估标准。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
本申请的实现原理如下:
如图3所示,本申请中所设计的DAEDN模型是以空气污染物时序数据为实验数据基础,网络结构在编码器-解码器框架基础上进行扩展,输入层采用了降噪自编码器(Denoising Auto-Encoder,DAE)提取原始监测数据的固有空气质量特征,实现对监测数据的降噪处理,提高模型的预测精度;并同时将DAE内部结构优化为双向LSTM网络,以解决单向LSTM的shift问题,提高模型的训练速度。中间层采用的是全连接层,用来合并输入层提取到的空气质量特征。输出层仍然采用双向LSTM结构,生成空气质量的预测输出。
首先,在输入层采用了DAE结构,DAE结构是基于自编码器(Auto-Encoder,AE)的扩展,在AE的基础上给输入数据加入噪声。AE是三层的非监督神经网络,通过提取可以代表输入数据的最重要特征,使输出尽量复现输入信号。AE由编码器、隐含层、解码器组成。其中编码器将输入从高维转为低维,是用来提取输入数据的特征,而解码器再将数据从低维转为高维并输出,验证提取的特征是否可以很好表示输入数据。AE训练过程的最终目标是最小化重构误差,实质上就是缩小输入数据与其特征表达之间的差别,网络结构如图4所示。
自编码器输入层与隐含层之间的函数关系式可以表示为:
y=s(W1x+b1)
其中,s(x)为编码器激活函数;W1为相邻节点权重;b1为相邻节点偏置;x为输入层数据;y为隐含层数据。上式为编码过程,解码过程可表示为:
z=s(W2y+b2)
其中,s(y)为解码器激活函数;W2为相邻节点权重;b2为相邻节点偏置;z为输出层数据。
DAE是在AE的基础上给输入数据加入噪声,也就是以一定的概率分布随机擦除输入层的某些节点。此时编码器会自动学习去除噪声,从而获得没有被噪声污染的输入信号。训练好后的具备降噪功能的编码器可以从含噪声的输入中提取到更具鲁棒性的特征,即输入数据变为,提升了自编码神经网络模型对输入数据的泛化能力,提高数据处理精度。DAE的结构如图5所示。
输入层的DAE内部结构设计为双向LSTM,常见的DAE都是基于全连接神经网络,基于双向LSTM网络的还比较少见。
长短时记忆模型(Long Short-Term Memory,LSTM)是循环神经网络(RecurrentNeural Networks,RNN)的变体。尽管在理论上,RNN可以处理任何长距离依赖问题,但实际上,由于梯度消失、爆炸等问题而很难实现。对此LSTM通过引入门机制和记忆单元提供了解决方案,即用LSTM单元代替RNN中的隐藏层神经单元。LSTM单元结构如图6所示。
LSTM中保存的历史信息受输入门、遗忘门、输出门控制。计算公式如下:
Figure GDA0003883243600000101
it=σ(Wi·[ht-1,xt]+bi)
ft=σ(Wf·[ht,xt]+bf)
Figure GDA0003883243600000102
ht=Ot·tanh(Ct)
其中,xt是t时刻的输入数据,ht是t时刻LSTM单元的输出状态值,
Figure GDA0003883243600000103
是t时刻记忆单元的候选值,it是输入门t时刻的状态值,ft是遗忘门t时刻的状态值,W分别为对应的权重,b为对应的偏执参数,
Figure GDA0003883243600000104
表示元素间的点积,逐点相乘。记忆单元的额状态值有输入门和遗忘门共同调节。
但对于一个输入序列,在一个时间节点t,LSTM网络只包含t以前的信息,却不包含t以后的信息。为了解决这个问题,本申请实施例模型采用双向LSTM网络。双向LSTM网络结构如图7所示。
该网络结构包含正向LSTM和反向LSTM,正向LSTM按正常输入得到一个序列ha,反向LSTM将输入倒序,然后通过具有跟正向LSTM相同结构但权重参数不同的网络,最终也得到一个序列,再将这个序列倒序后得到hb。最后将2个序列相加得到H,即为通过双向LSTM网络的最后结果。
Figure GDA0003883243600000105
双向LSTM能够同时利用序列中的历史信息和未来信息,将序列信息分成两个方向输入模型中,使用两个隐藏层保存两个方向的输入信息,并将隐藏层相应的输出连接到相同的输出层。两者结构相同,相互独立,只是接受不同的序列输入,因此,最终得到的隐层向量包含该数据集正反时序的数据,加快了模型的收敛速度,更好地预测了空气污染指数的数据。
基于图3中的DAEDN模型,本实施例中搭建一个实验流程框架,流程主要包括3步:
步骤一,据预处理,对原始数据集中的缺失值等问题进行处理,将原始数据完整化;
步骤二,数据融合,基于数据的时序分布,对数据进行格式化,添加时间步和最近邻,生成用于训练和测试模型的时间序列数据;
步骤三,训练与评价模型,使用步骤二中生成的输入数据,训练DAEDN模型,并使用RMSE和MAE来评估网络的预测效果。
因为本申请实施例的研究背景是空气污染指数,针对的问题类型是回归(预测空气污染物浓度的实数值),实验使用的数据集均为真实数据集。对于这样的数据集,即使不训练模型而单凭生活经验也可以进行一定准确性的预测,因此单纯使用准确率来判断预测模型的性能好坏显然是不合适的。本申请实施例在训练模型时,使用均方根误差(RootMean Squared Error,RMSE)和平均绝对误差(Mean Absolute Error,MAE)作为预测精度的评估标准。RMSE和MAE分别如下式所示:
Figure GDA0003883243600000111
Figure GDA0003883243600000112
以上两个公式中,n为数据长度也就是测试集的小时数,xi为第i小时的空气污染指数真实值,xi′为第i小时空气污染指数的预测值。
(1)研究区域与数据源
本申请实施例所针对的区域是北京地区,数据源分为2类:①空气质量监测数据;②气体浓度监测数据为:PM2.5,PM2.5_24h,PM10,PM10_24h,SO2,SO2_24h,NO2,NO2_24h,O3,O3_24h,O3_8h,O3_8h_24h,CO,CO_24h。
数据源数据均每小时更新一次,空气质量监测数据为空气质量指数;气体浓度监测数据包括:PM2.5浓度,PM10浓度,SO2浓度,NO2浓度,O3浓度,CO浓度。数据的时间跨度为2014年5月13日—2018年12月31日,共计4年7个月。
(2)数据预处理
本申请实施例对北京2014年5月13日—2018年12月31日日均空气质量相关数据和气象数据进行收集,其中选取2014年5月—2015年4月数据作为训练数据集,2015年5月到2018年12月数据作为测试数据集。影响空气质量的因子众多,而且每个因子具有各自的物理性质和量纲,如果直接拿这些数据进行分析,会影响结果的准确性。为便于网络训练,防止计算过程出现“过拟合”等问题,需先对原始数据进行归一化处理,让不同影响因子处于同一数量级,以便进行更精确的数据分析。本申请实施例采用Min-Max标准化方法,也就是对原始数据的各属性进行一种线性变换,经过标准化之后的数据处于[0,1]之间,标准化函数如下:
Figure GDA0003883243600000121
其中x是归一化之前的数据,x′是归一化之后的数据,min是x所属影响因子中所有数据的最小值,max是x所属影响因子中所有数据的最大值。
对训练集做归一化后,相应的也要对测试数据进行同样的标准化,从而保证测试数据与训练集同比例缩放。但是大多数空气质量和气象数据的值没有确切边界,对于个别小于训练集最小值或大于最大值的测试数据,为了其归一化能落在[0,1]区间内,在上式基础上增加如下限制:
Figure GDA0003883243600000122
(4)不同网络模型预测性能对比
本申请实施例使用Python和深度学习库Tensorflow和Keras,搭建并训练了两种深度神经网络模型,将DAEDN模型、深度循环神经网络(Deep Recurrent Neural Network,DRNN)、深度置信网络(Deep Belief Network,DBN)相比。在对比实验中,所有网络结构参数的确定均统一。
首先设置模型的输入层和输出层分别为16和1;然后取前8760条(364×24)数据为训练数据,后30252条数据为测试数据,并分别对数据进行标准化处理。将每批次训练样本数(batch_size)设为72,时间步长(time_step)设为50,然后定义神经网络变量,在输入特征时需要将tensor转成二维进行计算,计算后的结果作为隐藏层的输入,最后再将tensor转成三维作为lstmcell的输入。在训练模型是迭代次数可以代表,次数越多预测结果越精确,但需要的时间也越长。本申请实施例的迭代次数设置为50,模型在测试数据集上的预测效果见表1。
表1各模型预测精度
Figure GDA0003883243600000131
从表1中可以看出,在不同的模型结构当中,BP模型的精度相对最低,DRNN和LSTM则要略优于BP模型的性能,DBN模型与前三种相比预测性能更佳,而DAEDN模型能在测试数据集上对精度提高最大,达到最优的预测精度。这说明在时间序列回归预测问题上,DAEDN能更好的提取数据的特征,在空气质量预测上具有一定的优势。
(5)DAE模型内部结构优化
在本申请实施例DAEDN模型当中,输入层设计为DAE结构,常见的DAE内部结构设计为全连接层,本申请实施例中将DAE内部结构优化为双向LSTM,同时在结构上设计了单层LSTM与双层LSTM。以结合DAEDN模型深度神经网络为例,4个模型(单层单向LSTM、单层双向LSTM、双层单向LSTM和双层双向LSTM)的损失值分别如图8至图11所示。
从图8至图11可以看出:针对DAEDN模型来说,增加DAE中LSTM的层数并不能够提高网络的预测能力,并对损失值更新产生一定的停滞影响,预测效果不如单层神经网络。如图12至图15所示针对DAEDN单层模型,单、双向LSTM结构在测试数据集上的预测效果见表2:
表2单、双向LSTM结构预测精度
Figure GDA0003883243600000141
从表2中可以看出:在DAEDN单层模型当中,双向LSTM结构精度高于单向,说明双向LSTM能够更好地利用序列中的历史信息和未来信息,加快了模型的收敛速度,更好地预测了空气污染指数的数据。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (5)

1.一种深度学习的空气质量监测方法,其特征在于,包括:
输入空气污染物时序数据到降噪自编码模型;
所述降噪自编码模型在训练前,对原始空气质量数据进行归一化处理;
输入空气污染物时序数据到降噪自编码模型的输入层,采用双向LSTM网络;
所述降噪自编码模型在训练时,使用均方根误差和平均绝对误差作为预测精度的评估标准;
合并根据所述降噪自编码模型提取的空气质量特征;
合并根据所述降噪自编码模型提取的空气质量特征的中间层,采用全连接层;
生成空气质量的预测输出结果;
生成空气质量的预测输出结果的输出层,采用双向LSTM网络;
其中,所述空气质量特征包括:历史空气质量数据和辅助输入时间数据。
2.一种深度学习的空气质量监测装置,其特征在于,包括:
输入层模块,用于输入空气污染物时序数据到降噪自编码模型;
中间层模块,用于合并根据所述降噪自编码模型提取的空气质量特征;
输出层模块,用于生成空气质量的预测输出结果;
其中,
作为降噪自编码模型的输入层,采用双向LSTM网络;
合并根据所述降噪自编码模型提取的空气质量特征的中间层,采用全连接层;
生成空气质量的预测输出结果的输出层,采用双向LSTM网络。
3.根据权利要求2所述的深度学习的空气质量监测装置,其特征在于,还包括:归一化模块,用于对原始空气质量数据进行归一化处理。
4.根据权利要求2所述的深度学习的空气质量监测装置,其特征在于,还包括:预测精度的评估模块,用于使用均方根误差和平均绝对误差作为预测精度的评估标准。
5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1所述的深度学习的空气质量监测方法的步骤。
CN202010110960.9A 2020-02-21 2020-02-21 一种深度学习的空气质量监测方法以及装置、设备 Active CN111141879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010110960.9A CN111141879B (zh) 2020-02-21 2020-02-21 一种深度学习的空气质量监测方法以及装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110960.9A CN111141879B (zh) 2020-02-21 2020-02-21 一种深度学习的空气质量监测方法以及装置、设备

Publications (2)

Publication Number Publication Date
CN111141879A CN111141879A (zh) 2020-05-12
CN111141879B true CN111141879B (zh) 2023-02-03

Family

ID=70527791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110960.9A Active CN111141879B (zh) 2020-02-21 2020-02-21 一种深度学习的空气质量监测方法以及装置、设备

Country Status (1)

Country Link
CN (1) CN111141879B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563078B (zh) * 2020-07-15 2020-11-10 浙江大华技术股份有限公司 基于时序数据的数据质量检测方法、检测装置及存储装置
CN112732444A (zh) * 2021-01-12 2021-04-30 北京工业大学 一种面向分布式机器学习的数据划分方法
CN113762784B (zh) * 2021-09-10 2022-08-09 国投信开水环境投资有限公司 污水处理系统布局规划方案的定量化综合评价方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013640B1 (en) * 2015-12-21 2018-07-03 Google Llc Object recognition from videos using recurrent neural networks
US10154051B2 (en) * 2016-08-31 2018-12-11 Cisco Technology, Inc. Automatic detection of network threats based on modeling sequential behavior in network traffic

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于去噪自编码器和长短时记忆网络的语音测谎算法;傅洪亮 等;《计算机应用》;20200210;第40卷(第2期);摘要 *
基于时空优化深度神经网络的AQI等级预测;董婷 等;《计算机工程与应用》;20171231;第53卷(第21期);第17-23页 *
基于混合深度神经网络的大气污染预测;宋耀宇;《信息与电脑(理论版)》;20191225(第24期);第2、3节 *

Also Published As

Publication number Publication date
CN111141879A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
Liang et al. A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN109142171B (zh) 基于特征扩张的融合神经网络的城市pm10浓度预测方法
CN111141879B (zh) 一种深度学习的空气质量监测方法以及装置、设备
CN113487061A (zh) 一种基于图卷积-Informer模型的长时序交通流量预测方法
CN109886444A (zh) 一种交通短时客流预测方法、装置、设备和存储介质
CN114220271A (zh) 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN114912077B (zh) 一种融合随机搜索与混合分解误差订正的海浪预报方法
CN113112791A (zh) 一种基于滑动窗口长短时记忆网络的交通流量预测方法
CN115034430A (zh) 碳排放量预测方法、装置、终端及存储介质
CN114912666A (zh) 一种基于ceemdan算法和注意力机制的短时客流量预测方法
CN113947182A (zh) 基于双阶段堆叠图卷积网络的交通流预测模型构建方法
CN116933946A (zh) 一种基于客流去向结构的轨道交通od客流预测方法及系统
CN116307291A (zh) 一种基于小波分解的分布式光伏发电预测方法及预测终端
CN112183721B (zh) 一种基于自适应差分进化的组合水文预测模型的构建方法
CN115761654B (zh) 一种车辆重识别方法
CN116468333A (zh) 一种基于数据分解与深度学习的煤炭港口空气质量预测方法
CN116822722A (zh) 水位预测方法、系统、装置、电子设备及介质
Zhao et al. A Hybrid Time Series Model based on Dilated Conv1D and LSTM with Applications to PM2. 5 Forecasting.
CN115796327A (zh) 一种基于vmd和iwoa-f-gru模型的风电功率区间预测方法
Wang Improved NN-GM (1, 1) for postgraduates’ employment confidence index forecasting
Yuan et al. A hybrid deep learning model for predicting PM2. 5
CN110489671B (zh) 一种基于encoder-decoder模型的道路充电桩推荐方法
Song et al. Calibration of agent-based model using reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Cai Jianxian

Inventor after: Dai Xun

Inventor after: Wang Li

Inventor after: Zhang Liangxin

Inventor after: Yan Fenfen

Inventor after: Mu Ruwang

Inventor after: Duan Li

Inventor before: Cai Jianxian

Inventor before: Dai Xun

Inventor before: Zhang Liangxin

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant