CN111141879A - 一种深度学习的空气质量监测方法以及装置、设备 - Google Patents
一种深度学习的空气质量监测方法以及装置、设备 Download PDFInfo
- Publication number
- CN111141879A CN111141879A CN202010110960.9A CN202010110960A CN111141879A CN 111141879 A CN111141879 A CN 111141879A CN 202010110960 A CN202010110960 A CN 202010110960A CN 111141879 A CN111141879 A CN 111141879A
- Authority
- CN
- China
- Prior art keywords
- air quality
- data
- model
- noise reduction
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000009467 reduction Effects 0.000 claims abstract description 45
- 239000000809 air pollutant Substances 0.000 claims abstract description 20
- 231100001243 air pollutant Toxicity 0.000 claims abstract description 20
- 230000002457 bidirectional effect Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 78
- 238000012360 testing method Methods 0.000 description 13
- 239000002356 single layer Substances 0.000 description 12
- 238000003915 air pollution Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000003344 environmental pollutant Substances 0.000 description 5
- 231100000719 pollutant Toxicity 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0031—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array
- G01N33/0034—General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array comprising neural networks or related mathematical techniques
Landscapes
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Combustion & Propulsion (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种深度学习的空气质量监测方法以及装置、设备。该方法包括输入空气污染物时序数据到降噪自编码模型；合并根据所述降噪自编码模型提取的空气质量特征；生成空气质量的预测输出结果；其中，所述空气质量特征包括：历史空气质量数据和辅助输入时间数据。本申请解决了在空气质量预测方面预测速度慢且精度低的技术问题。通过本申请实现了基于深度网络的预测模型，从而对空气质量进行更加准确、快速的监测。
Description
技术领域
本申请涉及空气污染预测领域，具体而言，涉及一种深度学习的空气质量监测方法以及装置、设备。
背景技术
空气质量预测对于政府应急管理重污染天气有着重要意义，不仅能警示公众合理回避高污染天气，还能为政府实施重污染企业限产限排、机动车限行等恰当的减缓大气污染应急措施提供时间裕量。同时，空气质量预测也是实现科学决策、综合管理环境以加强空气污染防治的有效技术手段，是将相关环境监测信息快速转化为空气污染防治决策依据的重要形式。
尽管深度网络在空气质量预测方面已经实现较好的应用，但是依然存在一些问题：
一是，空气质量或气象监测数据存在噪声，而现有空气质量预测方法对噪声很敏感，一定程度上影响了预测的精度；
二是，训练阶段耗时长的问题，如果使用硬件设备成本和维护费用太高。
针对相关技术中在空气质量预测方面预测速度慢且精度低的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种深度学习的空气质量监测方法以及装置、设备，以解决空气质量预测方面预测速度慢且精度低的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种深度学习的空气质量监测方法。
根据本申请的深度学习的空气质量监测方法包括：输入空气污染物时序数据到降噪自编码模型；合并根据所述降噪自编码模型提取的空气质量特征；生成空气质量的预测输出结果；其中，所述空气质量特征包括：历史空气质量数据和辅助输入时间数据。
进一步地，输入空气污染物时序数据到降噪自编码模型的输入层，采用双向长短时记忆模型网络。
进一步地，合并根据所述降噪自编码模型提取的空气质量特征的中间层，采用全连接层。
进一步地，生成空气质量的预测输出结果的输出层，采用双向长短时记忆模型网络。
进一步地，所述降噪自编码模型在训练时，使用均方根误差和平均绝对误差作为预测精度的评估标准。
进一步地，所述降噪自编码模型在训练前，对原始空气质量数据进行归一化处理。
为了实现上述目的，根据本申请的另一方面，提供了一种深度学习的空气质量监测装置。
根据本申请的深度学习的空气质量监测装置包括：输入层模块，用于输入空气污染物时序数据到降噪自编码模型；中间层模块，用于合并根据所述降噪自编码模型提取的空气质量特征；输出层模块，用于生成空气质量的预测输出结果；其中，作为降噪自编码模型的输入层，采用双向LSTM网络；
合并根据所述降噪自编码模型提取的空气质量特征的中间层，采用全连接层；
生成空气质量的预测输出结果的输出层，采用双向LSTM网络。
进一步地，装置还包括：归一化模块，用于对原始空气质量数据进行归一化处理。
进一步地，装置还包括：预测精度的评估模块，用于使用均方根误差和平均绝对误差作为预测精度的评估标准。
为了实现上述目的，根据本申请的另一方面，提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的深度学习的空气质量监测方法的步骤。
在本申请实施例中深度学习的空气质量监测方法以及装置、设备，采用输入空气污染物时序数据到降噪自编码模型的方式，通过输入空气污染物时序数据到降噪自编码模型，达到了生成空气质量的预测输出结果的目的，从而实现了基于深度网络的新预测模型对空气质量进行监测的技术效果，进而解决了在空气质量预测方面预测速度慢且精度低的的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的深度学习的空气质量监测方法流程示意图；
图2是根据本申请实施例的深度学习的空气质量监测装置结构示意图；
图3是根据本申请实施例的DAEDN模型结构示意图；
图4是根据本申请实施例的自编码器网络结构示意图；
图5是根据本申请实施例的降噪自编码器网络结构示意图；
图6是根据本申请实施例的LSTM单元结构示意图；
图7是根据本申请实施例的双向LSTM网络结构示意图；
图8是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值(单层单向LSTM模型)；
图9是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值时(单层双向LSTM模型)；
图10是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值(双层单向LSTM模型)；
图11是根据本申请实施例的基于DAEDN模型深度网络训练损失与验证损失值(双层双向LSTM模型)；
图12是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(单层单向LSTM模型)；
图13是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(单层双向LSTM模型)；
图14是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(双层单向LSTM模型)；
图15是根据本申请实施例的基于DAEDN模型深度网络预测值与真实值(双层双向LSTM模型)。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S101至步骤S103：
步骤S101，输入空气污染物时序数据到降噪自编码模型；
作为模型的主要输入，其中包括历史空气质量数据和辅助输入时间数据。在输入层即降噪自编码模型，内部为双向LSTM网络结构。
步骤S102，合并根据所述降噪自编码模型提取的空气质量特征；
中间层采用全连接层结构，主要功能是对降噪自编码模型提取的污染物特征和辅助输入时间数据进行合并，对空气质量预测模型进行训练和测试，提高模型的预测精度。
步骤S103，生成空气质量的预测输出结果；
输出层采用单层双向LSTM深度神经网络，通过历史污染物和气象数据信息，生成空气质量的预测输出。
其中，所述空气质量特征包括：历史空气质量数据和辅助输入时间数据。
具体地，输入空气污染物时序数据到降噪自编码模型时，DAEDN降噪自编码模型模型是以空气污染物时序数据为实验数据基础，具体网络结构可在编码器-解码器框架基础上进行扩展。在输入层采用了降噪自编码器(Denoising Auto-Encoder，DAE)提取原始监测数据的固有空气质量特征，实现对监测数据的降噪处理，提高模型的预测精度，并同时将DAE内部结构优化为双向LSTM网络，以解决单向LSTM的shift问题，提高模型的训练速度。在中间层采用的是全连接层，用来合并输入层提取到的空气质量特征。在输出层仍然采用双向LSTM结构，生成空气质量的预测输出。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中深度学习的空气质量监测方法以及装置、设备，采用输入空气污染物时序数据到降噪自编码模型的方式，通过输入空气污染物时序数据到降噪自编码模型，达到了生成空气质量的预测输出结果的目的，从而实现了基于深度网络的新预测模型对空气质量进行监测的技术效果，进而解决了在空气质量预测方面预测速度慢且精度低的的技术问题。
根据本申请实施例，优选地，输入空气污染物时序数据到降噪自编码模型的输入层，采用双向长短时记忆模型网络。
具体地，双向长短时记忆模型网络LSTM，能够同时利用序列中的历史信息和未来信息，将序列信息分成两个方向输入模型中，使用两个隐藏层保存两个方向的输入信息，并将隐藏层相应的输出连接到相同的输出层。两者结构相同，相互独立，只是接受不同的序列输入，因此，最终得到的隐层向量包含该数据集正反时序的数据，加快了模型的收敛速度，更好地预测了空气污染指数的数据。
根据本申请实施例，优选地，合并根据所述降噪自编码模型提取的空气质量特征的中间层，采用全连接层。
根据本申请实施例，优选地，生成空气质量的预测输出结果的输出层，采用双向长短时记忆模型网络。通过历史污染物和气象数据信息，生成空气质量的预测输出。实现对空气质量预测模型进行训练和测试，提高模型的预测精度。
根据本申请实施例，优选地，所述降噪自编码模型在训练时，使用均方根误差和平均绝对误差作为预测精度的评估标准。
具体地，因为本申请中考虑的是空气污染指数，针对的问题类型是回归即预测空气污染物浓度的实数值，实验使用的数据集均为真实数据集。对于这样的数据集，即使不训练模型而单凭生活经验也可以进行一定准确性的预测，因此单纯使用准确率来判断预测模型的性能好坏显然是不合适的。本申请在训练模型时，使用均方根误差(Root MeanSquared Error，RMSE)和平均绝对误差(Mean Absolute Error，MAE)作为预测精度的评估标准。
根据本申请实施例，优选地，所述降噪自编码模型在训练前，对原始空气质量数据进行归一化处理。
具体地，响空气质量的因子众多，而且每个因子具有各自的物理性质和量纲，如果直接拿这些数据进行分析，会影响结果的准确性。为便于网络训练，防止计算过程出现过拟合等问题，可以先对原始数据进行归一化处理，让不同影响因子处于同一数量级，以便进行更精确的数据分析。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的深度学习的空气质量监测装置，如图2所示，该装置包括：输入层模块10，用于输入空气污染物时序数据到降噪自编码模型；中间层模块11，用于合并根据所述降噪自编码模型提取的空气质量特征；输出层模块12，用于生成空气质量的预测输出结果；其中，作为降噪自编码模型的输入层，采用双向LSTM网络；合并根据所述降噪自编码模型提取的空气质量特征的中间层，采用全连接层；生成空气质量的预测输出结果的输出层，采用双向LSTM网络。
本申请实施例的输入层模块10中作为模型的主要输入，其中包括历史空气质量数据和辅助输入时间数据。在输入层即降噪自编码模型，内部为双向LSTM网络结构。
本申请实施例的中间层模块11中的中间层采用全连接层结构，主要功能是对降噪自编码模型提取的污染物特征和辅助输入时间数据进行合并，对空气质量预测模型进行训练和测试，提高模型的预测精度。
本申请实施例的输出层模块12中输出层采用单层双向LSTM深度神经网络，通过历史污染物和气象数据信息，生成空气质量的预测输出。
具体地，输入空气污染物时序数据到降噪自编码模型时，DAEDN降噪自编码模型模型是以空气污染物时序数据为实验数据基础，具体网络结构可在编码器-解码器框架基础上进行扩展。在输入层采用了降噪自编码器(Denoising Auto-Encoder，DAE)提取原始监测数据的固有空气质量特征，实现对监测数据的降噪处理，提高模型的预测精度，并同时将DAE内部结构优化为双向LSTM网络，以解决单向LSTM的shift问题，提高模型的训练速度。在中间层采用的是全连接层，用来合并输入层提取到的空气质量特征。在输出层仍然采用双向LSTM结构，生成空气质量的预测输出。
根据本申请实施例，优选地，装置还归一化模块13，用于对原始空气质量数据进行归一化处理。
根据本申请实施例，优选地，装置还包括预测精度的评估模块14，用于使用均方根误差和平均绝对误差作为预测精度的评估标准。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
本申请的实现原理如下：
如图3所示，本申请中所设计的DAEDN模型是以空气污染物时序数据为实验数据基础，网络结构在编码器-解码器框架基础上进行扩展，输入层采用了降噪自编码器(Denoising Auto-Encoder，DAE)提取原始监测数据的固有空气质量特征，实现对监测数据的降噪处理，提高模型的预测精度；并同时将DAE内部结构优化为双向LSTM网络，以解决单向LSTM的shift问题，提高模型的训练速度。中间层采用的是全连接层，用来合并输入层提取到的空气质量特征。输出层仍然采用双向LSTM结构，生成空气质量的预测输出。
首先，在输入层采用了DAE结构，DAE结构是基于自编码器(Auto-Encoder，AE)的扩展，在AE的基础上给输入数据加入噪声。AE是三层的非监督神经网络，通过提取可以代表输入数据的最重要特征，使输出尽量复现输入信号。AE由编码器、隐含层、解码器组成。其中编码器将输入从高维转为低维，是用来提取输入数据的特征，而解码器再将数据从低维转为高维并输出，验证提取的特征是否可以很好表示输入数据。AE训练过程的最终目标是最小化重构误差，实质上就是缩小输入数据与其特征表达之间的差别，网络结构如图4所示。
自编码器输入层与隐含层之间的函数关系式可以表示为：
y＝s(W1x+b1)
其中，s(x)为编码器激活函数；W1为相邻节点权重；b1为相邻节点偏置；x为输入层数据；y为隐含层数据。上式为编码过程，解码过程可表示为：
z＝s(W2y+b2)
其中，s(y)为解码器激活函数；W2为相邻节点权重；b2为相邻节点偏置；z为输出层数据。
DAE是在AE的基础上给输入数据加入噪声，也就是以一定的概率分布随机擦除输入层的某些节点。此时编码器会自动学习去除噪声，从而获得没有被噪声污染的输入信号。训练好后的具备降噪功能的编码器可以从含噪声的输入中提取到更具鲁棒性的特征，即输入数据变为，提升了自编码神经网络模型对输入数据的泛化能力，提高数据处理精度。DAE的结构如图5所示。
输入层的DAE内部结构设计为双向LSTM，常见的DAE都是基于全连接神经网络，基于双向LSTM网络的还比较少见。
长短时记忆模型(Long Short-Term Memory，LSTM)是循环神经网络(RecurrentNeural Networks，RNN)的变体。尽管在理论上，RNN可以处理任何长距离依赖问题，但实际上，由于梯度消失、爆炸等问题而很难实现。对此LSTM通过引入门机制和记忆单元提供了解决方案，即用LSTM单元代替RNN中的隐藏层神经单元。LSTM单元结构如图6所示。
LSTM中保存的历史信息受输入门、遗忘门、输出门控制。计算公式如下：
it＝σ(Wi·[ht-1，xt]+bi)
ft＝σ(Wf·[ht，xt]+bf)
ht＝ot·tanh(Ct)
其中，xt是t时刻的输入数据，ht是t时刻LSTM单元的输出状态值，
是t时刻记忆单元的候选值，it是输入门t时刻的状态值，ft是遗忘门t时刻的状态值，W分别为对应的权重，b为对应的偏执参数，
表示元素间的点积，逐点相乘。记忆单元的额状态值有输入门和遗忘门共同调节。
但对于一个输入序列，在一个时间节点t，LSTM网络只包含t以前的信息，却不包含t以后的信息。为了解决这个问题，本申请实施例模型采用双向LSTM网络。双向LSTM网络结构如图7所示。
该网络结构包含正向LSTM和反向LSTM，正向LSTM按正常输入得到一个序列ha，反向LSTM将输入倒序，然后通过具有跟正向LSTM相同结构但权重参数不同的网络，最终也得到一个序列，再将这个序列倒序后得到hb。最后将2个序列相加得到打，即为通过双向LSTM网络的最后结果。
双向LSTM能够同时利用序列中的历史信息和未来信息，将序列信息分成两个方向输入模型中，使用两个隐藏层保存两个方向的输入信息，并将隐藏层相应的输出连接到相同的输出层。两者结构相同，相互独立，只是接受不同的序列输入，因此，最终得到的隐层向量包含该数据集正反时序的数据，加快了模型的收敛速度，更好地预测了空气污染指数的数据。
基于图3中的DAEDN模型，本实施例中搭建一个实验流程框架，流程主要包括3步：
步骤一，据预处理，对原始数据集中的缺失值等问题进行处理，将原始数据完整化；
步骤二，数据融合，基于数据的时序分布，对数据进行格式化，添加时间步和最近邻，生成用于训练和测试模型的时间序列数据；
步骤三，训练与评价模型，使用步骤二中生成的输入数据，训练DAEDN模型，并使用RMSE和MAE来评估网络的预测效果。
因为本申请实施例的研究背景是空气污染指数，针对的问题类型是回归(预测空气污染物浓度的实数值)，实验使用的数据集均为真实数据集。对于这样的数据集，即使不训练模型而单凭生活经验也可以进行一定准确性的预测，因此单纯使用准确率来判断预测模型的性能好坏显然是不合适的。本申请实施例在训练模型时，使用均方根误差(RootMean Squared Error，RMSE)和平均绝对误差(Mean Absolute Error，MAE)作为预测精度的评估标准。RMSE和MAE分别如下式所示：
以上两个公式中，n为数据长度也就是测试集的小时数，xi为第i小时的空气污染指数真实值，xi′为第i小时空气污染指数的预测值。
(1)研究区域与数据源
本申请实施例所针对的区域是北京地区，数据源分为2类：①空气质量监测数据；②气体浓度监测数据为：PM2.5，PM2.5_24h，PM10，PM10_24h，SO2，SO2_24h，NO2，NO2_24h，O3，O3_24h，O3_8h，O3_8h_24h，CO，CO_24h。
数据源数据均每小时更新一次，空气质量监测数据为空气质量指数；气体浓度监测数据包括：PM2.5浓度，PM10浓度，SO2浓度，NO2浓度，O3浓度，CO浓度。数据的时间跨度为2014年5月13日-2018年12月31日，共计4年7个月。
(2)数据预处理
本申请实施例对北京2014年5月13日-2018年12月31日日均空气质量相关数据和气象数据进行收集，其中选取2014年5月-2015年4月数据作为训练数据集，2015年5月到2018年12月数据作为测试数据集。影响空气质量的因子众多，而且每个因子具有各自的物理性质和量纲，如果直接拿这些数据进行分析，会影响结果的准确性。为便于网络训练，防止计算过程出现“过拟合”等问题，需先对原始数据进行归一化处理，让不同影响因子处于同一数量级，以便进行更精确的数据分析。本申请实施例采用Min-Max标准化方法，也就是对原始数据的各属性进行一种线性变换，经过标准化之后的数据处于[0，1]之间，标准化函数如下：
其中x是归一化之前的数据，x′是归一化之后的数据，min是x所属影响因子中所有数据的最小值，max是x所属影响因子中所有数据的最大值。
对训练集做归一化后，相应的也要对测试数据进行同样的标准化，从而保证测试数据与训练集同比例缩放。但是大多数空气质量和气象数据的值没有确切边界，对于个别小于训练集最小值或大于最大值的测试数据，为了其归一化能落在[0，1]区间内，在上式基础上增加如下限制：
(4)不同网络模型预测性能对比
本申请实施例使用Python和深度学习库Tensorflow和Keras，搭建并训练了两种深度神经网络模型，将DAEDN模型、深度循环神经网络(Deep Recurrent Neural Network，DRNN)、深度置信网络(Deep Belief Network，DBN)相比。在对比实验中，所有网络结构参数的确定均统一。
首先设置模型的输入层和输出层分别为16和1；然后取前8760条(364×24)数据为训练数据，后30252条数据为测试数据，并分别对数据进行标准化处理。将每批次训练样本数(batch_size)设为72，时间步长(time_step)设为50，然后定义神经网络变量，在输入特征时需要将tensor转成二维进行计算，计算后的结果作为隐藏层的输入，最后再将tensor转成三维作为lstm cell的输入。在训练模型是迭代次数可以代表，次数越多预测结果越精确，但需要的时间也越长。本申请实施例的迭代次数设置为50，模型在测试数据集上的预测效果见表1。
表1各模型预测精度
从表1中可以看出，在不同的模型结构当中，BP模型的精度相对最低，DRNN和LSTM则要略优于BP模型的性能，DBN模型与前三种相比预测性能更佳，而DAEDN模型能在测试数据集上对精度提高最大，达到最优的预测精度。这说明在时间序列回归预测问题上，DAEDN能更好的提取数据的特征，在空气质量预测上具有一定的优势。
(5)DAE模型内部结构优化
在本申请实施例DAEDN模型当中，输入层设计为DAE结构，常见的DAE内部结构设计为全连接层，本申请实施例中将DAE内部结构优化为双向LSTM，同时在结构上设计了单层LSTM与双层LSTM。以结合DAEDN模型深度神经网络为例，4个模型(单层单向LSTM、单层双向LSTM、双层单向LSTM和双层双向LSTM)的损失值分别如图8至图11所示。
从图8至图11可以看出：针对DAEDN模型来说，增加DAE中LSTM的层数并不能够提高网络的预测能力，并对损失值更新产生一定的停滞影响，预测效果不如单层神经网络。如图12至图15所示针对DAEDN单层模型，单、双向LSTM结构在测试数据集上的预测效果见表2：
表2单、双向LSTM结构预测精度
从表2中可以看出：在DAEDN单层模型当中，双向LSTM结构精度高于单向，说明双向LSTM能够更好地利用序列中的历史信息和未来信息，加快了模型的收敛速度，更好地预测了空气污染指数的数据。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种深度学习的空气质量监测方法，其特征在于，包括：
输入空气污染物时序数据到降噪自编码模型；
合并根据所述降噪自编码模型提取的空气质量特征；
生成空气质量的预测输出结果；
其中，所述空气质量特征包括：历史空气质量数据和辅助输入时间数据。
2.根据权利要求1所述的深度学习的空气质量监测方法，其特征在于，输入空气污染物时序数据到降噪自编码模型的输入层，采用双向长短时记忆模型网络。
3.根据权利要求1所述的深度学习的空气质量监测方法，其特征在于，合并根据所述降噪自编码模型提取的空气质量特征的中间层，采用全连接层。
4.根据权利要求1所述的深度学习的空气质量监测方法，其特征在于，生成空气质量的预测输出结果的输出层，采用双向长短时记忆模型网络。
5.根据权利要求1所述的深度学习的空气质量监测方法，其特征在于，所述降噪自编码模型在训练时，使用均方根误差和平均绝对误差作为预测精度的评估标准。
6.根据权利要求1所述的深度学习的空气质量监测方法，其特征在于，所述降噪自编码模型在训练前，对原始空气质量数据进行归一化处理。
7.一种深度学习的空气质量监测装置，其特征在于，包括：
输入层模块，用于输入空气污染物时序数据到降噪自编码模型；
中间层模块，用于合并根据所述降噪自编码模型提取的空气质量特征；
输出层模块，用于生成空气质量的预测输出结果；
其中，
作为降噪自编码模型的输入层，采用双向LSTM网络；
合并根据所述降噪自编码模型提取的空气质量特征的中间层，采用全连接层；
生成空气质量的预测输出结果的输出层，采用双向LSTM网络。
8.根据权利要求7所述的深度学习的空气质量监测装置，其特征在于，还包括：归一化模块，用于对原始空气质量数据进行归一化处理。
9.根据权利要求7所述的深度学习的空气质量监测装置，其特征在于，还包括：预测精度的评估模块，用于使用均方根误差和平均绝对误差作为预测精度的评估标准。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的深度学习的空气质量监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010110960.9A CN111141879B (zh) | 2020-02-21 | 2020-02-21 | 一种深度学习的空气质量监测方法以及装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010110960.9A CN111141879B (zh) | 2020-02-21 | 2020-02-21 | 一种深度学习的空气质量监测方法以及装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111141879A true CN111141879A (zh) | 2020-05-12 |
| CN111141879B CN111141879B (zh) | 2023-02-03 |
Family
ID=70527791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010110960.9A Active CN111141879B (zh) | 2020-02-21 | 2020-02-21 | 一种深度学习的空气质量监测方法以及装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111141879B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563078A (zh) * | 2020-07-15 | 2020-08-21 | 浙江大华技术股份有限公司 | 基于时序数据的数据质量检测方法、检测装置及存储装置 |
| CN112732444A (zh) * | 2021-01-12 | 2021-04-30 | 北京工业大学 | 一种面向分布式机器学习的数据划分方法 |
| CN113762784A (zh) * | 2021-09-10 | 2021-12-07 | 国投信开水环境投资有限公司 | 污水处理系统布局规划方案的定量化综合评价方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180063168A1 (en) * | 2016-08-31 | 2018-03-01 | Cisco Technology, Inc. | Automatic detection of network threats based on modeling sequential behavior in network traffic |
| US10013640B1 (en) * | 2015-12-21 | 2018-07-03 | Google Llc | Object recognition from videos using recurrent neural networks |
| CN109214592A (zh) * | 2018-10-17 | 2019-01-15 | 北京工商大学 | 一种多模型融合的深度学习的空气质量预测方法 |
-
2020
- 2020-02-21 CN CN202010110960.9A patent/CN111141879B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10013640B1 (en) * | 2015-12-21 | 2018-07-03 | Google Llc | Object recognition from videos using recurrent neural networks |
| US20180063168A1 (en) * | 2016-08-31 | 2018-03-01 | Cisco Technology, Inc. | Automatic detection of network threats based on modeling sequential behavior in network traffic |
| CN109214592A (zh) * | 2018-10-17 | 2019-01-15 | 北京工商大学 | 一种多模型融合的深度学习的空气质量预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| JIANYE ZHANG等: "multivariate times series misssing data imputation using recurrent denoising autoencoder", 《INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE》 * |
| 傅洪亮 等: "基于去噪自编码器和长短时记忆网络的语音测谎算法", 《计算机应用》 * |
| 宋耀宇: "基于混合深度神经网络的大气污染预测", 《信息与电脑(理论版)》 * |
| 董婷 等: "基于时空优化深度神经网络的AQI等级预测", 《计算机工程与应用》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563078A (zh) * | 2020-07-15 | 2020-08-21 | 浙江大华技术股份有限公司 | 基于时序数据的数据质量检测方法、检测装置及存储装置 |
| CN111563078B (zh) * | 2020-07-15 | 2020-11-10 | 浙江大华技术股份有限公司 | 基于时序数据的数据质量检测方法、检测装置及存储装置 |
| CN112732444A (zh) * | 2021-01-12 | 2021-04-30 | 北京工业大学 | 一种面向分布式机器学习的数据划分方法 |
| CN113762784A (zh) * | 2021-09-10 | 2021-12-07 | 国投信开水环境投资有限公司 | 污水处理系统布局规划方案的定量化综合评价方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111141879B (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | A novel wind speed prediction strategy based on Bi-LSTM, MOOFADA and transfer learning for centralized control centers | |
| Liu et al. | A flood forecasting model based on deep learning algorithm via integrating stacked autoencoders with BP neural network | |
| CN106709820A (zh) | 一种基于深度置信网络的电力系统负荷预测方法及装置 | |
| CN113554466B (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN111141879B (zh) | 一种深度学习的空气质量监测方法以及装置、设备 | |
| Ma et al. | Deep-esn: A multiple projection-encoding hierarchical reservoir computing framework | |
| Zhang et al. | A Traffic Prediction Method of Bicycle-sharing based on Long and Short term Memory Network. | |
| CN111832825B (zh) | 融合长短期记忆网络和极限学习机的风电预测方法及系统 | |
| Liang et al. | A combined model based on CEEMDAN, permutation entropy, gated recurrent unit network, and an improved bat algorithm for wind speed forecasting | |
| Cui et al. | Learning global pairwise interactions with Bayesian neural networks | |
| CN113591728A (zh) | 基于集成深度学习的电能质量扰动分类方法 | |
| CN113112791A (zh) | 一种基于滑动窗口长短时记忆网络的交通流量预测方法 | |
| CN116227180A (zh) | 基于数据驱动的机组组合智能决策方法 | |
| CN113850438A (zh) | 公共建筑能耗预测方法、系统、设备及介质 | |
| Li et al. | A multi-factor combination prediction model of carbon emissions based on improved CEEMDAN | |
| CN116933946A (zh) | 一种基于客流去向结构的轨道交通od客流预测方法及系统 | |
| Liu et al. | Multi-stage residual life prediction of aero-engine based on real-time clustering and combined prediction model | |
| Liu et al. | Air Pollutant Concentration Forecasting Using Long Short‐Term Memory Based on Wavelet Transform and Information Gain: A Case Study of Beijing | |
| Feng et al. | Attention as an RNN | |
| CN117894389A (zh) | 基于ssa优化vmd和lstm的变压器油中溶解气体浓度数据预测方法 | |
| CN116913098A (zh) | 一种融合空气质量与车流量数据的短时交通流预测方法 | |
| Alam | Recurrent neural networks in electricity load forecasting | |
| Yuan et al. | A hybrid deep learning model for predicting PM2. 5 | |
| Song et al. | Calibration of agent-based model using reinforcement learning | |
| CN113887570B (zh) | 一种基于神经网络的太阳耀斑二分类预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cai Jianxian Inventor after: Dai Xun Inventor after: Wang Li Inventor after: Zhang Liangxin Inventor after: Yan Fenfen Inventor after: Mu Ruwang Inventor after: Duan Li Inventor before: Cai Jianxian Inventor before: Dai Xun Inventor before: Zhang Liangxin |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |