CN115730684A - 一种基于lstm-cnn模型的空气质量检测系统 - Google Patents

一种基于lstm-cnn模型的空气质量检测系统 Download PDF

Info

Publication number
CN115730684A
CN115730684A CN202211575606.9A CN202211575606A CN115730684A CN 115730684 A CN115730684 A CN 115730684A CN 202211575606 A CN202211575606 A CN 202211575606A CN 115730684 A CN115730684 A CN 115730684A
Authority
CN
China
Prior art keywords
data
module
model
air quality
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211575606.9A
Other languages
English (en)
Inventor
杨建文
项衍
刘岳阳
王继云
胡文萱
孙亦璇
魏致华
王梦然
路然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202211575606.9A priority Critical patent/CN115730684A/zh
Publication of CN115730684A publication Critical patent/CN115730684A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于LSTM‑CNN模型的空气质量检测系统,属于空气质量检测领域,包括回归学习系统、构建学习模型系统、快速预报系统、发布模块和数据检测系统,所述回归学习系统包括环境数据模块、参数变量模块和数据筛选模块,所述数据筛选模块用于对环境数据模块进行特征选择。本发明所述的一种基于LSTM‑CNN模型的空气质量检测系统,本方案基于机器学习技术的区域空气质量预报系统能够高时效地利用现有的所有信息来定义一个最大可能精准的大气运动状态,本方案在空气质量预报预警中对于PM2.5和臭氧结果进行了优化,本方案能够弥补卫星观测数据的缺失,扩展垂直廓线的遥感观测,从有限点位的观测数据中挖掘出内蕴的变化规律。

Description

一种基于LSTM-CNN模型的空气质量检测系统
技术领域
本发明涉及空气质量检测领域,特别涉及一种基于LSTM-CNN模型的空气质量检测系统领域。
背景技术
随着工业化与城市化进程的不断加快,大气重污染(主要为PM2.5与臭氧)的频繁发生给人体健康、大气能见度、气候等方面带来了重要的影响。因此,采取重污染期间应急防控措施并及时对公众发布预警预报信息是应对当前严重大气污染问题的关键环节,对区域大气污染联合减排也具有指导意义,目前国际上主流的数值模式对我国各地区PM2.5与臭氧的预报仍具有较大的不确定性,特别是重污染期间预报偏差可达30-60%,市面上主流数据插值方法不确定度较高,立体观测数据的水平分辨率和垂直分辨率较低,大气预报精度较低,鉴于此,我们提出一种基于LSTM-CNN模型的空气质量检测系统。
发明内容
本发明的主要目的在于提供一种基于LSTM-CNN模型的空气质量检测系统,能够有效解决背景技术中提出的问题。
为解决上述问题,本发明采取的技术方案为:
一种基于LSTM-CNN模型的空气质量检测系统,包括回归学习系统、构建学习模型系统、快速预报系统、发布模块和数据检测系统,所述回归学习系统包括环境数据模块、参数变量模块和数据筛选模块;
所述数据筛选模块用于对环境数据模块进行特征选择,筛选出环境数据中内蕴的对污染物排放最具影响的隐性特征;
所述数据筛选模块还用于对参数变量模块的污染物进行预测,根据已知点位的污染物检测数据对未知路段检测结果的预测输出;
所述数据检测系统包括数据获取模块、模型反演数据生成模块、挖掘数据特征模块和数据得出模块。
本发明进一步的改进在于,所述快速预报系统包括网络数据模块、数据特征提取模块和数据预处理模块,所述网络数据模块包含卷积审计神经网络、循环神经网络以及长短期记忆网络,所述数据特征提取模块用于提取网络数据模块的特征并进行更深层次的时间序列特征提取,最终得出污染物的时空特征。
本发明进一步的改进在于,所述数据预处理模块中包含去除唯一属性、使用三次样条插值的全局化的分段插值方法以及数据的标准化,正则化的三种方法,所述数据预处理模块用于对原始数据进行处理,将多源历史数据通过归一化、标准化等数学方法控制在一个较小的数值区间内,从而有利于深度学习模型的训练与拟合。项目采用min-max标准化,函数为
Figure BDA0003989384280000021
其中X代表每一个数据量,Xmin代表数据集中的最小数据值,Xmax代表数据集中的最大数据值,
Figure BDA0003989384280000022
代表输出的归一化之后的数据值。
本发明进一步的改进在于,所述快速预报系统包括数据整理模块、预报模块、数据融合模块和优化模块,所述数据整理模块和数据融合模块用于预报模块的数据的整理与汇总,所述优化模块用于已完成拟合的模型对测试数据集进行预测,计算模型输出结果与测试集数据的均方根误差与平均绝对误,并根据测试结果来调整和优化数据集以及模型参数,其中所述均方根误差与平均绝对误的计算公式为
Figure BDA0003989384280000023
其中n为测试集样本数量;oi为第i。个样本点实际污染物浓度;pi为第i个样本点模型预报所得污染物浓度
本发明进一步的改进在于,所述空气质量检测步骤包括:
A,首先需要统计出所要预测区域的历史气象以及空气质量数据,历史数据可实时更新至预测前一天甚至前一小时,并将数据分为训练集、验证集与测试集3个部分,训练集与验证集用于深度学习模型下训练与拟合工作,测试集用于检验训练好的模型实际预测性能。训练集、验证集与测试集的比例一般按照数据的60%、20%、20%进行划分,也可根据实际需求进行不同比例的划分;
B,采集的多源历史数据量较大,各数据之间的差异也较大,例如采集到的PM2.5浓度数据与对应时刻的温度、降水量、风速等气象数据相差可能会达到几十甚至几百倍,如果将这些原始数据不经过任何处理,会导致深度学习模型的拟合过程较为困难,因此需要对原始数据进行处理,将多源历史数据通过归一化、标准化等数学方法控制在一个较小的数值区间内,从而有利于深度学习模型的训练与拟合。此外,由于采集的多源历史数据均为时间序列数据,因此需要将其转化为深度学习所需的监督学习样本。假设获取5条时间序列的历史数据,分别为T1、T2、T3、T4、T5,假设一条样本训练所需的历史数据为2条,则可以得到3个深度学习模型训练所需的样本;
C,采用深度学习的相关模型实现数据分析,本系统选用的深度学习模型为Longshort-term memory(LSTM)与Convolutional Neural Networks(CNN)相结合的模型,其中CNN模型用于对历史污染物浓度数据进行分析,得出污染物的浅层时序特征,并考虑融合外部数据来增强预测模型,包括空气质量监测站点地理拓扑位置、节假日因素等,得到污染物的空间特征。LSTM模型用于将CNN模型提取得到的特征进行更深层次的时间序列特征提取,最终得出污染物的时空特征;
D,在完成LSTM-CNN模型的定义后,需要使用数据集对模型进行拟合工作。深度学习模型的拟合过程,将数据集分成训练集和验证集,训练数据通过初始深度学习模型得到预测结果,与验证数据通过损失函数计算误差之后,再使用优化器调整深度学习模型参数,直到模型输出结果与验证数据之间的误差达到预先设定,在完成定义和拟合模型工作之后,需要对模型进行评估工作;
E、建立融合污染物分布模型,提出基于生成对抗网络的垂直廓线立体遥测数据生成方法,并以此生成对抗网络的训练数据,得到插值后垂直廓线分解结果,其次,在大气污染物的预报方面,运用深度神经网络对数据进行深度分析,其可以对模型反演数据中的不确定性部分和随机性部分进行建模,即从有限点位的观测数据中挖掘出内蕴的变化规律,具体地,从城市观测数据中挖掘得到同一时段不同位置的数据变化规律,从海岛观测数据中挖掘得到相邻区域不同时间的数据变化规律。在深度数据挖掘的过程中,将地理信息、气象信息等可能影响观测结果的数据一并输入网络进行综合分析,此外,进行了基于ResNet网络的立体遥测数据3D空间特征回归学习,综合上述方法后可对立体遥测数据进行空间地理加权回归,通过在系统内输入垂直廓线观测数据稀疏点位和缺失的卫星观测数据,即可得出该大气污染物的垂直廓线浓度和卫星探测大气污染物浓度总量。
本发明进一步的改进在于,在所述步骤A中,为实现小时间隔数据连续自动采集和储存,应用按鍵精灵软件,采用录制脚本的方式,设计数据采集与存储步骤,实现计算机每间隔小时自行登录网站,经接口拷贝一次数据,以文件格式存入本地内存,完成数据定时、连续、自动采集与存储。
本发明进一步的改进在于,在所述步骤D中,通过使用模拟退火算法(SimulatedAnnealing、SA)进行参数优化,项目将利用深度学习方法在分析数据内在特征方面表现出的优异性能,结合地、空、天多源数据融合技术,设计基于深度学习的空气质量预报系统。
本发明进一步的改进在于,所述数据获取模块中对地理信息、海洋区域特征、多源观测数据和气象环境数据进行获取,所述模型反演数据生成模块和挖掘数据特征模块用于数据获取模块中的各项数据进行检测以及特征提取,所述数据得出模块可分为长期数据、中期数据和近期数据。
与现有技术相比,本发明具有如下有益效果:
1、本方案相比于传统的空气质量模式,基于机器学习技术的区域空气质量预报系统能够高时效地利用现有的所有信息来定义一个最大可能精准的大气运动状态;
2、本方案在空气质量预报预警中对于PM2.5和臭氧结果进行了优化,能够在一定程度上校正模式结果,减小误差,对城市大气防污防控具有非常重要的现实指导意义和科学价值;
3、本方案能够弥补卫星观测数据的缺失,扩展垂直廓线的遥感观测,相比市面上主流数据插值方法不确定度减少50%以上,立体观测数据的水平分辨率和垂直分辨率更是分别提高到原始观测数据的2倍和4倍以上,从有限点位的观测数据中挖掘出内蕴的变化规律。由于深度神经网络包含几十万甚至上百万个网络参数,其模型表示能力远远超过现有的建模方法,因此非常适用于这种受到多种因素综合影响的模式分析任务中。
附图说明
图1为本发明一种基于LSTM-CNN模型的空气质量检测系统的整体结构示意图。
图2为本发明一种基于LSTM-CNN模型的空气质量检测系统的历史数据样本假设示意图。
图3为本发明一种基于LSTM-CNN模型的空气质量检测系统的数据预处理示意图。
图4为本发明一种基于LSTM-CNN模型的空气质量检测系统的特征生产示意图。
图5为本发明一种基于LSTM-CNN模型的空气质量检测系统的学习模型训练过程示意图。
图6为本发明一种基于LSTM-CNN模型的空气质量检测系统的模型参数优化示意图。
图7为本发明一种基于LSTM-CNN模型的空气质量检测系统的整体实现方案示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“一号”、“二号”、“三号”仅用于描述目的,而不能理解为指示或暗示相对重要性。下面结合具体实施方式,进一步阐述本发明。
实施例
如图1所示,一种基于LSTM-CNN模型的空气质量检测系统,包括回归学习系统、构建学习模型系统、快速预报系统、发布模块和数据检测系统,回归学习系统包括环境数据模块、参数变量模块和数据筛选模块,数据筛选模块用于对环境数据模块进行特征选择,筛选出环境数据中内蕴的对污染物排放最具影响的隐性特征,数据筛选模块还用于对参数变量模块的污染物进行预测,根据已知点位的污染物检测数据对未知路段检测结果的预测输出,所述数据检测系统包括数据获取模块、模型反演数据生成模块、挖掘数据特征模块和数据得出模块;
具体的,如图1所示,快速预报系统包括网络数据模块、数据特征提取模块和数据预处理模块,网络数据模块包含卷积审计神经网络、循环神经网络以及长短期记忆网络,数据特征提取模块用于提取网络数据模块的特征并进行更深层次的时间序列特征提取,最终得出污染物的时空特征;
具体的,如图1和3所示,数据预处理模块中包含去除唯一属性、使用三次样条插值的全局化的分段插值方法以及数据的标准化,正则化的三种方法,数据预处理模块用于对原始数据进行处理,将多源历史数据通过归一化、标准化等数学方法控制在一个较小的数值区间内,从而有利于深度学习模型的训练与拟合。项目采用min-max标准化,函数为
Figure BDA0003989384280000071
其中X代表每一个数据量,Xmin代表数据集中的最小数据值,Xmax代表数据集中的最大数据值,
Figure BDA0003989384280000072
代表输出的归一化之后的数据值;
具体的,如图1所示,快速预报系统包括数据整理模块、预报模块、数据融合模块和优化模块,数据整理模块和数据融合模块用于预报模块的数据的整理与汇总,优化模块用于已完成拟合的模型对测试数据集进行预测,计算模型输出结果与测试集数据的均方根误差与平均绝对误,并根据测试结果来调整和优化数据集以及模型参数,其中均方根误差与平均绝对误的计算公式为
Figure BDA0003989384280000073
其中n为测试集样本数量;oi为第i个样本点实际污;染物浓度;pi为第i个样本点模型预报所得污染物浓度
具体的,如图1、2、3、4、5和7所示,空气质量检测步骤包括:
A,首先需要统计出所要预测区域的历史气象以及空气质量数据,历史数据可实时更新至预测前一天甚至前一小时,并将数据分为训练集、验证集与测试集3个部分,训练集与验证集用于深度学习模型下训练与拟合工作,测试集用于检验训练好的模型实际预测性能。训练集、验证集与测试集的比例一般按照数据的60%、20%、20%进行划分,也可根据实际需求进行不同比例的划分;
B,采集的多源历史数据量较大,各数据之间的差异也较大,例如采集到的PM2.5浓度数据与对应时刻的温度、降水量、风速等气象数据相差可能会达到几十甚至几百倍,如果将这些原始数据不经过任何处理,会导致深度学习模型的拟合过程较为困难,因此需要对原始数据进行处理,将多源历史数据通过归一化、标准化等数学方法控制在一个较小的数值区间内,从而有利于深度学习模型的训练与拟合。此外,由于采集的多源历史数据均为时间序列数据,因此需要将其转化为深度学习所需的监督学习样本。假设获取5条时间序列的历史数据,分别为T1、T2、T3、T4、T5,假设一条样本训练所需的历史数据为2条,则可以得到3个深度学习模型训练所需的样本;
C,采用深度学习的相关模型实现数据分析,本系统选用的深度学习模型为Longshort-term memory(LSTM)与Convolutional Neural Networks(CNN)相结合的模型,其中CNN模型用于对历史污染物浓度数据进行分析,得出污染物的浅层时序特征,并考虑融合外部数据来增强预测模型,包括空气质量监测站点地理拓扑位置、节假日因素等,得到污染物的空间特征。LSTM模型用于将CNN模型提取得到的特征进行更深层次的时间序列特征提取,最终得出污染物的时空特征;
D,在完成LSTM-CNN模型的定义后,需要使用数据集对模型进行拟合工作。深度学习模型的拟合过程,将数据集分成训练集和验证集,训练数据通过初始深度学习模型得到预测结果,与验证数据通过损失函数计算误差之后,再使用优化器调整深度学习模型参数,直到模型输出结果与验证数据之间的误差达到预先设定,在完成定义和拟合模型工作之后,需要对模型进行评估工作;
E、建立融合污染物分布模型,提出基于生成对抗网络的垂直廓线立体遥测数据生成方法,并以此生成对抗网络的训练数据,得到插值后垂直廓线分解结果,其次,在大气污染物的预报方面,运用深度神经网络对数据进行深度分析,其可以对模型反演数据中的不确定性部分和随机性部分进行建模,即从有限点位的观测数据中挖掘出内蕴的变化规律,具体地,从城市观测数据中挖掘得到同一时段不同位置的数据变化规律,从海岛观测数据中挖掘得到相邻区域不同时间的数据变化规律。在深度数据挖掘的过程中,将地理信息、气象信息等可能影响观测结果的数据一并输入网络进行综合分析,此外,进行了基于ResNet网络的立体遥测数据3D空间特征回归学习,综合上述方法后可对立体遥测数据进行空间地理加权回归,通过在系统内输入垂直廓线观测数据稀疏点位和缺失的卫星观测数据,即可得出该大气污染物的垂直廓线浓度和卫星探测大气污染物浓度总量;
具体的,如图1所示,在步骤A中,为实现小时间隔数据连续自动采集和储存,应用按鍵精灵软件,采用录制脚本的方式,设计数据采集与存储步骤,实现计算机每间隔小时自行登录网站,经接口拷贝一次数据,以文件格式存入本地内存,完成数据定时、连续、自动采集与存储;
具体的,如图6所示,在步骤D中,通过使用模拟退火算法(Simulated Annealing、SA)进行参数优化,项目将利用深度学习方法在分析数据内在特征方面表现出的优异性能,结合地、空、天多源数据融合技术,设计基于深度学习的空气质量预报系统;
具体的,如图1所示,所述数据获取模块中对地理信息、海洋区域特征、多源观测数据和气象环境数据进行获取,所述模型反演数据生成模块和挖掘数据特征模块用于数据获取模块中的各项数据进行检测以及特征提取,所述数据得出模块可分为长期数据、中期数据和近期数据。
需要说明的是,本发明为一种基于LSTM-CNN模型的空气质量检测系统,在使用时,首先,建立了融合污染物分布模型,提出基于生成对抗网络的垂直廓线立体遥测数据生成方法,并以此生成对抗网络的训练数据,得到插值后垂直廓线分解结结果,其次,在大气污染物的预报方面,我们运用了深度神经网络对数据进行深度分析,其可以对模型反演数据中的不确定性部分(模型表示误差)和随机性部分(模型参数误差)进行建模,即从有限点位(城市观测、车载观测)的观测数据中挖掘出内蕴的变化规律。具体地,从城市观测数据中挖掘得到同一时段不同位置的数据变化规律,从海岛观测数据中挖掘得到相邻区域不同时间(分为近期、中期和长期)的数据变化规律。在深度数据挖掘的过程中,我们会将地理信息、气象信息等可能影响观测结果的数据一并输入网络进行综合分析。不难看出,深度神经网络包含了几十万甚至上百万个网络参数,其模型表示能力远远超过现有的建模方法,能够高时效地利用现有的所有信息来定义一个最大可能精准的大气(或海洋)运动状态。另外,我们进行了基于ResNet网络的立体遥测数据3D空间特征回归学习。整个网络分为两个通道,第一个通道用于对环境数据进行特征选择,筛选出环境数据中内蕴的、对污染物排放最具影响的隐性特征,并将其提供给第二个通道作为污染物预测模型的参数变量。第二个通道则用于对污染物进行预测,即根据已知点位的污染物检测数据对未知路段检测结果的预测输出。结合上述方法后可对立体遥测数据进行空间地理加权回归,通过在系统内输入垂直廓线观测数据稀疏点位和缺失的卫星观测数据,即可得出该大气污染物的垂直廓线浓度和卫星探测大气污染物浓度总量。由于本项目融合和挖掘了地基遥感、地面观测、模型反演和卫星遥感等多源监测数据,因此能够获得比任何单一数据更精确、完整、有效的信息,生成具有新的空间、时间、光谱特征的大气污染物遥感监测数据产品,其次需要统计出所要预测区域的历史气象以及空气质量数据,历史数据可实时更新至预测前一天甚至前一小时,并将数据分为训练集、验证集与测试集3个部分,训练集与验证集用于深度学习模型下训练与拟合工作,测试集用于检验训练好的模型实际预测性能。训练集、验证集与测试集的比例一般按照数据的60%、20%、20%进行划分,也可根据实际需求进行不同比例的划分,采集的多源历史数据量较大,各数据之间的差异也较大,例如采集到的PM2.5浓度数据与对应时刻的温度、降水量、风速等气象数据相差可能会达到几十甚至几百倍,如果将这些原始数据不经过任何处理,会导致深度学习模型的拟合过程较为困难,因此需要对原始数据进行处理,将多源历史数据通过归一化、标准化等数学方法控制在一个较小的数值区间内,从而有利于深度学习模型的训练与拟合。此外,由于采集的多源历史数据均为时间序列数据,因此需要将其转化为深度学习所需的监督学习样本。假设获取5条时间序列的历史数据,分别为T1、T2、T3、T4、T5,假设一条样本训练所需的历史数据为2条,则可以得到3个深度学习模型训练所需的样本,采用深度学习的相关模型实现数据分析,本系统选用的深度学习模型为Long short-term memory(LSTM)与Convolutional Neural Networks(CNN)相结合的模型,其中CNN模型用于对历史污染物浓度数据进行分析,得出污染物的浅层时序特征,并考虑融合外部数据来增强预测模型,包括空气质量监测站点地理拓扑位置、节假日因素等,得到污染物的空间特征。LSTM模型用于将CNN模型提取得到的特征进行更深层次的时间序列特征提取,最终得出污染物的时空特征,在完成LSTM-CNN模型的定义后,需要使用数据集对模型进行拟合工作。深度学习模型的拟合过程,将数据集分成训练集和验证集,训练数据通过初始深度学习模型得到预测结果,与验证数据通过损失函数计算误差之后,再使用优化器调整深度学习模型参数,直到模型输出结果与验证数据之间的误差达到预先设定,在完成定义和拟合模型工作之后,需要对模型进行评估工作。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于LSTM-CNN模型的空气质量检测系统,包括回归学习系统、构建学习模型系统、快速预报系统、发布模块和数据检测系统,其特征在于:所述回归学习系统包括环境数据模块、参数变量模块和数据筛选模块;
所述数据筛选模块用于对环境数据模块进行特征选择,筛选出环境数据中内蕴的对污染物排放最具影响的隐性特征;
所述数据筛选模块还用于对参数变量模块的污染物进行预测,根据已知点位的污染物检测数据对未知路段检测结果的预测输出;
所述数据检测系统包括数据获取模块、模型反演数据生成模块、挖掘数据特征模块和数据得出模块。
2.根据权利要求1所述的一种基于LSTM-CNN模型的空气质量检测系统,其特征在于:所述快速预报系统包括网络数据模块、数据特征提取模块和数据预处理模块,所述网络数据模块包含卷积审计神经网络、循环神经网络以及长短期记忆网络,所述数据特征提取模块用于提取网络数据模块的特征并进行更深层次的时间序列特征提取,最终得出污染物的时空特征。
3.根据权利要求2所述的一种基于LSTM-CNN模型的空气质量检测系统,其特征在于:所述数据预处理模块中包含去除唯一属性、使用三次样条插值的全局化的分段插值方法以及数据的标准化,正则化的三种方法,所述数据预处理模块用于对原始数据进行处理,将多源历史数据通过归一化、标准化等数学方法控制在一个较小的数值区间内,从而有利于深度学习模型的训练与拟合。项目采用min-max标准化,函数为
Figure QLYQS_1
其中X代表每一个数据量,Xmin代表数据集中的最小数据值,Xmax代表数据集中的最大数据值,
Figure QLYQS_2
代表输出的归一化之后的数据值。
4.根据权利要求1所述的一种基于LSTM-CNN模型的空气质量检测系统,其特征在于:所述快速预报系统包括数据整理模块、预报模块、数据融合模块和优化模块,所述数据整理模块和数据融合模块用于预报模块的数据的整理与汇总,所述优化模块用于已完成拟合的模型对测试数据集进行预测,计算模型输出结果与测试集数据的均方根误差与平均绝对误,并根据测试结果来调整和优化数据集以及模型参数,其中所述均方根误差与平均绝对误的计算公式为
Figure QLYQS_3
Figure QLYQS_4
其中n为测试集样本数量;oi为第i个样本点实际污。染物浓度;pi为第i个样本点模型预报所得污染物浓度。
5.根据权利要求1所述的一种基于LSTM-CNN模型的空气质量检测系统,其特征在于:所述空气质量检测步骤包括:
A,首先需要统计出所要预测区域的历史气象以及空气质量数据,历史数据可实时更新至预测前一天甚至前一小时,并将数据分为训练集、验证集与测试集3个部分,训练集与验证集用于深度学习模型下训练与拟合工作,测试集用于检验训练好的模型实际预测性能。训练集、验证集与测试集的比例一般按照数据的60%、20%、20%进行划分,也可根据实际需求进行不同比例的划分;
B,采集的多源历史数据量较大,各数据之间的差异也较大,例如采集到的PM2.5浓度数据与对应时刻的温度、降水量、风速等气象数据相差可能会达到几十甚至几百倍,如果将这些原始数据不经过任何处理,会导致深度学习模型的拟合过程较为困难,因此需要对原始数据进行处理,将多源历史数据通过归一化、标准化等数学方法控制在一个较小的数值区间内,从而有利于深度学习模型的训练与拟合。此外,由于采集的多源历史数据均为时间序列数据,因此需要将其转化为深度学习所需的监督学习样本。假设获取5条时间序列的历史数据,分别为T1、T2、T3、T4、T5,假设一条样本训练所需的历史数据为2条,则可以得到3个深度学习模型训练所需的样本;
C,采用深度学习的相关模型实现数据分析,本系统选用的深度学习模型为Longshort-term memory(LSTM)与Convolutional Neural Networks(CNN)相结合的模型,其中CNN模型用于对历史污染物浓度数据进行分析,得出污染物的浅层时序特征,并考虑融合外部数据来增强预测模型,包括空气质量监测站点地理拓扑位置、节假日因素等,得到污染物的空间特征。LSTM模型用于将CNN模型提取得到的特征进行更深层次的时间序列特征提取,最终得出污染物的时空特征;
D,在完成LSTM-CNN模型的定义后,需要使用数据集对模型进行拟合工作。深度学习模型的拟合过程,将数据集分成训练集和验证集,训练数据通过初始深度学习模型得到预测结果,与验证数据通过损失函数计算误差之后,再使用优化器调整深度学习模型参数,直到模型输出结果与验证数据之间的误差达到预先设定,在完成定义和拟合模型工作之后,需要对模型进行评估工作;
E、建立融合污染物分布模型,提出基于生成对抗网络的垂直廓线立体遥测数据生成方法,并以此生成对抗网络的训练数据,得到插值后垂直廓线分解结果,其次,在大气污染物的预报方面,运用深度神经网络对数据进行深度分析,其可以对模型反演数据中的不确定性部分和随机性部分进行建模,即从有限点位的观测数据中挖掘出内蕴的变化规律,具体地,从城市观测数据中挖掘得到同一时段不同位置的数据变化规律,从海岛观测数据中挖掘得到相邻区域不同时间的数据变化规律。在深度数据挖掘的过程中,将地理信息、气象信息等可能影响观测结果的数据一并输入网络进行综合分析,此外,进行了基于ResNet网络的立体遥测数据3D空间特征回归学习,综合上述方法后可对立体遥测数据进行空间地理加权回归,通过在系统内输入垂直廓线观测数据稀疏点位和缺失的卫星观测数据,即可得出该大气污染物的垂直廓线浓度和卫星探测大气污染物浓度总量。
6.根据权利要求5所述的一种基于LSTM-CNN模型的空气质量检测系统,其特征在于:在所述步骤A中,为实现小时间隔数据连续自动采集和储存,应用按鍵精灵软件,采用录制脚本的方式,设计数据采集与存储步骤,实现计算机每间隔小时自行登录网站,经接口拷贝一次数据,以文件格式存入本地内存,完成数据定时、连续、自动采集与存储。
7.根据权利要求5所述的一种基于LSTM-CNN模型的空气质量检测系统,其特征在于:在所述步骤D中,通过使用模拟退火算法(Simulated Annealing、SA)进行参数优化,项目将利用深度学习方法在分析数据内在特征方面表现出的优异性能,结合地、空、天多源数据融合技术,设计基于深度学习的空气质量预报系统。
8.根据权利要求1所述的一种基于LSTM-CNN模型的空气质量检测系统,其特征在于:所述数据获取模块中对地理信息、海洋区域特征、多源观测数据和气象环境数据进行获取,所述模型反演数据生成模块和挖掘数据特征模块用于数据获取模块中的各项数据进行检测以及特征提取,所述数据得出模块可分为长期数据、中期数据和近期数据。
CN202211575606.9A 2022-12-09 2022-12-09 一种基于lstm-cnn模型的空气质量检测系统 Pending CN115730684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211575606.9A CN115730684A (zh) 2022-12-09 2022-12-09 一种基于lstm-cnn模型的空气质量检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211575606.9A CN115730684A (zh) 2022-12-09 2022-12-09 一种基于lstm-cnn模型的空气质量检测系统

Publications (1)

Publication Number Publication Date
CN115730684A true CN115730684A (zh) 2023-03-03

Family

ID=85300773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211575606.9A Pending CN115730684A (zh) 2022-12-09 2022-12-09 一种基于lstm-cnn模型的空气质量检测系统

Country Status (1)

Country Link
CN (1) CN115730684A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307292A (zh) * 2023-05-22 2023-06-23 安徽中科蓝壹信息科技有限公司 一种基于机器学习和集成学习的空气质量预报优化方法
CN116448966A (zh) * 2023-06-15 2023-07-18 吉林省中农阳光数据有限公司 基于智能物联网和深度学习相结合的空气质量评估方法
CN117390592A (zh) * 2023-12-11 2024-01-12 江西省气象服务中心(江西省专业气象台、江西省气象宣传与科普中心) 一种特色景观预报模型构建方法及系统
CN117453835A (zh) * 2023-11-07 2024-01-26 东升智联(北京)技术有限公司 一种智慧社区管理系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307292A (zh) * 2023-05-22 2023-06-23 安徽中科蓝壹信息科技有限公司 一种基于机器学习和集成学习的空气质量预报优化方法
CN116448966A (zh) * 2023-06-15 2023-07-18 吉林省中农阳光数据有限公司 基于智能物联网和深度学习相结合的空气质量评估方法
CN116448966B (zh) * 2023-06-15 2023-09-12 吉林省中农阳光数据有限公司 基于智能物联网和深度学习相结合的空气质量评估方法
CN117453835A (zh) * 2023-11-07 2024-01-26 东升智联(北京)技术有限公司 一种智慧社区管理系统
CN117390592A (zh) * 2023-12-11 2024-01-12 江西省气象服务中心(江西省专业气象台、江西省气象宣传与科普中心) 一种特色景观预报模型构建方法及系统
CN117390592B (zh) * 2023-12-11 2024-03-22 江西省气象服务中心(江西省专业气象台、江西省气象宣传与科普中心) 一种特色景观预报模型构建方法及系统

Similar Documents

Publication Publication Date Title
CN113962364B (zh) 一种基于深度学习的多因素用电负荷预测方法
CN115730684A (zh) 一种基于lstm-cnn模型的空气质量检测系统
CN115578015B (zh) 基于物联网的污水处理全过程监管方法、系统及存储介质
CN105243435B (zh) 一种基于深度学习元胞自动机模型的土壤含水量预测方法
CN114036841A (zh) 基于半监督支持向量机模型的滑坡易发性预测方法及系统
CN108764527B (zh) 一种土壤有机碳库时空动态预测最优环境变量筛选方法
CN117556197B (zh) 一种基于人工智能的台风涡旋初始化方法
CN114399073A (zh) 一种基于深度学习的海洋表面温度场预测方法
CN113689032A (zh) 一种基于深度学习的多传感器融合瓦斯浓度多步预测方法
CN115654381A (zh) 一种基于图神经网络的供水管道漏损检测方法
CN114417693A (zh) 一种基于深度学习的海洋三维温度场反演方法
CN116796168A (zh) 一种基于多头注意力机制的CNN-BiLSTM高海拔多因素输电线路可听噪声预测方法
CN111859054A (zh) 气象卫星数据的处理方法及装置
CN116341763B (zh) 一种空气质量预测方法
CN116151482B (zh) 一种露天矿区的开采土方量预测方法、装置、设备及介质
Li et al. PV resource evaluation based on Xception and VGG19 two-layer network algorithm
CN117494034A (zh) 基于交通拥堵指数和多源数据融合的空气质量预测方法
CN109636194B (zh) 一种输变电项目重大变动多源协同检测方法与系统
CN116822185A (zh) 基于hasm的日降水数据空间模拟方法和系统
CN114648095A (zh) 一种基于深度学习的空气质量浓度反演方法
CN114638417A (zh) 一种细粒度空气质量预测方法及系统
Wang et al. Operational climate prediction in the era of big data in China: Reviews and prospects
CN117593653B (zh) 基于遥感监测的地质灾害预警方法
Agada et al. Multi dimensional Time series Weather Prediction Using Short Time Memory Neural Network
CN117688313A (zh) 一种网络协同处理测绘数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination