CN114217025A - 评估空气质量浓度预测中气象数据对其影响的分析方法 - Google Patents

评估空气质量浓度预测中气象数据对其影响的分析方法 Download PDF

Info

Publication number
CN114217025A
CN114217025A CN202111549346.3A CN202111549346A CN114217025A CN 114217025 A CN114217025 A CN 114217025A CN 202111549346 A CN202111549346 A CN 202111549346A CN 114217025 A CN114217025 A CN 114217025A
Authority
CN
China
Prior art keywords
air quality
meteorological data
data set
meteorological
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111549346.3A
Other languages
English (en)
Other versions
CN114217025B (zh
Inventor
石晓飞
白蛟
邢建东
姚晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casic Wisdom Industrial Development Co ltd
Harbin Institute of Technology
Original Assignee
Casic Wisdom Industrial Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casic Wisdom Industrial Development Co ltd filed Critical Casic Wisdom Industrial Development Co ltd
Priority to CN202111549346.3A priority Critical patent/CN114217025B/zh
Publication of CN114217025A publication Critical patent/CN114217025A/zh
Application granted granted Critical
Publication of CN114217025B publication Critical patent/CN114217025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004Gaseous mixtures, e.g. polluted air
    • G01N33/0009General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0062General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method, e.g. intermittent, or the display, e.g. digital
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004Gaseous mixtures, e.g. polluted air
    • G01N33/0009General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/007Arrangements to check the analyser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请公开了一种评估空气质量浓度预测中气象数据对其影响的分析方法,涉及数据分析技术领域。包括以下步骤:获取并预处理空气质量数据集和气象数据集;利用Mann‑Kendall检测方法对预处理后的空气质量数据和气象数据进行特征选择,取通过检验且通过高于预设阈值的空气质量特征和气象特征;构建LSTM模型,基于选定输入特征的空气质量数据集和气象数据集开展LSTM模型训练工作;将实时空气质量数据和气象数据输入至训练好的LSTM模型中得到预测结果。本申请用于提升对各个监测站点空气质量预测能力。

Description

评估空气质量浓度预测中气象数据对其影响的分析方法
技术领域
本申请涉及数据分析技术领域,尤其涉及一种评估空气质量浓度预测中气象数据对其影响的分析方法。
背景技术
近年来,我国在大气环境污染问题方面已取得了显著成效,各个区域的优良天数比例不断提升,极大程度提高了人们对美好生态环境的获得感。但在极端状况下,仍有大气环境污染事件发生。此时,如何快速开展空气质量预测能力分析就显得尤为重要。
随着物联网、大数据和人工智能等新一代信息技术快速发展,我国的环境监测和管理也步入了一个新的时代。依托环境监测数据,大量的环境管理研究人员采用深度学习等方法开展了不同时长的空气质量预测工作,较好的指导了环境管理工作。但大气环境污染问题除了受污染物排放影响,还受到当地的气象状况影响。基于此,亟需通过将更多的输入特征纳入到空气质量预测当中,以期达到更为精准的预测效果。以此达到更为精准的预测能力分析。
发明内容
本申请提供一种评估空气质量浓度预测中气象数据对其影响的分析方法,利用Kendall相关系数法选取气象特征,并结合LSTM模型对空气质量进行预测,提高了预测能力。
为达到上述目的,本申请提供了一种评估空气质量浓度预测中气象数据对其影响的分析方法,包括以下步骤:
S1:获取空气质量数据集和气象数据集,并对空气质量数据集和气象数据集进行预处理;
S2:利用Mann-Kendall检测法对预处理后的空气质量数据和气象数据进行特征选择,取通过率高于预设阈值的环境特征和气象特征;
S3:构建LSTM模型,基于环境特征和气象特征对LSTM模型进行训练;
S4:将实时空气质量数据和气象数据输入至训练好的LSTM模型中,得到预测结果。
进一步地,步骤S3中LSTM模型采用单层神经网络。
进一步地,步骤S1中预处理步骤采用的是线性插值法。
进一步地,空气质量数据集包括PM2.5、PM10、SO2、CO、O3、NO2的历史数据,气象数据集包括温度、气压、相对湿度、风向和风速的历史数据。
进一步地,步骤S1和S2之间还包括:将空气质量数据集和气象数据集进行归一化处理。
进一步地,步骤2具体包括:
设定PM2.5观测值为预测目标,并将所述气象数据集和空气质量数据集作为输入特征,利用Mann-Kendall检测相关系数法选取特征;在选取特征过程中,设定α=0.05为检验通过方法,选取通过率大于0.1的特征作为训练LSTM模型的数据集。
进一步地,还包括步骤:采用决定系数和均方根误差对预测结果与观测数据进行分析比对。
进一步地,其特征在于,LSTM模型的优化器设置为Adam,损失函数为MAE,神经元数量为50。
本申请相比现有技术具有以下有益效果:本申请将气象数据纳入到空气质量预测当中,以此达到更为精准的预测能力分析。采用Kendall检验分析方法,围绕预测目标特征和其余特征将其转换为监督学习的方式,确定模型的训练过程所需的特征因子,提升预测效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请评估空气质量浓度预测中气象数据对其影响的分析方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
实施例1,参照图1,本申请提供了一种评估空气质量浓度预测中气象数据对其影响的分析方法,包括以下步骤:
S1:获取空气质量数据集和气象数据集,并采用线性插值的方法处理异常数据和空值的空气质量数据和气象数据,线性插值法充分保障数据的完整性和可用性。空气质量数据集包括PM2.5、PM10、SO2、CO、O3、NO2的历史数据,气象数据集包括温度、气压、相对湿度、风向和风速的历史数据。
S2:将预处理后的空气质量数据集和气象数据集进行归一化处理,设定PM2.5观测值为预测目标,空气质量数据和气象数据为输入特征,利用Kendall相关系数法选取特征,在选取特征过程中,设定α=0.05为检验通过方法,选取通过率大于0.1的特征作为LSTM模型的数据集,得到模型的训练过程所需的特征因子。
S3:构建LSTM模型,基于环境特征和气象特征对LSTM模型进行训练;LSTM模型采用单层神经网络,优化器设置为Adam,损失函数为MAE,神经元数量为50。
S4:将实时空气质量数据和气象数据输入至训练好的LSTM模型中,得到预测结果。
实施例2:评估气象数据对空气质量变化预测能力的影响实验,具体包括以下步骤:
S1:获取空气质量数据集和气象数据集,并采用线性插值的方法处理异常数据和空值的空气质量数据和气象数据。空气质量数据包括PM2.5、PM10、SO2、CO、O3、NO2的历史数据,气象数据包括温度、气压、相对湿度、风向和风速的历史数据。
S2:将预处理后的空气质量数据集和气象数据集进行归一化处理,设定PM2.5为预测目标,其余指标为输入特征,利用Kendall相关系数法选取特征,在选取特征过程中,设定α=0.05为检验通过方法,选取通过率大于0.1的特征作为训练第一LSTM模型和第二LSTM模型的数据集,得到模型的训练过程所需的特征因子。
S3:构建结构相同的第一LSTM模型和第二LSTM模型,基于环境特征和气象特征对第一LSTM模型进行训练;基于环境特征对第二LSTM模型进行训练。第一LSTM模型和第二LSTM模型均采用单层神经网络,优化器设置为Adam,损失函数为MAE,神经元数量为50。
S4:将实时空气质量数据和气象数据输入至训练好的第一LSTM模型中,并将实时空气质量数据输入至训练好的第二LSTM模型中,得到预测结果。利用决定系数和均方根误差对第一LSTM模型、第二LSTM模型的预测结果与观测数据进行分析比对,从表1可以看出,将气象特征作为纳入到空气质量预测当中,能够提升模型的预测效果。
表1:第一LSTM模型、第二LSTM模型的预测结果与观测数据的分析比对
Figure BDA0003416732230000051
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,包括以下步骤:
S1:获取空气质量数据集和气象数据集,并对空气质量数据集和气象数据集进行预处理;
S2:利用Mann-Kendall检测法对预处理后的空气质量数据和气象数据进行特征选择,取通过率高于预设阈值的环境特征和气象特征;
S3:构建LSTM模型,基于环境特征和气象特征对LSTM模型进行训练;
S4:将实时空气质量数据和气象数据输入至训练好的LSTM模型中,得到预测结果。
2.根据权利要求1所述的评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,步骤S3中LSTM模型采用单层神经网络。
3.根据权利要求1所述的评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,步骤S1中预处理步骤采用的是线性插值法。
4.根据权利要求1所述的评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,空气质量数据集包括PM2.5、PM10、SO2、CO、O3、NO2的历史数据,气象数据集包括温度、气压、相对湿度、风向和风速的历史数据。
5.根据权利要求4所述的评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,步骤S1和S2之间还包括:将空气质量数据集和气象数据集进行归一化处理。
6.根据权利要求5所述的评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,步骤2具体包括:
设定PM2.5观测值为预测目标,并将所述气象数据集和空气质量数据集作为输入特征,利用Mann-Kendall检测相关系数法选取特征;在选取特征过程中,设定α=0.05为检验通过方法,选取通过率大于0.1的特征作为训练LSTM模型的数据集。
7.根据权利要求1所述的评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,还包括步骤:采用决定系数和均方根误差对预测结果与观测数据进行分析比对。
8.根据权利要求2所述的评估空气质量浓度预测中气象数据对其影响的分析方法,其特征在于,LSTM模型的优化器设置为Adam,损失函数为MAE,神经元数量为50。
CN202111549346.3A 2021-12-17 2021-12-17 评估空气质量浓度预测中气象数据对其影响的分析方法 Active CN114217025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111549346.3A CN114217025B (zh) 2021-12-17 2021-12-17 评估空气质量浓度预测中气象数据对其影响的分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111549346.3A CN114217025B (zh) 2021-12-17 2021-12-17 评估空气质量浓度预测中气象数据对其影响的分析方法

Publications (2)

Publication Number Publication Date
CN114217025A true CN114217025A (zh) 2022-03-22
CN114217025B CN114217025B (zh) 2024-01-23

Family

ID=80703431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111549346.3A Active CN114217025B (zh) 2021-12-17 2021-12-17 评估空气质量浓度预测中气象数据对其影响的分析方法

Country Status (1)

Country Link
CN (1) CN114217025B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889546A (zh) * 2022-03-28 2022-08-12 郑州炜盛电子科技有限公司 一种基于二氧化碳传感器的生命体检测方法及装置
CN117556953A (zh) * 2023-11-21 2024-02-13 中国气象局沈阳大气环境研究所 一种基于卫星遥感反演数据的自动处理与预测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1265471A (zh) * 1998-11-19 2000-09-06 施卢默格海外有限公司 利用磁共振测井测量量的地层构造评估
AU2001244726A1 (en) * 2000-04-07 2001-10-23 Takeda Chemical Industries, Ltd Oxazole derivatives and their uses as tyrosine kinase inhibitors
KR20140046358A (ko) * 2012-10-10 2014-04-18 이명진 산사태 위험성 분석 시스템 및 방법
CN109766845A (zh) * 2019-01-14 2019-05-17 首都医科大学宣武医院 一种脑电信号分类方法、装置、设备和介质
CN111798051A (zh) * 2020-07-02 2020-10-20 杭州电子科技大学 基于长短期记忆神经网络的空气质量时空预测方法
CN112051743A (zh) * 2019-06-06 2020-12-08 北京三星通信技术研究有限公司 设备控制方法、冲突处理方法、相应的装置及电子设备
CN112634113A (zh) * 2020-12-22 2021-04-09 山西大学 一种基于动态滑窗的污染废气关联分析方法
CN112766454A (zh) * 2020-12-04 2021-05-07 山东科技大学 一种空气pm2.5浓度预测方法、系统、终端及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1265471A (zh) * 1998-11-19 2000-09-06 施卢默格海外有限公司 利用磁共振测井测量量的地层构造评估
AU2001244726A1 (en) * 2000-04-07 2001-10-23 Takeda Chemical Industries, Ltd Oxazole derivatives and their uses as tyrosine kinase inhibitors
KR20140046358A (ko) * 2012-10-10 2014-04-18 이명진 산사태 위험성 분석 시스템 및 방법
CN109766845A (zh) * 2019-01-14 2019-05-17 首都医科大学宣武医院 一种脑电信号分类方法、装置、设备和介质
CN112051743A (zh) * 2019-06-06 2020-12-08 北京三星通信技术研究有限公司 设备控制方法、冲突处理方法、相应的装置及电子设备
CN111798051A (zh) * 2020-07-02 2020-10-20 杭州电子科技大学 基于长短期记忆神经网络的空气质量时空预测方法
CN112766454A (zh) * 2020-12-04 2021-05-07 山东科技大学 一种空气pm2.5浓度预测方法、系统、终端及存储介质
CN112634113A (zh) * 2020-12-22 2021-04-09 山西大学 一种基于动态滑窗的污染废气关联分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐荣潞: "西北干旱区湿度时空变化特征及其与气候要素的关系", 中国优秀硕士论文电子期刊网, no. 1, pages 14 *
韩见弘: "近10a呼和浩特市大气污染特征及与气象要素关系研究", 《中国优秀硕士学位论文全文数据库》, no. 12, pages 11 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889546A (zh) * 2022-03-28 2022-08-12 郑州炜盛电子科技有限公司 一种基于二氧化碳传感器的生命体检测方法及装置
CN117556953A (zh) * 2023-11-21 2024-02-13 中国气象局沈阳大气环境研究所 一种基于卫星遥感反演数据的自动处理与预测系统

Also Published As

Publication number Publication date
CN114217025B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN114217025B (zh) 评估空气质量浓度预测中气象数据对其影响的分析方法
CN112036075A (zh) 一种基于环境监测数据关联关系的异常数据判定方法
CN110636066B (zh) 基于无监督生成推理的网络安全威胁态势评估方法
KR102149495B1 (ko) 환경 예측 모델의 훈련지표 최적화 장치 및 그 동작방법
CN110648014A (zh) 一种基于时空分位数回归的区域风电预测方法及系统
CN108334943A (zh) 基于主动学习神经网络模型的工业过程半监督软测量建模方法
CN110610209A (zh) 一种基于数据挖掘的空气质量预测方法及系统
CN111222992A (zh) 一种基于注意力机制的长短期记忆神经网络的股票价格预测方法
CN113807562A (zh) 海洋表面温度的预测方法
CN114022671A (zh) 一种基于残差神经网络的索道缆绳绳位智能识别方法
CN113435124A (zh) 一种基于长短时记忆和径向基函数神经网络的水质时空关联预测方法
CN107944205B (zh) 一种基于高斯烟羽模型的水域特征模型建立方法
CN110956331A (zh) 数字工厂运营状态预测方法、系统、装置
CN114487129A (zh) 基于声发射技术的柔性材料的损伤识别方法
CN112149870A (zh) 一种基于ISODATA聚类与Elman神经网络的猪舍氨气浓度组合预测方法
CN116842323A (zh) 一种供水管线运行数据异常检测方法
CN115017015B (zh) 一种边缘计算环境下程序异常行为检测方法及系统
CN114818945A (zh) 融入类别自适应度量学习的小样本图像分类方法及装置
CN114648095A (zh) 一种基于深度学习的空气质量浓度反演方法
CN114611399A (zh) 一种基于NGBoost算法的PM2.5浓度长时间序列预测方法
Wiezbicki et al. Sensor drift compensation using weighted neural networks
CN112365093A (zh) 一种基于gru深度学习的多特征因子赤潮预测模型
CN110991685A (zh) 一种气象温度预测方法
Hong et al. Drainage network flow anomaly classification based on XGBoost
CN116307184B (zh) 一种基于因果关系的空气污染治理效果评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231221

Address after: 150006 No. 92 West straight street, Nangang District, Heilongjiang, Harbin

Applicant after: HARBIN INSTITUTE OF TECHNOLOGY

Applicant after: CASIC WISDOM INDUSTRIAL DEVELOPMENT Co.,Ltd.

Address before: 100854 area a, building 5, 6 gaoliangqiao Road, Xicheng District, Beijing (T4) 06a1 (Desheng Park)

Applicant before: CASIC WISDOM INDUSTRIAL DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant