CN110333556A - 空气质量预测方法、装置、计算机设备及可读存储介质 - Google Patents

空气质量预测方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN110333556A
CN110333556A CN201910478507.0A CN201910478507A CN110333556A CN 110333556 A CN110333556 A CN 110333556A CN 201910478507 A CN201910478507 A CN 201910478507A CN 110333556 A CN110333556 A CN 110333556A
Authority
CN
China
Prior art keywords
data
collection point
meteorological
pollution object
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910478507.0A
Other languages
English (en)
Inventor
邢军华
罗铁
欧阳一村
曾志辉
贺涛
许文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE ICT Technologies Co Ltd
Original Assignee
ZTE ICT Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE ICT Technologies Co Ltd filed Critical ZTE ICT Technologies Co Ltd
Priority to CN201910478507.0A priority Critical patent/CN110333556A/zh
Publication of CN110333556A publication Critical patent/CN110333556A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004Gaseous mixtures, e.g. polluted air
    • G01N33/0009General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0027General constructional details of gas analysers, e.g. portable test equipment concerning the detector
    • G01N33/0031General constructional details of gas analysers, e.g. portable test equipment concerning the detector comprising two or more sensors, e.g. a sensor array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/02Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions

Landscapes

  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Food Science & Technology (AREA)
  • Combustion & Propulsion (AREA)
  • Medicinal Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种空气质量预测方法、装置、计算机设备及可读存储介质,其中,空气质量预测方法包括:获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据;利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型;根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。本发明提出的空气质量预测方法,无需对缺失数据进行预处理,使得整个深度学习过程更快捷,并且,将污染物采集点所采集的历史污染物数据映射到气象采集点处,得到更精确的样本数据,提升了预测精度。

Description

空气质量预测方法、装置、计算机设备及可读存储介质
技术领域
本发明涉及环境科学领域,具体而言,涉及一种空气质量预测方法、一种空气质量预测装置、一种计算机设备、一种计算机可读存储介质。
背景技术
传统基于特征工程的EMOS(Ensemble Model Output Statistics)模型和ARMA(Auto-Regressive Moving Average)模型针对气象预测SO2浓度预测任务可以取得较好的效果,但这些方法和模型需要研究者花大量精力去hand_crafted特征提取、建立模型及参数调整整定。深度学习Conv_LSTM模型能很好的捕捉空间时序关系,由于监测站在在获取空气质量数据时,一般因为设备故障或网络延时卡顿等问题,导致空气质量数据出现较多的缺失值。在数据预处理上,尤其是缺失值处理,填补缺失值大多数的方法是删除、均值法以及邻近法等方法,填补的精度较差,然而空气质量数据带有时序信息,导致了深度学习方法在训练时精度较差。在现有技术中,通常采用GBDT(Gradient Boosting Decision Tree,梯度增强决策树)模型进行空气质量的预测,但是,GBDT模型在优化时只用到一阶导数信息,没有二阶导数信息和正则项信息,使学习出来的模型更加复杂,容易过拟合,并且,GBDT模型需要对缺失值进行预处理,而实际空气质量预测样本中有很多缺失值,导致使用范围受限,以及GBDT模型不支持并行,训练时间长。
发明内容
本发明旨在至少解决现有技术中存在的在空气质量预测上如遇数据缺失,将导致工程模型的深度学习的精度较差,进而导致空气质量预测精度低的技术问题。
为此,本发明的第一方面实施例提出了一种高精度的空气质量预测方法。
本发明的第二方面实施例提出了一种高精度的空气质量预测装置。
本发明的第三方面实施例提出了一种计算机设备。
本发明的第四方面实施例提出了一种计算机可读存储介质。
有鉴于此,根据本发明的第一方面实施例,本发明提出了一种空气质量预测方法,包括:获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据;利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型;根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。
本发明提出的空气质量预测方法,采用极端梯度上升模型进行深度学习,分析历史污染物数据和历史气象数据,进而得到一个预测模型实现对空气质量的预测,利用极端梯度上升模型的特点,即使面对缺失样本数据的情况,也可以自动学习出样本数据的分裂方向,进而无需对缺失数据进行预处理,使得整个深度学习过程更快捷,并且,通常污染物采集点与气象采集点的不再同一位置,因此,将污染物采集点所采集的历史污染物数据映射到气象采集点处,可以得到更精确的样本数据,进而提升了对空气质量预测的精度。
另外,本发明提供的上述实施例中的空气质量预测方法还可以具有如下附加技术特征:
在上述技术方案中,优选地,根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据的步骤,具体包括:根据污染物采集点与气象采集点的位置信息,确定污染物采集点与气象采集点之间的距离;根据距离生成加权因子,以加权因子加权历史污染物数据,得到历史污染物映射数据。
在该技术方案中,根据污染物采集点与气象采集点的位置信息确定污染物采集点与气象采集点之间的距离,再根据距离生成加权因子,对历史污染物数据进行加权,得到气象采集点处的历史污染物映射数据。
在上述任一技术方案中,优选地,还包括:在污染物采集点的数量为多个的情况下,根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据的步骤,具体包括:根据污染物采集点与气象采集点的位置信息,确定每个污染物采集点与气象采集点之间的距离;根据每个距离生成加权因子,以每个加权因子加权历史污染物数据并并取加权平均值,得到历史污染物映射数据。
在该技术方案中,如果污染物采集点的数量为多个,那么就确定每个污染物采集点距离气象采集点的距离,根据距离生产加权因子,将每个污染物采集点处的历史污染物数据均映射到气象采集点处,并取加权平均值得到加权平均值,作为历史污染物映射数据,通过该方案得到的历史污染物映射数据,更符合气象采集点处历史污染物数据的实际情况,因此,能够提升空气质量预测的准确性。
在上述任一技术方案中,优选地,距离与加权因子成反比。
在该技术方案中,污染物采集点与气象采集点距离越近,该污染物采集点处的历史污染物数据越接近气象采集点处的实际污染数据,因此,距离越小加权因子越大,确保历史污染物映射数据更接近真实数据。
在上述任一技术方案中,优选地,利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型的步骤,具体包括:将历史污染物映射数据和历史气象数据代入极端梯度上升模型;以交叉验证的方式,整定极端梯度上升模型中的参数值,以对极端梯度上升模型进行优化,得到预测模型。
在该技术方案中,以交叉验证的方式,调整极端梯度上升模型中的参数值,以对极端梯度上升模型进行优化,并最终得到预测模型。
在上述任一技术方案中,优选地,历史污染物数据包括以下至少一者:历史PM10浓度数据、历史PM2.5浓度数据、历史二氧化硫浓度数据、历史二氧化氮浓度数据、历史一氧化碳浓度数据、历史臭氧浓度数据;当前污染物数据包括以下至少一者:当前PM10浓度数据、当前PM2.5浓度数据、当前二氧化硫浓度数据、当前二氧化氮浓度数据、当前一氧化碳浓度数据、当前臭氧浓度数据。
在该技术方案中,历史污染物数据包括历史PM10浓度数据、历史PM2.5浓度数据、历史二氧化硫浓度数据、历史二氧化氮浓度数据、历史一氧化碳浓度数据、历史臭氧浓度数据中的至少一种;当前污染物数据包括当前PM10浓度数据、当前PM2.5浓度数据、当前二氧化硫浓度数据、当前二氧化氮浓度数据、当前一氧化碳浓度数据、当前臭氧浓度数据中的至少一种。
在上述任一技术方案中,优选地,历史气象数据包括以下至少一者:历史温度数据、历史压力数据、历史湿度数据、历史风速数据、历史风向数据;当前气象数据包括以下至少一者:当前温度数据、当前压力数据、当前湿度数据、当前风速数据、当前风向数据。
在该技术方案中,历史气象数据包括历史温度数据、历史压力数据、历史湿度数据、历史风速数据、历史风向数据中的至少一者;当前气象数据包括当前温度数据、当前压力数据、当前湿度数据、当前风速数据、当前风向数据中的至少一者。
根据本发明的第二方面实施例,本发明提出了一种空气质量预测装置,包括:至少一个污染物采集器与至少一个气象采集器,污染物采集器与气象采集器上设有定位模块;处理器,获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据;利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型;根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。
本发明提出的空气质量预测装置,包括至少一个污染物采集器、至少一个气象采集器与处理器,处理器分别与至少一个污染物采集器和至少一个气象采集器通讯,处理器采用极端梯度上升模型进行深度学习,分析历史污染物数据和历史气象数据,进而得到一个预测模型实现对空气质量的预测,利用极端梯度上升模型的特点,即使面对缺失样本数据的情况,也可以自动学习出样本数据的分裂方向,进而无需对缺失数据进行预处理,使得整个深度学习过程更快捷,并且,通常污染物采集点与气象采集点的不再同一位置,因此,将污染物采集点所采集的历史污染物数据映射到气象采集点处,可以得到更精确的样本数据,进而提升了对空气质量预测的精度。
根据本发明的第三方面实施例,本发明提出了一种计算机设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序以实现如上述技术方案中任一项所述的空气质量预测方法。
本发明提出的计算机设备,包括用于执行所述计算机程序以实现如上述技术方案中任一项所述的空气质量预测方法的处理器,因此,具有如上述技术方案中任一项所述的空气质量预测方法的全部有益效果,在此不再一一陈述。
根据本发明的第四方面实施例,本发明提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述技术方案中任一项所述的空气质量预测方法。
本发明提出的计算机可读存储介质,储存有被处理器执行时实现如上述技术方案中任一项所述的空气质量预测方法的计算机程序,因此,具有如上述技术方案中任一项所述的空气质量预测方法的全部有益效果,在此不再一一陈述。
本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示出本发明第一方面第一个实施例提供的空气质量预测方法的流程图;
图2示出本发明第一方面第二个实施例提供的空气质量预测方法的流程图;
图3示出本发明第一方面第三个实施例提供的空气质量预测方法的流程图;
图4示出本发明第一方面第四个实施例提供的空气质量预测方法的流程图;
图5示出本发明第一方面第五个实施例提供的空气质量预测方法的流程图;
图6示出本发明第二方面一个实施例提供的空气质量预测装置的流程图。
其中,图6中附图标记与部件名称之间的对应关系为:
6空气质量预测装置,602处理器,604气象采集器,606第一污染物采集器,608第二污染物采集器,610第三污染物采集器,612第四污染物采集器。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图6描述根据本发明一些实施例提供的空气质量预测方法与空气质量预测装置。
图1示出了本发明第一方面第一个实施例提供的空气质量预测方法的流程图。
如图1所示,本发明第一方面第一个实施例提供的空气质量预测方法的具体流程如下:
步骤102:获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;
步骤104:根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据;
步骤106:利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型;
步骤108:根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。
本发明提供的空气质量预测方法,采用极端梯度上升模型进行深度学习,分析历史污染物数据和历史气象数据,进而得到一个预测模型实现对空气质量的预测,利用极端梯度上升模型的特点,即使面对缺失样本数据的情况,也可以自动学习出样本数据的分裂方向,进而无需对缺失数据进行预处理,使得整个深度学习过程更快捷,并且,通常污染物采集点与气象采集点的不再同一位置,因此,将污染物采集点所采集的历史污染物数据映射到气象采集点处,可以得到更精确的样本数据,进而提升了对空气质量预测的精度。
具体地,极端梯度上升模型即XGBoost(eXtreme Gradient Boosting)模型,支持线性分类器,即极端梯度上升模型相当于带L1和L2正则化项(即L1范数正则化和L2范数正则化)的逻辑斯蒂回归(分类问题)或者线性回归(回归问题),而相关技术中的GBDT模型则以CART(Classification And Regression Tree,即一种采用二分递归分割的算法)作为基分类器。
XGBoost模型在优化时,可以对函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。XGBoost模型还支持自定义代价函数,只要函数可一阶和二阶求导即可,而相关技术中的GBDT模型在优化时仅能采用一阶导数。
XGBoost模型在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variancetradeoff角度来讲,正则项降低了XGBoost模型的variance,使学习出来的模型更加简单,防止过拟合。
Shrinkage(缩减),相当于学习速率(XGBoost中的eta),XGBoost在进行完一次迭代后,会将叶子节点的权重乘上该系数,可以削弱每棵树的影响,让后面有更大的学习空间。
列抽样(column subsampling),XGBoost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算。
对缺失值的处理,对于特征的值有缺失的样本,xGBoost可以自动学习出它的分裂方向。
XGBoost工具支持并行。XGBoost的并行是在特征粒度上的,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),XGBoost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。
图2示出了本发明第一方面第二个实施例提供的空气质量预测方法的流程图。
如图2所示,本发明第一方面第二个实施例提供的空气质量预测方法的具体流程如下:
步骤202:获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;
步骤204:根据污染物采集点与气象采集点的位置信息,确定污染物采集点与气象采集点之间的距离;
步骤206:根据距离生成加权因子,以加权因子加权历史污染物数据,得到历史污染物映射数据;
步骤208:利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型;
步骤210:根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。
在该实施例中,根据污染物采集点与气象采集点的位置信息确定污染物采集点与气象采集点之间的距离,再根据距离生成加权因子,对历史污染物数据进行加权,得到气象采集点处的历史污染物映射数据。
图3示出了本发明第一方面第三个实施例提供的空气质量预测方法的流程图。
如图3所示,本发明第一方面第三个实施例提供的空气质量预测方法的具体流程如下:
步骤302:获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;
步骤304:在污染物采集点的数量为多个的情况下,根据污染物采集点与气象采集点的位置信息,确定每个污染物采集点与气象采集点之间的距离;
步骤306:根据每个距离生成加权因子,以每个加权因子加权相应的历史污染物数据并取加权平均值,得到历史污染物映射数据;
步骤308:利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型;
步骤310:根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。
在该实施例中,如果污染物采集点的数量为多个,那么就确定每个污染物采集点距离气象采集点的距离,根据距离生产加权因子,将每个污染物采集点处的历史污染物数据均映射到气象采集点处,并取加权平均值得到加权平均值,作为历史污染物映射数据,通过该方案得到的历史污染物映射数据,更符合气象采集点处历史污染物数据的实际情况,因此,能够提升空气质量预测的准确性;。
图4示出了本发明第一方面第四个实施例提供的空气质量预测方法的流程图。
如图4所示,本发明第一方面第四个实施例提供的空气质量预测方法的具体流程如下:
步骤402:获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;
步骤404:在污染物采集点的数量为多个的情况下,根据污染物采集点与气象采集点的位置信息,确定每个污染物采集点与气象采集点之间的距离;
步骤406:根据每个距离生成加权因子,以每个加权因子加权相应的历史污染物数据并取加权平均值,得到历史污染物映射数据;
步骤408:将历史污染物映射数据和历史气象数据代入极端梯度上升模型;
步骤410:以交叉验证的方式,整定极端梯度上升模型中的参数值,以对极端梯度上升模型进行优化,得到预测模型;
步骤412:根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。
在该实施例中,以交叉验证的方式,调整极端梯度上升模型中的参数值,以对极端梯度上升模型进行优化,并最终得到预测模型。
图5示出了本发明第一方面第五个实施例提供的空气质量预测方法的流程图。
如图5所示,本发明第一方面第五个实施例提供的空气质量预测方法的具体流程如下:
步骤502:数据采集:采集历史污染物数据和历史气象数据;
具体地,从气象数据监测点采集近一年温度、压力、湿度、风速、风向的数据,从污染物检测点采集对应时间PM10浓度、PM2.5浓度、二氧化硫浓度、二氧化氮浓度、一氧化碳浓度、臭氧浓度等数据;
步骤504:数据预处理:采用加权算法将历史气象数据映射到历史污染物数据处;
具体地,由于气象数据监测点和污染物检测点空间地理位置不同,直接将气象数据和污染物数据拼合在一起,与实际情况不符,将导致预测结果有偏差。根据空间距离采用加权平均算法将污染物的数据映射到气象数据所在处,再进行数据的拼合。加权因子采用空间位置差的倒数,可大大提高污染物预测的准确度。
步骤506:模型训练:确定输入输出、采用XGBoost模型,进行端到端训练;
步骤508:模型优化:采用上述训练步骤进行参数整定,模型优化迭代;
具体地,XGBoost参数总体分为三类:
全局参数(booster、silent、nthread):控制模型的整体功能;
提升树参数(eta、max_depth,min_child_weight,gamma,subsample,colsample_bytree、lambda、alpha):控制每一步优化中的单个提升树(分类/回归);
学习训练参数(objective、eval_metric、seed):控制模型的优化过程。
模型优化、参数整定的训练步骤为:
1、max_depth、min_child_weight,gamma,subsample,colsample_bytree选取模型训练时的经验值,学习率eta一般选取0.05到0.3之间,针对此问题,优选地,选取0.1。通过交叉验证确定此学习率下的最佳树数量。即利用XGBoost中的函数cross validation,在每次迭代时执行交叉验证,从而返回所需的最佳树数;
2、通过交叉验证,确定最优的max_depth和min_child_weight的值;
3、通过交叉验证确定最优的gamma的值;
4、通过交叉验证,确定最优的subsample和colsample_bytree的值;
5、通过交叉验证,调整XGBoost的正则化参数(lambda,alpha),降低模型复杂性并提高性能,确定最优的lambda和alpha的值;
6、降低学习率,增加树的数量,通过交叉验证确定最佳的学习率和树数量的值;
步骤510:确定最优模型,进行工业应用部署。
在具体实施例中,采用加权平均算法将气象数据(温度、压力(大气压强)、湿度、风速、风向)空间映射到污染物(PM2.5、PM10、NO2、CO、O3、SO2)数据所在处,进行数据的拼合,然后运用XGBoost建模,采用上述参数整定、模型调优算法来分别预测PM2.5、PM10、NO2、CO、O3、SO2浓度。但在变形方案中,我们只利用污染物的数据,运用XGBoost建模,针对模型参数采用经验值来预测PM2.5、PM10、NO2、CO、O3、SO2浓度,数据量减少,处理速度快。
如图6所示,根据本发明的第二方面实施例,本发明提供了一种空气质量预测装置6,包括:至少一个污染物采集器与至少一个气象采集器604,污染物采集器与气象采集器604上设有定位模块;处理器602,获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据;利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型;根据当前污染物数据与当前气象数据,利用预测模型得到预测空气质量数据。
本发明提供的空气质量预测装置6,包括至少一个污染物采集器、至少一个气象采集器604与处理器602,处理器602分别与至少一个污染物采集器和至少一个气象采集器604通讯,处理器602采用极端梯度上升模型进行深度学习,分析历史污染物数据和历史气象数据,进而得到一个预测模型实现对空气质量的预测,利用极端梯度上升模型的特点,即使面对缺失样本数据的情况,也可以自动学习出样本数据的分裂方向,进而无需对缺失数据进行预处理,使得整个深度学习过程更快捷,并且,通常污染物采集点与气象采集点的不再同一位置,因此,将污染物采集点所采集的历史污染物数据映射到气象采集点处,可以得到更精确的样本数据,进而提升了对空气质量预测的精度。
在本发明的一个实施例中,优选地,根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据的步骤,具体包括:根据污染物采集点与气象采集点的位置信息,确定污染物采集点与气象采集点之间的距离;根据距离生成加权因子,以加权因子加权历史污染物数据,得到历史污染物映射数据。
在该实施例中,根据污染物采集点与气象采集点的位置信息确定污染物采集点与气象采集点之间的距离,再根据距离生成加权因子,对历史污染物数据进行加权,得到气象采集点处的历史污染物映射数据。
在本发明的一个实施例中,优选地,还包括:在污染物采集点的数量为多个的情况下,根据污染物采集点与气象采集点的位置信息,将历史污染物数据加权得到气象采集点处的历史污染物映射数据的步骤,具体包括:根据污染物采集点与气象采集点的位置信息,确定每个污染物采集点与气象采集点之间的距离;根据每个距离生成加权因子,以每个加权因子加权历史污染物数据并取加权平均值,得到历史污染物映射数据。
在该实施例中,如果污染物采集点的数量为多个,那么就确定每个污染物采集点距离气象采集点的距离,根据距离生产加权因子,将每个污染物采集点处的历史污染物数据均映射到气象采集点处,并取加权平均值得到加权平均值,作为历史污染物映射数据,通过该方案得到的历史污染物映射数据,更符合气象采集点处历史污染物数据的实际情况,因此,能够提升空气质量预测的准确性。
在本发明的一个实施例中,优选地,距离与加权因子成反比。
在该实施例中,污染物采集点与气象采集点距离越近,该污染物采集点处的历史污染物数据越接近气象采集点处的实际污染数据,因此,距离越小加权因子越大,确保历史污染物映射数据更接近真实数据。
在本发明的一个实施例中,优选地,利用极端梯度上升模型,以历史污染物映射数据和历史气象数据作为训练集进行训练,得到预测模型的步骤,具体包括:将历史污染物映射数据和历史气象数据代入极端梯度上升模型;以交叉验证的方式,整定极端梯度上升模型中的参数值,以对极端梯度上升模型进行优化,得到预测模型。
在该实施例中,以交叉验证的方式,调整极端梯度上升模型中的参数值,以对极端梯度上升模型进行优化,并最终得到预测模型。
在本发明的一个实施例中,优选地,历史污染物数据包括以下至少一者:历史PM10浓度数据、历史PM2.5浓度数据、历史二氧化硫浓度数据、历史二氧化氮浓度数据、历史一氧化碳浓度数据、历史臭氧浓度数据;当前污染物数据包括以下至少一者:当前PM10浓度数据、当前PM2.5浓度数据、当前二氧化硫浓度数据、当前二氧化氮浓度数据、当前一氧化碳浓度数据、当前臭氧浓度数据。
在该实施例中,历史污染物数据包括历史PM10浓度数据、历史PM2.5浓度数据、历史二氧化硫浓度数据、历史二氧化氮浓度数据、历史一氧化碳浓度数据、历史臭氧浓度数据中的至少一种;当前污染物数据包括当前PM10浓度数据、当前PM2.5浓度数据、当前二氧化硫浓度数据、当前二氧化氮浓度数据、当前一氧化碳浓度数据、当前臭氧浓度数据中的至少一种。
在本发明的一个实施例中,优选地,历史气象数据包括以下至少一者:历史温度数据、历史压力数据、历史湿度数据、历史风速数据、历史风向数据;当前气象数据包括以下至少一者:当前温度数据、当前压力数据、当前湿度数据、当前风速数据、当前风向数据。
在该实施例中,历史气象数据包括历史温度数据、历史压力数据、历史湿度数据、历史风速数据、历史风向数据中的至少一者;当前气象数据包括当前温度数据、当前压力数据、当前湿度数据、当前风速数据、当前风向数据中的至少一者。
具体地,如图6所示,以一个气象采集器604与四个污染物采集器组成的空气质量预测装置6进行说明,空气质量预测装置6包括:处理器602,气象采集器604,第一污染物采集器606,第二污染物采集器608,第三污染物采集器610,第四污染物采集器612,气象采集器604与每个污染物采集器中都设置有定位模块,其中,第一污染物采集器606与气象采集器604之间的距离为2A,第二污染物采集器608与气象采集器604之间的距离为3A,第三污染物采集器610与气象采集器604之间的距离为4A,第四污染物采集器612与气象采集器604之间的距离为5A。
其中,第一污染物采集器606处历史数据的加权因子为第二污染物采集器608处历史数据的加权因子为第三污染物采集器610处历史数据的加权因子为第四污染物采集器612处历史数据的加权因子为通过计算加权平均值,得到气象采集器604处的历史污染物映射数据。
再根据历史污染物映射数据对极端梯度上升模型进行训练,最终得到预测模型,以根据当前数据,预测空气质量。
根据本发明的第三方面实施例,本发明提供了一种计算机设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序以实现如上述技术方案中任一项所述的空气质量预测方法。
本发明提供的计算机设备,包括用于执行所述计算机程序以实现如上述技术方案中任一项所述的空气质量预测方法的处理器,因此,具有如上述技术方案中任一项所述的空气质量预测方法的全部有益效果,在此不再一一陈述。
根据本发明的第四方面实施例,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述技术方案中任一项所述的空气质量预测方法。
本发明提供的计算机可读存储介质,储存有被处理器执行时实现如上述技术方案中任一项所述的空气质量预测方法的计算机程序,因此,具有如上述技术方案中任一项所述的空气质量预测方法的全部有益效果,在此不再一一陈述。
在本发明中,术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种空气质量预测方法,其特征在于,包括:
获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;
根据所述污染物采集点与所述气象采集点的位置信息,将所述历史污染物数据加权得到所述气象采集点处的历史污染物映射数据;
利用极端梯度上升模型,以所述历史污染物映射数据和所述历史气象数据作为训练集进行训练,得到预测模型;
根据当前污染物数据与当前气象数据,利用所述预测模型得到预测空气质量数据。
2.根据权利要求1所述的空气质量预测方法,其特征在于,
所述根据所述污染物采集点与所述气象采集点的位置信息,将所述历史污染物数据加权得到所述气象采集点处的历史污染物映射数据的步骤,具体包括:
根据所述污染物采集点与所述气象采集点的位置信息,确定所述污染物采集点与所述气象采集点之间的距离;
根据所述距离生成加权因子,以所述加权因子加权所述历史污染物数据,得到所述历史污染物映射数据。
3.根据权利要求1所述的空气质量预测方法,其特征在于,
在所述污染物采集点的数量为多个的情况下,
所述根据所述污染物采集点与所述气象采集点的位置信息,将所述历史污染物数据加权得到所述气象采集点处的历史污染物映射数据的步骤,具体包括:
根据所述污染物采集点与所述气象采集点的位置信息,确定每个所述污染物采集点与所述气象采集点之间的距离;
根据每个所述距离生成加权因子,以每个所述加权因子加权相应的所述历史污染物数据并取加权平均值,得到所述历史污染物映射数据。
4.根据权利要求3所述的空气质量预测方法,其特征在于,
所述距离与所述加权因子成反比。
5.根据权利要求1所述的空气质量预测方法,其特征在于,
所述利用极端梯度上升模型,以所述历史污染物映射数据和所述历史气象数据作为训练集进行训练,得到预测模型的步骤,具体包括:
将所述历史污染物映射数据和所述历史气象数据代入所述极端梯度上升模型;
以交叉验证的方式,整定所述极端梯度上升模型中的参数值,以对所述极端梯度上升模型进行优化,得到所述预测模型。
6.根据权利要求1至5中任一项所述的空气质量预测方法,其特征在于,
所述历史污染物数据包括以下至少一者:
历史PM10浓度数据、历史PM2.5浓度数据、历史二氧化硫浓度数据、历史二氧化氮浓度数据、历史一氧化碳浓度数据、历史臭氧浓度数据;
所述当前污染物数据包括以下至少一者:
当前PM10浓度数据、当前PM2.5浓度数据、当前二氧化硫浓度数据、当前二氧化氮浓度数据、当前一氧化碳浓度数据、当前臭氧浓度数据。
7.根据权利要求1至5中任一项所述的空气质量预测方法,其特征在于,
所述历史气象数据包括以下至少一者:
历史温度数据、历史压力数据、历史湿度数据、历史风速数据、历史风向数据;
所述当前气象数据包括以下至少一者:
当前温度数据、当前压力数据、当前湿度数据、当前风速数据、当前风向数据。
8.一种空气质量预测装置,其特征在于,包括:
至少一个污染物采集器与至少一个气象采集器,所述污染物采集器与所述气象采集器上设有定位模块;
处理器,获取污染物采集点的历史污染物数据和气象采集点的历史气象数据;根据所述污染物采集点与所述气象采集点的位置信息,将所述历史污染物数据加权得到所述气象采集点处的历史污染物映射数据;利用极端梯度上升模型,以所述历史污染物映射数据和所述历史气象数据作为训练集进行训练,得到预测模型;根据当前污染物数据与当前气象数据,利用所述预测模型得到预测空气质量数据。
9.一种计算机设备,其特征在于,包括:
存储器,用于存储计算机程序;处理器,用于执行所述计算机程序以实现如权利要求1至7中任一项所述的空气质量预测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的空气质量预测方法。
CN201910478507.0A 2019-06-03 2019-06-03 空气质量预测方法、装置、计算机设备及可读存储介质 Pending CN110333556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910478507.0A CN110333556A (zh) 2019-06-03 2019-06-03 空气质量预测方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910478507.0A CN110333556A (zh) 2019-06-03 2019-06-03 空气质量预测方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110333556A true CN110333556A (zh) 2019-10-15

Family

ID=68140250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910478507.0A Pending CN110333556A (zh) 2019-06-03 2019-06-03 空气质量预测方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110333556A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047012A (zh) * 2019-12-06 2020-04-21 重庆大学 基于深度双向长短期记忆网络的空气质量预测方法
CN111310386A (zh) * 2020-02-13 2020-06-19 北京中科锐景科技有限公司 一种近地面臭氧浓度估算方法
CN111754042A (zh) * 2020-06-28 2020-10-09 成都佳华物链云科技有限公司 基于高斯回归的大气污染物浓度的预测方法及装置
CN111814964A (zh) * 2020-07-20 2020-10-23 江西省环境监测中心站 基于空气质量状况预报的空气污染处理方法及存储介质
CN112001520A (zh) * 2020-06-05 2020-11-27 上海眼控科技股份有限公司 天气预报方法、装置、计算机设备及存储介质
CN113011455A (zh) * 2021-02-02 2021-06-22 北京数汇通信息技术有限公司 一种空气质量预测svm模型构建方法
CN113052353A (zh) * 2019-12-27 2021-06-29 中移雄安信息通信科技有限公司 空气质量预测与预测模型训练方法、装置及存储介质
CN115017679A (zh) * 2022-05-07 2022-09-06 深圳中兴智坪科技有限公司 大气污染扩散的模拟方法、装置、存储介质和电子设备
CN117236528A (zh) * 2023-11-15 2023-12-15 成都信息工程大学 一种基于组合模型和因子筛选的臭氧浓度预报方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650158A (zh) * 2016-12-31 2017-05-10 中国科学技术大学 一种基于cfd及多数据源的城市实时全局环境估计方法
CN107943928A (zh) * 2017-11-21 2018-04-20 清华大学 一种基于时空数据统计学习的臭氧浓度预测方法及系统
CN108169316A (zh) * 2017-12-20 2018-06-15 南京大学 基于支持向量机和树叶磁学的大气重金属污染评估方法
CN108647373A (zh) * 2018-03-21 2018-10-12 浙江大学 一种基于xgboost模型的工业过程软测量方法
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法
CN109298136A (zh) * 2018-10-11 2019-02-01 北京大学 空气质量评价方法、装置、设备和存储介质
CN109541730A (zh) * 2018-11-23 2019-03-29 长三角环境气象预报预警中心(上海市环境气象中心) 一种大气污染物浓度预测的方法及设备
CN109583625A (zh) * 2018-10-19 2019-04-05 顺丰科技有限公司 一种揽件量预测方法、系统、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106650158A (zh) * 2016-12-31 2017-05-10 中国科学技术大学 一种基于cfd及多数据源的城市实时全局环境估计方法
CN107943928A (zh) * 2017-11-21 2018-04-20 清华大学 一种基于时空数据统计学习的臭氧浓度预测方法及系统
CN108169316A (zh) * 2017-12-20 2018-06-15 南京大学 基于支持向量机和树叶磁学的大气重金属污染评估方法
CN108647373A (zh) * 2018-03-21 2018-10-12 浙江大学 一种基于xgboost模型的工业过程软测量方法
CN109298136A (zh) * 2018-10-11 2019-02-01 北京大学 空气质量评价方法、装置、设备和存储介质
CN109214592A (zh) * 2018-10-17 2019-01-15 北京工商大学 一种多模型融合的深度学习的空气质量预测方法
CN109583625A (zh) * 2018-10-19 2019-04-05 顺丰科技有限公司 一种揽件量预测方法、系统、设备及存储介质
CN109541730A (zh) * 2018-11-23 2019-03-29 长三角环境气象预报预警中心(上海市环境气象中心) 一种大气污染物浓度预测的方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘炳春: ""基于IG-LASSO模型的城市空气质量指数混合预测研究"", 《环境科学与技术》, vol. 40, no. 11, pages 144 - 148 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047012A (zh) * 2019-12-06 2020-04-21 重庆大学 基于深度双向长短期记忆网络的空气质量预测方法
CN113052353A (zh) * 2019-12-27 2021-06-29 中移雄安信息通信科技有限公司 空气质量预测与预测模型训练方法、装置及存储介质
CN113052353B (zh) * 2019-12-27 2022-10-18 中移雄安信息通信科技有限公司 空气质量预测与预测模型训练方法、装置及存储介质
CN111310386B (zh) * 2020-02-13 2023-04-21 北京中科锐景科技有限公司 一种近地面臭氧浓度估算方法
CN111310386A (zh) * 2020-02-13 2020-06-19 北京中科锐景科技有限公司 一种近地面臭氧浓度估算方法
CN112001520A (zh) * 2020-06-05 2020-11-27 上海眼控科技股份有限公司 天气预报方法、装置、计算机设备及存储介质
CN111754042A (zh) * 2020-06-28 2020-10-09 成都佳华物链云科技有限公司 基于高斯回归的大气污染物浓度的预测方法及装置
CN111814964A (zh) * 2020-07-20 2020-10-23 江西省环境监测中心站 基于空气质量状况预报的空气污染处理方法及存储介质
CN113011455A (zh) * 2021-02-02 2021-06-22 北京数汇通信息技术有限公司 一种空气质量预测svm模型构建方法
CN113011455B (zh) * 2021-02-02 2024-01-05 北京数汇通信息技术有限公司 一种空气质量预测svm模型构建方法
CN115017679A (zh) * 2022-05-07 2022-09-06 深圳中兴智坪科技有限公司 大气污染扩散的模拟方法、装置、存储介质和电子设备
CN117236528A (zh) * 2023-11-15 2023-12-15 成都信息工程大学 一种基于组合模型和因子筛选的臭氧浓度预报方法及系统
CN117236528B (zh) * 2023-11-15 2024-01-23 成都信息工程大学 一种基于组合模型和因子筛选的臭氧浓度预报方法及系统

Similar Documents

Publication Publication Date Title
CN110333556A (zh) 空气质量预测方法、装置、计算机设备及可读存储介质
US20220214322A1 (en) Air pollutants concentration forecasting method and apparatus and storage medium
CN111815037B (zh) 一种基于注意力机制的可解释性短临极端降雨预测方法
CN110110912B (zh) 一种光伏功率多模型区间预测方法
CN110334732A (zh) 一种基于机器学习的空气质量预报方法和装置
CN110346517B (zh) 一种智慧城市工业大气污染可视化预警方法及其系统
Mahanta et al. Urban air quality prediction using regression analysis
CN112785034B (zh) 基于融合神经网络的台风路径预报方法、系统、介质及终端
CN108614071B (zh) 分布式室外大气质量监测精度校正系统及参数更新方法
Galanis et al. Statistical post processes for the improvement of the results of numerical wave prediction models. A combination of Kolmogorov-Zurbenko and Kalman filters
CN115237896B (zh) 一种基于深度学习预报空气质量的数据前处理方法及系统
Vassallo et al. Utilizing physics-based input features within a machine learning model to predict wind speed forecasting error
CN116224473B (zh) 一种风速预报方法、模型训练方法、装置和存储介质
CN116204779B (zh) 一种判断储能盐穴运行状态的方法、系统及可读存储介质
CN107340209A (zh) 产生源分析装置及产生源分析方法
CN114580691A (zh) 燃气使用需求的预测方法、装置、计算机设备及存储介质
CN115936177A (zh) 一种基于神经网络的光伏输出功率预测方法及系统
CN117526274A (zh) 极端气候下新能源功率预测方法、电子设备和存储介质
KR20240002889A (ko) 딥러닝 모델 기반 태양광 발전율 예측 장치 및 이의 동작 방법
CN115080629A (zh) 一种基于遥感技术的气象要素预报系统及方法
CN110019167A (zh) 一种中长期新能源资源资料库构建方法及系统
CN113868223A (zh) 水质监测方法、装置、系统和可读存储介质
Alomoush et al. Residential Power Load Prediction in Smart Cities using Machine Learning Approaches
CN115808504B (zh) 一种用于浓度预测的气体传感器在线漂移补偿方法
CN115510767B (zh) 基于深度时空网络的区域气温预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination