CN107942411B - 一种大气能见度预测方法 - Google Patents
一种大气能见度预测方法 Download PDFInfo
- Publication number
- CN107942411B CN107942411B CN201711238429.4A CN201711238429A CN107942411B CN 107942411 B CN107942411 B CN 107942411B CN 201711238429 A CN201711238429 A CN 201711238429A CN 107942411 B CN107942411 B CN 107942411B
- Authority
- CN
- China
- Prior art keywords
- data
- visibility
- support vector
- vector machine
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Environmental & Geological Engineering (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种大气能见度预测方法,根据收集的历年气象数据,构建新的气象数据集;利用新的气象数据集训练支持向量机,得到支持向量机训练模型;利用新的气象数据集训练决策树,得到决策树模型;将待预测数据归一化处理后输入至训练过后的支持向量机训练模型,由支持向量机训练模型分类过后输入至相应的训练后的决策树模型,得到最终的大气能见度预测数据。本发明最终结合支持向量机和决策树,先进行一个初步的能见度分类然后精确预测出大气能见度。本发明操作简单,只需对历年气象观测数据稍作处理,训练模型,即可进行能见度的预测。
Description
技术领域
本发明涉及统计学习与气象领域,特别是一种大气能见度预测方法。
背景技术
在气象领域,能见度测报不仅用于日常气象部门的天气分析,更广泛用于高速公路、航空、航海等交通运输部门、军事等领域。
白天能见度是指视力正常的人在当时天气条件下,能从天空背景中看到和辨别出目标物轮廓的最大水平距离。能见度观测是判别视程障碍现象及强度的决定性参考依据,准确的能见度观测,能有力的保证交通运输业的正常进行;另一方面也是表征低层大气污染程度的一个重要的物理量。因此,观测好能见度意义十分重大。
能见度的观测一般分为目测和器测。目测一般为经过专业训练的测试员,在天气条件下,能够以天空为背景的情况下,看到目标物的最大水平距离。显然这种方法局限性很大,一方面跟气象站的地理条件以及参照物有关;另一方面,受测试人员主观判断的影响。器测法当前主要使用透射仪和向前散射仪等,向前散射客观性强,避免了目标物状况和主观因素影响,但是向前散射仪只是观测特定区域散射区气块的透明度,当气溶胶分布不均时,误差会很大;另外易受非气象因素的影响。现存的能见度测量方法主要存在硬件成本高,操作复杂度大,应用范围小等问题。
发明内容
本发明提出了一种大气能见度预测方法。
实现本发明的技术解决方案为:一种大气能见度预测方法,具体步骤为:
步骤1、根据收集的历年气象数据,构建新的气象数据集,具体构建方法为:
将连续两天的气象观测特征合并作为第二天的气象观测特征,并与第三天的能见度数据结合构成第二天的新气象数据,将所有的第二天的新气象数据构成新的气象数据集;
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤3、利用新的气象数据集训练决策树,得到决策树模型;
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机训练模型,由支持向量机训练模型分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据。
本发明与现有技术相比,其显著优点为:(1)本发明成本低,不需要高昂的设备费用;(2)本发明只需对历年气象观测数据稍作处理,训练模型,即可进行能见度的预测,操作简单;(3)本发明预测的能见度精度在5.15km左右,预测能见度的精度高。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明一种大气能见度预测方法的流程图。
具体实施方式
一种大气能见度预测方法,具体步骤为:
步骤1、根据气象站收集的历年气象数据,构建新的气象数据集,其中,历年气象数据包括气象观测特征和能见度数据,具体构建方法为:
将连续两天的气象观测特征合并作为第二天的气象观测特征,并与第三天的能见度数据结合构成第二天的新气象数据,将所有的第二天的新气象数据构成新的气象数据集;
进一步地,所述气象观测特征包括:08时地面压强,24小时地面变压,08时地面温度,24小时地面变温,08时地面湿度,850百帕湿度,700百帕湿度,14时湿度,上干下湿指数,08时水平方向分量的地面风速,08时垂直方向分量的地面风速,08时水平方向分量850百帕风速,08时垂直方向分量850百帕风速,风切变,850百帕与地面温度差,wrh,08时温度露点差,08时温度与14点露点差,其中,如果14时风速大于20时风速,wrh=14时风速/(14时湿度+10),如果14时风速小于20时风速,wrh=20时风速/(20时湿度+10)。
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤2.1、将新的气象数据集分为能见度大于N km和小于N km两部分;
进一步的实施例中,N=10km;
步骤2.2、分别在能见度大于N km和小于N km的气象数据中选取部分数据样本,组成支持向量机训练集;
进一步的实施例中,步骤2.2中选取的部分数据具体为:在能见度小于N km的新数据中,提取前1865个样本,在能见度大于N km的新数据中,在前30000个样本中隔15个样本提取1个样本;
步骤2.3、对支持向量机训练集进行归一化处理,得到归一化后的支持向量机训练集,具体处理公式为:
x'=(x-min)/(max-min)×2-1
式中,x'为归一化后的数据样本,x为数据样本的特征值,min为所有数据样本中的最小特征值,max为所有数据样本中的特征最大值;
步骤2.4、用归一化之后的支持向量机训练集对支持向量机进行训练,得到支持向量机训练模型,支持向量机参数设置为:C=10000,gamma=0.01,其他参数默认,其中参数C表示支持向量机的惩罚参数,C越大,说明越不能容忍出现误差,C越小,对误分类的惩罚越小,允许容错,将错误当成噪声点;参数gamma是核函数参数,隐含地决定了数据映射到新的特征空间后的分布,gamma越大,支持向量越少,gamma越小,支持向量越多;
步骤3、利用新的气象数据训练决策树,得到决策树模型;
步骤3.1、将新的气象数据集分为能见度大于N km和能见度小于N km两部分;
优选地,N=10km;
步骤3.2、分别用能见度大于N km和能见度小于N km的气象数据训练决策树模型,得到能见度大于N km的决策模型和能见度小于N km的决策树模型;
优选地,N=10km;
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机,由支持向量机分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据;
进一步的实施例中,步骤4中对待预测数据进行归一化处理的具体方法为:
x'1=(x1-min1)/(max1-min1)×2-1
式中,x'1为归一化后的待预测数据,x1为待预测数据的特征值,min1为所有待预测数据中的最小特征值,max1为所有待预测数据中的最大特征值
从而,相比于现在的能见度观测方法,本发明提出的大气能见度预测方法,极大的节约了成本,操作便捷,精确度较好。
下面结合实施例进行更详细的描述。
实施例1
步骤1、本实施例中,根据气象站点收集的2000年到2016年的气象观测数据,共96862条数据,将连续两天的气象观测特征合并作为第三天的气象观测特征,并与第三天的能见度数据结合构成第三天的新气象数据,将所有的第三天的新气象数据构成新的气象数据集。本实施例中的气象观测特征主要涉及到08时地面压强,24小时地面变压,08时地面温度,24小时地面变温,08时地面湿度,850百帕湿度,700百帕湿度,14时湿度,上干下湿指数,08时水平方向分量的地面风速,08时垂直方向分量的地面风速,08时水平方向分量850百帕风速,08时垂直方向分量850百帕风速,风切变,850百帕与地面温度差,wrh,08时温度露点差,08时温度与14点露点差,其中,如果14时风速大于20时风速,wrh=14时风速/(14时湿度+10),如果14时风速小于20时风速,wrh=20时风速/(20时湿度+10)。
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤2.1、将新的气象数据集分为能见度大于10km和小于10km两部分;
步骤2.2、在能见度小于10km的新数据中,提取前1865个数据样本,在能见度大于10km的新数据中,在前30000个数据样本中隔15个样本提取1个样本;
步骤2.3、对支持向量机训练集进行归一化处理,将特征值归一化到[-1,1]的区间内,得到归一化后的支持向量机训练集,具体处理公式为:
x'=(x-min)/(max-min)×2-1
式中,x'为归一化后的数据样本,x为数据样本的特征值,min为所有数据样本中的最小特征值,max为所有数据样本中的特征最大值;
步骤2.4、用归一化之后的支持向量机训练集对支持向量机进行训练,,得到支持向量机训练模型。支持向量机参数设置为:C=10000,gamma=0.01,其他参数默认,其中参数C表示支持向量机的惩罚参数,C越大,说明越不能容忍出现误差,C越小,对误分类的惩罚越小,允许容错,将错误当成噪声点;参数gamma是核函数参数,隐含地决定了数据映射到新的特征空间后的分布,gamma越大,支持向量越少,gamma越小,支持向量越多;
步骤3、利用新的气象数据训练决策树;
步骤3.1、将新的气象数据集分为能见度大于10km和能见度小于10km两部分。
步骤3.2、分别用能见度大于10km和能见度小于10km的气象数据训练决策树模型,得到能见度大于10km的决策模型和能见度小于10km的数据模型;
利用决策树回归模型,用两组象数据集分别训练决策树,其中能见度小于10km的决策树模型参数设置为默认参数,能见度大于10km的决策树模型参数设置为min_samples_leaf=5,min_samples_split=5,其他参数为默认值。其中min_samples_leaf表示叶子结点最少样本数,如果某叶子结点数目小于样本数,则会和兄弟节点一起被剪枝;min_samples_split表示内部节点再划分所需最小样本数,如果某节点的样本数小于该值,则不会继续再尝试选择最优特征来进行划分。
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机,由支持向量机分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据;
步骤4中对待预测数据进行归一化处理的具体方法为:
x'1=(x1-min1)/(max1-min1)×2-1
式中,x'1为归一化后的待预测数据,x1为待预测数据的特征值,min1为所有待预测数据中的最小特征值,max1为所有待预测数据中的最大特征值。
表1
表1为本实施例的具体结果,结合表1所示,dataMat表示所有新的气象数据为96861条,37列;其中前36列为新数据的气象特征,最后1列为能见度。
K表示支持向量机在能见度小于10km测试集上的分类准确率为91.5%;L表示支持向量机在能见度大于10km测试集上的分类准确率为99.4%。
test0表示决策树测试集中能见度小于10km的数据有3218条,test1表示决策树测试集中能见度大于10km的数据有24295条,train0表示决策树训练集中能见度小于10km的数据有3218条,train1表示决策树训练集中能见度大于10km的数据66130条。
m0表示决策树在能见度小于10km的测试集上平均绝对误差为4.73194210147km,m1表示决策树在能见度大于10km的测试集上平均绝对误差为5.55454873463km。
由表1可以看出,运用本发明的大气能见度预测方法,本实施例的支持向量机在能见度小于10km测试集上的分类准确率为91.5%,在能见度大于10km测试集上的分类准确率为99.4%。
Claims (7)
1.一种大气能见度预测方法,其特征在于,具体步骤为:
步骤1、根据收集的历年气象数据,构建新的气象数据集,具体构建方法为:
将连续两天的气象观测特征合并作为第三天的气象观测特征,并与第三天的能见度数据结合构成第三天的新气象数据,将所有的第三天的新气象数据构成新的气象数据集;
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤3、利用新的气象数据集训练决策树,得到决策树模型;
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机训练模型,由支持向量机训练模型分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据。
2.根据权利要求1所述的大气能见度预测方法,其特征在于,所述气象观测特征包括:08时地面压强,24小时地面变压,08时地面温度,24小时地面变温,08时地面湿度,850百帕湿度,700百帕湿度,14时湿度,上干下湿指数,08时水平方向分量的地面风速,08时垂直方向分量的地面风速,08时水平方向分量850百帕风速,08时垂直方向分量850百帕风速,风切变,850百帕与地面温度差,wrh,08时温度露点差,08时温度与14点露点差,其中,如果14时风速大于20时风速,wrh=14时风速/(14时湿度+10),如果14时风速小于20时风速,wrh=20时风速/(20时湿度+10)。
3.根据权利要求1所述的大气能见度预测方法,其特征在于,步骤2中利用新的气象数据集训练支持向量机,得到支持向量机训练模型,具体步骤为:
步骤2.1、将新的气象数据集分为能见度大于N km和小于N km两部分;
步骤2.2、分别在能见度大于N km和小于N km的气象数据中选取部分数据样本,组成支持向量机训练集;
步骤2.3、对支持向量机训练集进行归一化处理,得到归一化后的支持向量机训练集,具体归一化处理公式为:
x'=(x-min)/(max-min)×2-1
式中,x'为归一化后的数据样本,x为数据样本的特征值,min为所有数据样本中的最小特征值,max为所有数据样本中的特征最大值;
步骤2.4、用归一化之后的支持向量机训练集对支持向量机进行训练,得到支持向量机训练模型。
4.根据权利要求3所述的大气能见度预测方法,其特征在于,步骤2.2中选取的部分数据样本具体为:在能见度小于N km的新数据中,提取前1865个样本,在能见度大于N km的新数据中,在前30000个样本中隔15个样本提取1个样本。
5.根据权利要求1所述的大气能见度预测方法,其特征在于,步骤3中利用新的气象数据训练决策树,得到决策树模型,具体步骤为:
步骤3.1、将新的气象数据集分为能见度大于N km和能见度小于N km两部分;
步骤3.2、分别用能见度大于N km和能见度小于N km的气象数据训练决策树模型,得到能见度大于N km的决策树模型和能见度小于N km的决策树模型。
6.根据权利要求1所述的大气能见度预测方法,其特征在于,步骤4中对待预测数据进行归一化处理的具体公式为:
x′1=(x1-min1)/(max1-min1)×2-1
式中,x′1为归一化后的待预测数据,x1为待预测数据的特征值,min1为所有待预测数据中的最小特征值,max1为所有待预测数据中的最大特征值。
7.根据权利要求3~5任一所述的大气能见度预测方法,其特征在于,N=10km。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711238429.4A CN107942411B (zh) | 2017-11-30 | 2017-11-30 | 一种大气能见度预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711238429.4A CN107942411B (zh) | 2017-11-30 | 2017-11-30 | 一种大气能见度预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107942411A CN107942411A (zh) | 2018-04-20 |
CN107942411B true CN107942411B (zh) | 2020-04-17 |
Family
ID=61947004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711238429.4A Expired - Fee Related CN107942411B (zh) | 2017-11-30 | 2017-11-30 | 一种大气能见度预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107942411B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109979243A (zh) * | 2018-09-30 | 2019-07-05 | 大连永航科技有限公司 | 基于能见度信息的船舶进港优化调度系统 |
CN109374488B (zh) * | 2018-11-14 | 2021-06-29 | 国网安徽省电力有限公司电力科学研究院 | 用于分布式光伏电站雾霾天气能见度的预测方法 |
CN109543906B (zh) * | 2018-11-23 | 2024-04-16 | 长三角环境气象预报预警中心(上海市环境气象中心) | 一种大气能见度预测的方法及设备 |
CN109635865A (zh) * | 2018-12-07 | 2019-04-16 | 南京信息工程大学 | 一种基于分层表示学习的能见度预报方法 |
CN110298560B (zh) * | 2019-06-13 | 2022-12-06 | 南方科技大学 | 一种大气污染排放控制效果的评估方法、装置及存储介质 |
CN112070103B (zh) * | 2020-04-26 | 2021-04-30 | 河海大学 | 通过微波链路网格化自适应可变尺度反演大气能见度的方法 |
CN112257813A (zh) * | 2020-11-19 | 2021-01-22 | 中国民航信息网络股份有限公司 | 气象报文处理方法及装置、存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646534A (zh) * | 2013-11-22 | 2014-03-19 | 江苏大学 | 一种道路实时交通事故风险控制方法 |
CN105069654A (zh) * | 2015-08-07 | 2015-11-18 | 新一站保险代理有限公司 | 一种基于用户识别的网站实时/非实时营销投放方法及系统 |
CN105512799A (zh) * | 2015-11-26 | 2016-04-20 | 中国电力科学研究院 | 一种基于海量在线历史数据的电力系统暂态稳定评估方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5090955B2 (ja) * | 2008-02-13 | 2012-12-05 | 日本電信電話株式会社 | 発雷予測装置およびその方法、プログラム |
AU2013207551B2 (en) * | 2012-07-20 | 2015-12-17 | Tata Consultancy Services Limited | Method and system for adaptive forecast of wind resources |
CN103926634B (zh) * | 2014-03-12 | 2016-03-23 | 长江水利委员会长江科学院 | 一种基于面向对象分类的白天陆地辐射雾遥感监测方法 |
CN104517126A (zh) * | 2014-12-26 | 2015-04-15 | 北京邮电大学 | 一种基于图像分析的空气质量评估方法 |
CN105824878A (zh) * | 2016-03-08 | 2016-08-03 | 上海大学 | 基于支持向量机回归模型的产品推荐方法 |
CN107292098A (zh) * | 2017-06-15 | 2017-10-24 | 河海大学 | 基于前期气象因子与数据挖掘技术的中长期径流预报方法 |
-
2017
- 2017-11-30 CN CN201711238429.4A patent/CN107942411B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103646534A (zh) * | 2013-11-22 | 2014-03-19 | 江苏大学 | 一种道路实时交通事故风险控制方法 |
CN105069654A (zh) * | 2015-08-07 | 2015-11-18 | 新一站保险代理有限公司 | 一种基于用户识别的网站实时/非实时营销投放方法及系统 |
CN105512799A (zh) * | 2015-11-26 | 2016-04-20 | 中国电力科学研究院 | 一种基于海量在线历史数据的电力系统暂态稳定评估方法 |
Non-Patent Citations (1)
Title |
---|
Predicting Solar Generation from Weather Forecasts Using Machine Learning;Navin Sharma;《2011 IEEE International Conference on Smart Grid Communications》;20111215;正文1-6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107942411A (zh) | 2018-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107942411B (zh) | 一种大气能见度预测方法 | |
CN108491757B (zh) | 基于多尺度特征学习的光学遥感图像目标检测方法 | |
CN106127725B (zh) | 一种基于多分辨率cnn的毫米波雷达云图分割方法 | |
CN104298998B (zh) | 一种3d点云的数据处理方法 | |
CN105335692B (zh) | 一种轮胎x光图像检测识别方法及系统 | |
CN110333554B (zh) | Nriet暴雨智能相似分析方法 | |
CN111366931A (zh) | 一种基于云雷达的云降水精细化反演方法 | |
CN107169258A (zh) | 一种多源气象信息数据同化方法及其在降雨预报中的应用 | |
CN108981616B (zh) | 一种由无人机激光雷达反演人工林有效叶面积指数的方法 | |
Vibrans et al. | Height-diameter models for three subtropical forest types in southern Brazil | |
CN111160612A (zh) | 一种基于天气影响的离场航班延误分析及预测方法 | |
CN116912690A (zh) | 一种基于数据融合的森林叶面积指数反演获取方法和系统 | |
CN103886606A (zh) | 基于联合广义伽玛分布参数的sar图像分割方法 | |
CN113284369B (zh) | 一种基于ads-b实测航路数据的预测方法 | |
CN106202045B (zh) | 基于车联网的专项语音识别方法 | |
CN115980690A (zh) | 晴空回波识别模型构建方法、晴空回波滤波方法及装置 | |
Xie et al. | Research on vehicle detection in high resolution satellite images | |
CN115731560A (zh) | 一种基于深度学习的槽线识别方法、装置、存储介质及终端 | |
CN115188223A (zh) | 一种基于机场天气实况的飞机起降安全指数确定方法 | |
Pelletier et al. | An assessment of image features and random forest for land cover mapping over large areas using high resolution satellite image time series | |
CN104251691A (zh) | 森林林隙更新及叶片信息的大面积调查方法及其集成系统 | |
CN105184004A (zh) | 一种判断辛烷值模型维护更新的方法 | |
CN112698354A (zh) | 一种大气气溶胶与云的识别方法和系统 | |
CN113281716A (zh) | 一种光子计数激光雷达数据去噪方法 | |
Saha et al. | Forecast analysis of visibility for airport operations with deep learning techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200417 Termination date: 20211130 |