CN107942411B - 一种大气能见度预测方法 - Google Patents

一种大气能见度预测方法 Download PDF

Info

Publication number
CN107942411B
CN107942411B CN201711238429.4A CN201711238429A CN107942411B CN 107942411 B CN107942411 B CN 107942411B CN 201711238429 A CN201711238429 A CN 201711238429A CN 107942411 B CN107942411 B CN 107942411B
Authority
CN
China
Prior art keywords
data
visibility
support vector
vector machine
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711238429.4A
Other languages
English (en)
Other versions
CN107942411A (zh
Inventor
徐瑞
钱建军
杨健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201711238429.4A priority Critical patent/CN107942411B/zh
Publication of CN107942411A publication Critical patent/CN107942411A/zh
Application granted granted Critical
Publication of CN107942411B publication Critical patent/CN107942411B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Environmental & Geological Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种大气能见度预测方法,根据收集的历年气象数据,构建新的气象数据集;利用新的气象数据集训练支持向量机,得到支持向量机训练模型;利用新的气象数据集训练决策树,得到决策树模型;将待预测数据归一化处理后输入至训练过后的支持向量机训练模型,由支持向量机训练模型分类过后输入至相应的训练后的决策树模型,得到最终的大气能见度预测数据。本发明最终结合支持向量机和决策树,先进行一个初步的能见度分类然后精确预测出大气能见度。本发明操作简单,只需对历年气象观测数据稍作处理,训练模型,即可进行能见度的预测。

Description

一种大气能见度预测方法
技术领域
本发明涉及统计学习与气象领域,特别是一种大气能见度预测方法。
背景技术
在气象领域,能见度测报不仅用于日常气象部门的天气分析,更广泛用于高速公路、航空、航海等交通运输部门、军事等领域。
白天能见度是指视力正常的人在当时天气条件下,能从天空背景中看到和辨别出目标物轮廓的最大水平距离。能见度观测是判别视程障碍现象及强度的决定性参考依据,准确的能见度观测,能有力的保证交通运输业的正常进行;另一方面也是表征低层大气污染程度的一个重要的物理量。因此,观测好能见度意义十分重大。
能见度的观测一般分为目测和器测。目测一般为经过专业训练的测试员,在天气条件下,能够以天空为背景的情况下,看到目标物的最大水平距离。显然这种方法局限性很大,一方面跟气象站的地理条件以及参照物有关;另一方面,受测试人员主观判断的影响。器测法当前主要使用透射仪和向前散射仪等,向前散射客观性强,避免了目标物状况和主观因素影响,但是向前散射仪只是观测特定区域散射区气块的透明度,当气溶胶分布不均时,误差会很大;另外易受非气象因素的影响。现存的能见度测量方法主要存在硬件成本高,操作复杂度大,应用范围小等问题。
发明内容
本发明提出了一种大气能见度预测方法。
实现本发明的技术解决方案为:一种大气能见度预测方法,具体步骤为:
步骤1、根据收集的历年气象数据,构建新的气象数据集,具体构建方法为:
将连续两天的气象观测特征合并作为第二天的气象观测特征,并与第三天的能见度数据结合构成第二天的新气象数据,将所有的第二天的新气象数据构成新的气象数据集;
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤3、利用新的气象数据集训练决策树,得到决策树模型;
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机训练模型,由支持向量机训练模型分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据。
本发明与现有技术相比,其显著优点为:(1)本发明成本低,不需要高昂的设备费用;(2)本发明只需对历年气象观测数据稍作处理,训练模型,即可进行能见度的预测,操作简单;(3)本发明预测的能见度精度在5.15km左右,预测能见度的精度高。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明一种大气能见度预测方法的流程图。
具体实施方式
一种大气能见度预测方法,具体步骤为:
步骤1、根据气象站收集的历年气象数据,构建新的气象数据集,其中,历年气象数据包括气象观测特征和能见度数据,具体构建方法为:
将连续两天的气象观测特征合并作为第二天的气象观测特征,并与第三天的能见度数据结合构成第二天的新气象数据,将所有的第二天的新气象数据构成新的气象数据集;
进一步地,所述气象观测特征包括:08时地面压强,24小时地面变压,08时地面温度,24小时地面变温,08时地面湿度,850百帕湿度,700百帕湿度,14时湿度,上干下湿指数,08时水平方向分量的地面风速,08时垂直方向分量的地面风速,08时水平方向分量850百帕风速,08时垂直方向分量850百帕风速,风切变,850百帕与地面温度差,wrh,08时温度露点差,08时温度与14点露点差,其中,如果14时风速大于20时风速,wrh=14时风速/(14时湿度+10),如果14时风速小于20时风速,wrh=20时风速/(20时湿度+10)。
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤2.1、将新的气象数据集分为能见度大于N km和小于N km两部分;
进一步的实施例中,N=10km;
步骤2.2、分别在能见度大于N km和小于N km的气象数据中选取部分数据样本,组成支持向量机训练集;
进一步的实施例中,步骤2.2中选取的部分数据具体为:在能见度小于N km的新数据中,提取前1865个样本,在能见度大于N km的新数据中,在前30000个样本中隔15个样本提取1个样本;
步骤2.3、对支持向量机训练集进行归一化处理,得到归一化后的支持向量机训练集,具体处理公式为:
x'=(x-min)/(max-min)×2-1
式中,x'为归一化后的数据样本,x为数据样本的特征值,min为所有数据样本中的最小特征值,max为所有数据样本中的特征最大值;
步骤2.4、用归一化之后的支持向量机训练集对支持向量机进行训练,得到支持向量机训练模型,支持向量机参数设置为:C=10000,gamma=0.01,其他参数默认,其中参数C表示支持向量机的惩罚参数,C越大,说明越不能容忍出现误差,C越小,对误分类的惩罚越小,允许容错,将错误当成噪声点;参数gamma是核函数参数,隐含地决定了数据映射到新的特征空间后的分布,gamma越大,支持向量越少,gamma越小,支持向量越多;
步骤3、利用新的气象数据训练决策树,得到决策树模型;
步骤3.1、将新的气象数据集分为能见度大于N km和能见度小于N km两部分;
优选地,N=10km;
步骤3.2、分别用能见度大于N km和能见度小于N km的气象数据训练决策树模型,得到能见度大于N km的决策模型和能见度小于N km的决策树模型;
优选地,N=10km;
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机,由支持向量机分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据;
进一步的实施例中,步骤4中对待预测数据进行归一化处理的具体方法为:
x'1=(x1-min1)/(max1-min1)×2-1
式中,x'1为归一化后的待预测数据,x1为待预测数据的特征值,min1为所有待预测数据中的最小特征值,max1为所有待预测数据中的最大特征值
从而,相比于现在的能见度观测方法,本发明提出的大气能见度预测方法,极大的节约了成本,操作便捷,精确度较好。
下面结合实施例进行更详细的描述。
实施例1
步骤1、本实施例中,根据气象站点收集的2000年到2016年的气象观测数据,共96862条数据,将连续两天的气象观测特征合并作为第三天的气象观测特征,并与第三天的能见度数据结合构成第三天的新气象数据,将所有的第三天的新气象数据构成新的气象数据集。本实施例中的气象观测特征主要涉及到08时地面压强,24小时地面变压,08时地面温度,24小时地面变温,08时地面湿度,850百帕湿度,700百帕湿度,14时湿度,上干下湿指数,08时水平方向分量的地面风速,08时垂直方向分量的地面风速,08时水平方向分量850百帕风速,08时垂直方向分量850百帕风速,风切变,850百帕与地面温度差,wrh,08时温度露点差,08时温度与14点露点差,其中,如果14时风速大于20时风速,wrh=14时风速/(14时湿度+10),如果14时风速小于20时风速,wrh=20时风速/(20时湿度+10)。
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤2.1、将新的气象数据集分为能见度大于10km和小于10km两部分;
步骤2.2、在能见度小于10km的新数据中,提取前1865个数据样本,在能见度大于10km的新数据中,在前30000个数据样本中隔15个样本提取1个样本;
步骤2.3、对支持向量机训练集进行归一化处理,将特征值归一化到[-1,1]的区间内,得到归一化后的支持向量机训练集,具体处理公式为:
x'=(x-min)/(max-min)×2-1
式中,x'为归一化后的数据样本,x为数据样本的特征值,min为所有数据样本中的最小特征值,max为所有数据样本中的特征最大值;
步骤2.4、用归一化之后的支持向量机训练集对支持向量机进行训练,,得到支持向量机训练模型。支持向量机参数设置为:C=10000,gamma=0.01,其他参数默认,其中参数C表示支持向量机的惩罚参数,C越大,说明越不能容忍出现误差,C越小,对误分类的惩罚越小,允许容错,将错误当成噪声点;参数gamma是核函数参数,隐含地决定了数据映射到新的特征空间后的分布,gamma越大,支持向量越少,gamma越小,支持向量越多;
步骤3、利用新的气象数据训练决策树;
步骤3.1、将新的气象数据集分为能见度大于10km和能见度小于10km两部分。
步骤3.2、分别用能见度大于10km和能见度小于10km的气象数据训练决策树模型,得到能见度大于10km的决策模型和能见度小于10km的数据模型;
利用决策树回归模型,用两组象数据集分别训练决策树,其中能见度小于10km的决策树模型参数设置为默认参数,能见度大于10km的决策树模型参数设置为min_samples_leaf=5,min_samples_split=5,其他参数为默认值。其中min_samples_leaf表示叶子结点最少样本数,如果某叶子结点数目小于样本数,则会和兄弟节点一起被剪枝;min_samples_split表示内部节点再划分所需最小样本数,如果某节点的样本数小于该值,则不会继续再尝试选择最优特征来进行划分。
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机,由支持向量机分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据;
步骤4中对待预测数据进行归一化处理的具体方法为:
x'1=(x1-min1)/(max1-min1)×2-1
式中,x'1为归一化后的待预测数据,x1为待预测数据的特征值,min1为所有待预测数据中的最小特征值,max1为所有待预测数据中的最大特征值。
Figure BDA0001489449020000051
Figure BDA0001489449020000061
表1
表1为本实施例的具体结果,结合表1所示,dataMat表示所有新的气象数据为96861条,37列;其中前36列为新数据的气象特征,最后1列为能见度。
K表示支持向量机在能见度小于10km测试集上的分类准确率为91.5%;L表示支持向量机在能见度大于10km测试集上的分类准确率为99.4%。
test0表示决策树测试集中能见度小于10km的数据有3218条,test1表示决策树测试集中能见度大于10km的数据有24295条,train0表示决策树训练集中能见度小于10km的数据有3218条,train1表示决策树训练集中能见度大于10km的数据66130条。
m0表示决策树在能见度小于10km的测试集上平均绝对误差为4.73194210147km,m1表示决策树在能见度大于10km的测试集上平均绝对误差为5.55454873463km。
由表1可以看出,运用本发明的大气能见度预测方法,本实施例的支持向量机在能见度小于10km测试集上的分类准确率为91.5%,在能见度大于10km测试集上的分类准确率为99.4%。

Claims (7)

1.一种大气能见度预测方法,其特征在于,具体步骤为:
步骤1、根据收集的历年气象数据,构建新的气象数据集,具体构建方法为:
将连续两天的气象观测特征合并作为第三天的气象观测特征,并与第三天的能见度数据结合构成第三天的新气象数据,将所有的第三天的新气象数据构成新的气象数据集;
步骤2、利用新的气象数据集训练支持向量机,得到支持向量机训练模型;
步骤3、利用新的气象数据集训练决策树,得到决策树模型;
步骤4、将待预测数据归一化处理后输入至训练过后的支持向量机训练模型,由支持向量机训练模型分类过后输入至相应的训练后的决策树模型,训练后的决策树模型输出最终的大气能见度预测数据。
2.根据权利要求1所述的大气能见度预测方法,其特征在于,所述气象观测特征包括:08时地面压强,24小时地面变压,08时地面温度,24小时地面变温,08时地面湿度,850百帕湿度,700百帕湿度,14时湿度,上干下湿指数,08时水平方向分量的地面风速,08时垂直方向分量的地面风速,08时水平方向分量850百帕风速,08时垂直方向分量850百帕风速,风切变,850百帕与地面温度差,wrh,08时温度露点差,08时温度与14点露点差,其中,如果14时风速大于20时风速,wrh=14时风速/(14时湿度+10),如果14时风速小于20时风速,wrh=20时风速/(20时湿度+10)。
3.根据权利要求1所述的大气能见度预测方法,其特征在于,步骤2中利用新的气象数据集训练支持向量机,得到支持向量机训练模型,具体步骤为:
步骤2.1、将新的气象数据集分为能见度大于N km和小于N km两部分;
步骤2.2、分别在能见度大于N km和小于N km的气象数据中选取部分数据样本,组成支持向量机训练集;
步骤2.3、对支持向量机训练集进行归一化处理,得到归一化后的支持向量机训练集,具体归一化处理公式为:
x'=(x-min)/(max-min)×2-1
式中,x'为归一化后的数据样本,x为数据样本的特征值,min为所有数据样本中的最小特征值,max为所有数据样本中的特征最大值;
步骤2.4、用归一化之后的支持向量机训练集对支持向量机进行训练,得到支持向量机训练模型。
4.根据权利要求3所述的大气能见度预测方法,其特征在于,步骤2.2中选取的部分数据样本具体为:在能见度小于N km的新数据中,提取前1865个样本,在能见度大于N km的新数据中,在前30000个样本中隔15个样本提取1个样本。
5.根据权利要求1所述的大气能见度预测方法,其特征在于,步骤3中利用新的气象数据训练决策树,得到决策树模型,具体步骤为:
步骤3.1、将新的气象数据集分为能见度大于N km和能见度小于N km两部分;
步骤3.2、分别用能见度大于N km和能见度小于N km的气象数据训练决策树模型,得到能见度大于N km的决策树模型和能见度小于N km的决策树模型。
6.根据权利要求1所述的大气能见度预测方法,其特征在于,步骤4中对待预测数据进行归一化处理的具体公式为:
x′1=(x1-min1)/(max1-min1)×2-1
式中,x′1为归一化后的待预测数据,x1为待预测数据的特征值,min1为所有待预测数据中的最小特征值,max1为所有待预测数据中的最大特征值。
7.根据权利要求3~5任一所述的大气能见度预测方法,其特征在于,N=10km。
CN201711238429.4A 2017-11-30 2017-11-30 一种大气能见度预测方法 Expired - Fee Related CN107942411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711238429.4A CN107942411B (zh) 2017-11-30 2017-11-30 一种大气能见度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711238429.4A CN107942411B (zh) 2017-11-30 2017-11-30 一种大气能见度预测方法

Publications (2)

Publication Number Publication Date
CN107942411A CN107942411A (zh) 2018-04-20
CN107942411B true CN107942411B (zh) 2020-04-17

Family

ID=61947004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711238429.4A Expired - Fee Related CN107942411B (zh) 2017-11-30 2017-11-30 一种大气能见度预测方法

Country Status (1)

Country Link
CN (1) CN107942411B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109979243A (zh) * 2018-09-30 2019-07-05 大连永航科技有限公司 基于能见度信息的船舶进港优化调度系统
CN109374488B (zh) * 2018-11-14 2021-06-29 国网安徽省电力有限公司电力科学研究院 用于分布式光伏电站雾霾天气能见度的预测方法
CN109543906B (zh) * 2018-11-23 2024-04-16 长三角环境气象预报预警中心(上海市环境气象中心) 一种大气能见度预测的方法及设备
CN109635865A (zh) * 2018-12-07 2019-04-16 南京信息工程大学 一种基于分层表示学习的能见度预报方法
CN110298560B (zh) * 2019-06-13 2022-12-06 南方科技大学 一种大气污染排放控制效果的评估方法、装置及存储介质
CN112070103B (zh) * 2020-04-26 2021-04-30 河海大学 通过微波链路网格化自适应可变尺度反演大气能见度的方法
CN112257813A (zh) * 2020-11-19 2021-01-22 中国民航信息网络股份有限公司 气象报文处理方法及装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646534A (zh) * 2013-11-22 2014-03-19 江苏大学 一种道路实时交通事故风险控制方法
CN105069654A (zh) * 2015-08-07 2015-11-18 新一站保险代理有限公司 一种基于用户识别的网站实时/非实时营销投放方法及系统
CN105512799A (zh) * 2015-11-26 2016-04-20 中国电力科学研究院 一种基于海量在线历史数据的电力系统暂态稳定评估方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5090955B2 (ja) * 2008-02-13 2012-12-05 日本電信電話株式会社 発雷予測装置およびその方法、プログラム
AU2013207551B2 (en) * 2012-07-20 2015-12-17 Tata Consultancy Services Limited Method and system for adaptive forecast of wind resources
CN103926634B (zh) * 2014-03-12 2016-03-23 长江水利委员会长江科学院 一种基于面向对象分类的白天陆地辐射雾遥感监测方法
CN104517126A (zh) * 2014-12-26 2015-04-15 北京邮电大学 一种基于图像分析的空气质量评估方法
CN105824878A (zh) * 2016-03-08 2016-08-03 上海大学 基于支持向量机回归模型的产品推荐方法
CN107292098A (zh) * 2017-06-15 2017-10-24 河海大学 基于前期气象因子与数据挖掘技术的中长期径流预报方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646534A (zh) * 2013-11-22 2014-03-19 江苏大学 一种道路实时交通事故风险控制方法
CN105069654A (zh) * 2015-08-07 2015-11-18 新一站保险代理有限公司 一种基于用户识别的网站实时/非实时营销投放方法及系统
CN105512799A (zh) * 2015-11-26 2016-04-20 中国电力科学研究院 一种基于海量在线历史数据的电力系统暂态稳定评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Predicting Solar Generation from Weather Forecasts Using Machine Learning;Navin Sharma;《2011 IEEE International Conference on Smart Grid Communications》;20111215;正文1-6页 *

Also Published As

Publication number Publication date
CN107942411A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN107942411B (zh) 一种大气能见度预测方法
CN108491757B (zh) 基于多尺度特征学习的光学遥感图像目标检测方法
CN106127725B (zh) 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN104298998B (zh) 一种3d点云的数据处理方法
CN105335692B (zh) 一种轮胎x光图像检测识别方法及系统
CN110333554B (zh) Nriet暴雨智能相似分析方法
CN111366931A (zh) 一种基于云雷达的云降水精细化反演方法
CN107169258A (zh) 一种多源气象信息数据同化方法及其在降雨预报中的应用
CN108981616B (zh) 一种由无人机激光雷达反演人工林有效叶面积指数的方法
Vibrans et al. Height-diameter models for three subtropical forest types in southern Brazil
CN111160612A (zh) 一种基于天气影响的离场航班延误分析及预测方法
CN116912690A (zh) 一种基于数据融合的森林叶面积指数反演获取方法和系统
CN103886606A (zh) 基于联合广义伽玛分布参数的sar图像分割方法
CN113284369B (zh) 一种基于ads-b实测航路数据的预测方法
CN106202045B (zh) 基于车联网的专项语音识别方法
CN115980690A (zh) 晴空回波识别模型构建方法、晴空回波滤波方法及装置
Xie et al. Research on vehicle detection in high resolution satellite images
CN115731560A (zh) 一种基于深度学习的槽线识别方法、装置、存储介质及终端
CN115188223A (zh) 一种基于机场天气实况的飞机起降安全指数确定方法
Pelletier et al. An assessment of image features and random forest for land cover mapping over large areas using high resolution satellite image time series
CN104251691A (zh) 森林林隙更新及叶片信息的大面积调查方法及其集成系统
CN105184004A (zh) 一种判断辛烷值模型维护更新的方法
CN112698354A (zh) 一种大气气溶胶与云的识别方法和系统
CN113281716A (zh) 一种光子计数激光雷达数据去噪方法
Saha et al. Forecast analysis of visibility for airport operations with deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200417

Termination date: 20211130