CN109407177A - 基于机器学习与常规气象观测的大雾识别系统和应用方法 - Google Patents
基于机器学习与常规气象观测的大雾识别系统和应用方法 Download PDFInfo
- Publication number
- CN109407177A CN109407177A CN201811200871.2A CN201811200871A CN109407177A CN 109407177 A CN109407177 A CN 109407177A CN 201811200871 A CN201811200871 A CN 201811200871A CN 109407177 A CN109407177 A CN 109407177A
- Authority
- CN
- China
- Prior art keywords
- dense fog
- visibility
- machine learning
- data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Image Processing (AREA)
Abstract
基于机器学习与常规气象观测的大雾识别系统,包括PC机内用户交互模块、地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块。基于机器学习与常规气象观测的大雾识别系统的应用方法,包括9个步骤对范围1km格点的大雾进行实时监测,并为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑。本发明可以减少能见度仪布设的巨额成本,能通过有效监测大雾(包括团雾)而减少大雾(包括团雾)灾害带来的损失,从而极大的保证了交通道路安全。基于上述,所以本发明具有很好的应用前景。
Description
技术领域
本发明涉及数据分析系统和应用方法领域,特别是一种基于机器学习与常规气象观测的大雾识别系统和应用方法。
背景技术
大雾是空气水平能见度小于200米的天气现象,它反映了人眼透过大气可辨识物体的最远距离,也是间接描述大气污染程度的一个重要参量。大雾多发生在冬季,给交通运输安全带来了严重影响。在我国大雾是影响交通通行比较常见的灾害性天气之一,其具有出现几率高、发生范围广、危害程度大的特点。从全国高速公路低能见度灾害风险评估结果看,我国所有陆地区域均会发生,其中以华北、华东、华中、华南、西南地区东部、西北地区东部最容易发生,而这些地区又是我国交通网较密集的区域,低能见度给我国造成了严重的交通气象灾害。
雾主要成因是在水气充足、微风及大气层稳定的情况下,当接近地面的空气冷却至某种程度时,空气中的水气便会凝结成细微的水滴悬浮于空中。雾的生成与空气温度、地面温度、相对湿度、风速、风向和太阳辐射等因素之间存在非线性关系,生成得特别突然,轻雾在数分钟内就能变成浓雾。此外,复杂地形地貌导致局部区域容易发生团雾;对局部区域团雾的预报是个国际性难题,这也为相关部门基于能见度实况进行大雾预警和道路封闭管控带来了困难。
全国范围都会有雾发生,但全国布设的能见度仪非常稀疏,难以及时观测到大雾分布,而且对于局地团雾则基本没有探测能力。能见度仪的布设存在较高的仪器购置和维护成本,使得大规模监测大雾天气成为瓶颈。另一方面,虽然利用气象卫星可以在没有云的情况下探测到雾区,但无法获知雾区内的水平能见度分布情况,而能见度从几米到1公里的团雾,卫星难以区分,而团雾实际危害程度却差别非常大,尤其是能见度小于200米的团雾,对车量安全通行有非常重要的影响。
发明内容
为了克服现有能见度仪、气象卫星监测雾天存在的技术障碍,无法有效识别团雾,由此容易导致交通事故发生的弊端,本发明提供了有效利用常规气象站观测资料和静止气象卫星遥感数据资料,利用机器学习技术研究能见度与温度、相对湿度、风速、风向、降水量和水汽压等常规气象观测要素之间的非线性关系(机器学习技术也就是PC机内安装的相关处理软件对各种数据进行学习处理的技术),利用PC机内软件深度神经网格模型、基于大数据技术实现基于常规气象观测资料来估计雾天下能见度,同时将静止气象卫星多通道遥感信息也输入到机器学习模型当中,快速实现大雾监测,并可以根据需求实现1~30分钟的更新频次,能实现对局部突发性团雾实现有效监测,为相关部门基于更密集的能见度实况分布数据进行道路大雾天气管控带来便利,并有效减少了交通事故的一种基于机器学习与常规气象观测的大雾识别系统和应用方法。
本发明解决其技术问题所采用的技术方案是:
基于机器学习与常规气象观测的大雾识别系统,其特征在于包括PC机内用户交互模块、地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块。
所述用户交互模块,主要功能是完成各种数据导入,分析平台与用户的数据输入输出、气象观测数据的加载、智能法算库、雾分级标准,并为地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块提供技术支撑。
所述地面气象观测信息处理模块,主要功能是确定地面气象观测站工作区域,自动接收提取工作区域的分钟级气象观测信息,自动录入空间属性数据库,气象观测数据有效性判识,气象观测数据空间一致性分析,并将无效数据过滤,提取的数据包括所需区域的温度、相对湿度、风速、风向、降水量、水汽压、10分钟能见度。
所述气象卫星遥感数据处理模块,工作时完成气象卫星遥感影像的接收和处理,具有功能以下,(A):选定气象卫星类型,模块支持葵花卫星和风云四号气象卫星的数据接收和处理,支持输入起始日期,读取期间的气象卫星数据,能进行辐射校正、投影转换、空间重采样、区域切割和空间匹配;(B):支持输入中心波长在12.3μm左右通道数据后自动生成云顶温度指数,不同数值的指数代表云的高度,有利于区分低云和雾,能按时间进行白天和夜晚2种模式气象卫星数据的自动划分;(C):提取波长在3.9μm、10.4μm、11.4μm和12.3μm左右的遥感影像接收的红外通道数据。
所述基于机器学习的大雾识别训练模块,工作时提取地面常规气象观测站点处观测的温度、相对湿度、风速、风向、降水量、水汽压和能见度数据,并从气象卫星遥感信息中提取所在气象观测站点处的静止气象卫星3.9μm、10.4μm、11.4μm和12.3μm左右的红外通道数据,同时提取云顶温度指数数据,提取有能见度观测的记录,取80%的样本做为训练样本T,取20%的数据做为检验样本C,提取没有能见度观测的记录,做为能见度估测样本E,在机器学习Tensorflow(是谷歌基于DistBelief进行研发的第二代人工智能学习系统)库的支持下,实现基于深度神经网格的大雾识别的学习和训练;具体功能如下,(A):深度神经网络模型选择;(B):神经网格层次设置;(C):参数设置,目标函数参数设置,搜索算法参数设置;(D):GPU(图形处理器)与CPU(中央处理器)设置;(E):针对训练样本T进行训练操作;(F):绘图操作。
所述的基于机器学习的大雾估算模块,主要功能是根据基于机器学习的大雾识别训练模块的训练结果,针对能见度估测样本E,对没有能见度但有常气象观测的气象站点位置进行能见度估算。
所述的基于RBF网络(即径向基函数神经网络,英文全称Radical BasisFunction)的能见度栅格化模块,主要功能是针对所有地面气象站点上观测或估算的能见度点状分布数据,进行能见度的空间插值,生成1km网格的目标区域10分钟间隔能见度空间分布数据。
基于机器学习与常规气象观测的大雾识别系统的应用方法,其特征在于包括如下9个步骤对范围1km格点的大雾进行实时监测,并为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑,(1):通过地面气象观测信息处理模块对地面气象观测站的气象观测数据进行处理和分析;(2):通过气象卫星遥感数据处理模块对基于静止卫星的中红外和分裂窗温度通道进行处理,并对云顶温度指数进行计算;(3):通过地面气象观测信息处理模块剔除无效记录和异常站点,根据用户输入的时间间隔T0提取能见度并计算以T0为步长的能见度的平均值;(4):通过基于机器学习的大雾识别训练模块生成训练样本、检验样本和估测样本,进行深度学习模型训练;(5):通过基于机器学习的大雾识别训练模块建立基于机器学习的大雾识别模型并进行训练;(6):通过基于机器学习的大雾估算模块对没有能见度的气象观测站点位置的能见度进行估算;(7):通过大雾估算检验模块,计算大雾估算的TS评分;(8):通过基于RBF网络的能见度栅格化模块将大雾估算模块估算的气象观测站点的点状要素、插值为空间上1km格点分辨率的10分钟间隔能见度空间分布数据,实时给出大雾监测信息,输出不同的实时大雾监测信息数据供相关单位使用,为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑;(9):通过接口服务模块,提供接口服务,输入常规气象观测数据和静止气象卫星遥感数据,返回大雾监测结果。
本发明有益效果是:本发明提供了基于地面气象站观测的常规气象要素来估算能见度,并结合高时间分辨率静止气象卫星数据,在PC机内用户交互模块、地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块共同作用下,有效利用大数据和机器(PC机)学习技术,快速实现基于常规地面气象观测和静止气象卫星的大雾信息自动提取,并可以根据需求实现1~30分钟的更新频次,即可以实现对分钟级间隔的能见度进行估算,能实现对局突发性短历时团雾实现有效监测。本发明中,考虑到全国建设有6万多个常规气象多要素自动观测站,而能见度观测点只有3000多个,利用本发明可以实现每个常规气象站位置都有1~30分钟间隔的能见度估算值,相当于每个常规气象观测位置处就有一个能见度探测仪,有效提高了现有能见度观测点利用效率。本发明可以减少能见度仪布设的巨额成本,能通过有效监测大雾(包括团雾)而减少大雾(包括团雾)灾害带来的损失,从而极大的保证了交通道路安全。本发明输入的常规气象资料和静止气象卫星资料都是免费的,而且静止气象卫星目前还有业务化实时免费共享的我国风云四号气象卫星和日本葵花8号气象卫星的数据,这2个静止卫星都是业务卫星并有不断的后续星做为替代和补充,所以本发明基于的数据是长久有效的,而且本发明的系统软件自带这些卫星资料的处理算法和模块,工作更为可靠。基于上述,所以本发明具有很好的应用前景。
附图说明
下面结合附图和实施例对本发明做进一步说明。
图1是本发明基于机器学习与常规气象观测的大雾识别系统构成框图。
图2是本发明基于机器学习与常规气象观测的大雾识别系统的应用方法工作流程框图。
图3是本发明基于机器学习与常规气象观测的大雾识别系统的应用方法中关于能见度估算与实际观测值的对比图。
图4是基于机器学习与常规气象观测的大雾识别系统的应用方法中输出的以山东省为例的实时大雾监测结果空间分布图。
具体实施方式
图1中所示,基于机器学习与常规气象观测的大雾识别系统,包括PC机内用户交互模块、地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块。
图1中所示,用户交互模块,主要功能是完成各种数据导入,分析平台与用户的数据输入输出、气象观测数据的加载、智能法算库、雾分级标准,并为地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块提供技术支撑。地面气象观测信息处理模块,主要功能是确定地面气象观测站工作区域,自动接收提取工作区域的分钟级气象观测信息,自动录入空间属性数据库,气象观测数据有效性判识,气象观测数据空间一致性分析,并将无效数据过滤,提取的数据包括所需区域的温度、相对湿度、风速、风向、降水量、水汽压、10分钟能见度。气象卫星遥感数据处理模块,工作时完成气象卫星遥感影像的接收和处理,具有功能以下,(A):选定气象卫星类型,模块支持葵花卫星和风云四号气象卫星的数据接收和处理,支持输入起始日期,读取期间的气象卫星数据,能进行辐射校正、投影转换、空间重采样、区域切割和空间匹配;(B):支持输入中心波长在12.3μm左右通道数据后自动生成云顶温度指数,不同数值的指数代表云的高度,有利于区分低云和雾,能按时间进行白天和夜晚2种模式气象卫星数据的自动划分;(C):提取波长在3.9μm、10.4μm、11.4μm和12.3μm左右的遥感影像接收的红外通道数据。基于机器学习的大雾识别训练模块,工作时提取地面常规气象观测站点处观测的温度、相对湿度、风速、风向、降水量、水汽压和能见度数据,并从气象卫星遥感信息中提取所在气象观测站点处的静止气象卫星3.9μm、10.4μm、11.4μm和12.3μm左右的红外通道数据,同时提取云顶温度指数数据,提取有能见度观测的记录,取80%的样本做为训练样本T,取20%的数据做为检验样本C,提取没有能见度观测的记录,做为能见度估测样本E,在机器学习Tensorflow(是谷歌基于DistBelief进行研发的第二代人工智能学习系统)库的支持下,实现基于深度神经网格的大雾识别的学习和训练;具体功能如下,(A):深度神经网络模型选择;(B):神经网格层次设置;(C):参数设置,目标函数参数设置,搜索算法参数设置;(D):GPU(图形处理器)与CPU(中央处理器)设置;(E):针对训练样本T进行训练操作;(F):绘图操作。基于机器学习的大雾估算模块,主要功能是根据基于机器学习的大雾识别训练模块的训练结果,针对能见度估测样本E,对没有能见度但有常气象观测的气象站点位置进行能见度估算。基于RBF网络(即径向基函数神经网络,英文全称Radical Basis Function)的能见度栅格化模块,主要功能是针对所有地面气象站点上观测或估算的能见度点状分布数据,进行能见度的空间插值,生成1km网格的目标区域10分钟间隔能见度空间分布数据。
图2中所示,基于机器学习与常规气象观测的大雾识别系统的应用方法,包括如下9个步骤对范围1km格点的大雾进行实时监测,并为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑。
(1):通过地面气象观测信息处理模块,对气象观测数据进行处理和分析;对确定区域内的所有分钟级地面气象观测站点、观测的资料进行处理,剔除无效记录和异常站点,设置最大容忍缺测项目的数量,以最大程度的利用观测数据,提取分钟级观测的气温、相对湿度、风速、风向、降水量和水汽压观测值,根据用户输入的时间间隔T0计算以T0为步长的气温、相对湿度和风速的平均值,对于风向取出以频次最高的风向作为T0期间内的风向,对分钟级观测的降水量按时间间隔T0进行时间分段累加。
(2):通过气象卫星遥感数据处理模块,对基于静止卫星的中红外和分裂窗温度通道进行处理,并对云顶温度指数进行计算;处理时分别获取风云四号A星以及日本葵花8号卫星共计2颗静止气象卫星的实时探测资料,进行辐射定标和投影转换,并针对目标区域进行影像切割,切出各通道的可见光反射率和红外亮温数据。
(3):通过地面气象观测信息处理模块,对确定区域内所有气象站观测的能见度资料进行实时分析,剔除无效记录和异常站点,根据用户输入的时间间隔T0提取能见度并计算以T0为步长的能见度的平均值。
(4):通过基于机器学习的大雾识别训练模块,生成训练样本、检验样本和估测样本,进行深度学习模型训练;针对第(1)、(2)、(3)步骤所获得的地面常气象数据、能见度观测数据和静止气象卫星多通道数据,根据时间和地点对数据中不同的数据项进行合并,提取常规地面气象观测站点处气象站观测的温度、相对湿度、风速、风向、降水量、水汽压和能见度数据,并从遥感信息中提取气象观测站点处的静止气象卫星3.9μm、10.4μm、11.4μm和12.3μm左右的红外通道数据,同时提取云顶温度指数数据;提取有能见度观测的记录,取80%的样本做为训练样本T,取20%的数据做为检验样本C;提取没有能见度观测的记录,做为能见度估测样本E。
(5):通过基于机器学习的大雾识别训练模块,建立基于机器学习的大雾识别模型并进行训练;针对第(4)步骤所获取的训练样本,将气温、相对湿度、风速、风向、降水量、水汽压、静止气象卫星3.9μm、10.4μm、11.4μm和12.3μm左右的红外通道数据做为共10个特征的X数据,将能见度做为Y;搭建深度神经网络识别雾区,具体过程如下:Step1:对Y数据进行前处理,通过转换函数进行正态化;Step2:进行重采样来平衡不同能见度样本数量;Step3:对X数据中的NaN数据进行负值处理,统计每条记录NaN样本的数量,当超过设定的阈值时,删除该条记录;Step4:建立深度神经网络,10个特征输入节点和1个输出节点构建回归型随机森林(RandomForest)网络;Step5:设定目标函数和搜索算法;Step6:进行迭代训练;Step7:基于训练参数,对所有训练样本进行能见度估算。
(6):通过基于机器学习的大雾估算模块,对没有能见度的地面气象观测站点位置的能见度进行估算;在检验集上对能见度进行估计,并依据估计值和实测值进行识别准确率评价;当用户提供了地面气象观测站点能见度观测的历史数据和同期气象卫星数据时,调用步骤(5)对没有能见度观测但有常规气象观测的站点位置进行能见度估计;当用户没有提供能见度历史观测数据时,可以根据系统自带的全国能见度分区训练参数进行操作,直接针对实时的常规气象观测数据和气象卫星数据进行能见度估计。(图3显示了在训练集和测试集上能见度实况与估算值的对比情况。)
(7):过大雾估算检验模块,计算大雾估算的TS评分;利用第(5)步骤搭建并训练好的机器学习模型及其参数,针对测试集C样本进行能见度估计,得到能见度Vc,将其与测试集里能见度的实际观测值进行对比,计算TS评分;当TS评分没有达到设定的值时,表明步骤(1)-(5)还存在问题,特别是数据的日期、内容、卫星资料量纲等与实际情况不一致,此时要进行数据处理过程修正和检查,确定与系统提供的样例文件一致,再次重启步骤(1)-(5),直至得到合适的评分。
(8):通过基于RBF网络的能见度栅格化模块,将大雾估算模块估算的气象观测站点的点状要素、插值为空间上1km格点分辨率的10分钟间隔能见度空间分布数据,实时给出大雾监测信息;通过步骤(6)实现了对所有没有能见度、但有常规气象观测的站点位置处能见度的实时估算,估算结果在空间上是点状分布;当用户指定了空间范围和输出网格大小后,调用RBF栅格化模块,就通过最优化插值生成netCDF格式的网格化能见度实况值;输出不同的实时大雾监测信息数据供相关单位使用,为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑。(图4显示了基于RBF方法将能见度离散值插值为空间连续分布结果。)
(9):通过接口服务模块,提供接口服务,输入常规气象观测数据和静止气象卫星遥感数据,返回大雾监测结果。
图1、2中,本发明实际操作中步骤如下。
当用户能经地面气象观测信息处理模块,获取到能见度历史观测数据时,且能见度观测与常规的气温、相对湿度、风速、风向、降水量、水汽压在空间上相匹配,则按照“再训练”或“重新训练”模式进行操作,否则按“缺省训练”模式进行操作。“再训练”模式是指用户可以在本系统已经针对全国进行训练的基础上,不改变本系统提供的机器学习模型及已有设置,只通过增加训练样本来完善现有模型的性能。“重新训练”模式是指用户不需要本系统已经针对全国进行的训练,用户独立地重新根据本系统的模型进行基于机器学习和常规气象资料的能见度训练。“缺省训练”模式是指用户无法提供历史的能见度和常规气象观测资料,用户无法输入有效数据来进行训练,此时可以利用本系统已经针对全国训练好的模型和参数,用户只需要输入实时的常规气象观测资料即可进行实况能见度的估算。
“重新训练”模式下,操作过程如下,1:用户通过地面气象观测信息处理模块,收集过去的气温、相对湿度、风速、风向、降水量、水汽压、能见度和静止气象卫星遥感资料;2:通过地面气象观测信息处理模,进行气象观测数据的处理;3:通过气象卫星遥感数据处理模块,进行静止气象卫星资料的获取、几何校正、投影转换和切割,进行云顶温度计算;4:通过基于机器学习的大雾识别训练模块,进行针对机器学习训练的样本生成,并拆分为训练样本和检验样本;5:通过基于机器学习的大雾识别训练模块,建立基于机器学习的大雾识别模型,进行训练并保存模型参数文件;6:用户收集实时的常规气象观测和静止气象卫星遥感监测资料,进行实时处理后运行训练好的机器学习模型,进行基于机器学习的大雾估算;7:通过大雾估算检验模块,计算大雾估算的TS评分,通过TS评分标准后继续,否则重新回到步骤1;8:将计算出的站点能见度插值到格点,输出不同的实时大雾监测信息数据供相关单位使用,为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑。
“再训练”模式下,操作过程如下,1:通过地面气象观测信息处理模块,用户收集过去的气温、相对湿度、风速、风向、降水量、水汽压、能见度和静止气象卫星遥感资料;2:通过气象卫星遥感数据处理模块,进行气象观测数据的处理;3:通过气象卫星遥感数据处理模块,进行静止气象卫星资料的获取、几何校正、投影转换和切割,进行云顶温度计算;4:通过基于机器学习的大雾识别训练模块,进行针对机器学习训练的样本生成,并拆分为训练样本和检验样本;5:通过基于机器学习的大雾识别训练模块,根据确定的区域从系统自带信息中选取相应区域已经训练好的模型文件,选择在现有模型的基础上再次训练,进行训练并保存模型参数为新文件,尽量不要覆盖系统自带的参数文件;6:通过基于机器学习的大雾估算模块,用户收集实时的常规气象观测和静止气象卫星遥感监测资料,进行实时处理后调用新训练的模型进行基于机器学习的大雾估算;7:通过大雾估算检验模块,计算大雾估算的TS评分,通过TS评分标准后继续,否则重新回到步骤1;8:通过基于RBF网络的能见度栅格化模块,将计算出的站点能见度插值到格点;输出不同的实时大雾监测信息数据供相关单位使用,为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑。
缺省训练”模式下,操作过程如下,1:通过地面气象观测信息处理模块,用户收集实时的常规气象观测和静止气象卫星遥感监测资料,进行处理;2:通过基于机器学习的大雾识别训练模块,根据确定的区域从系统自带信息中选取相应区域已经训练好的模型文件;3:通过基于机器学习的大雾估算模块,进行基于机器学习的大雾估算;3:通过基于RBF网络的能见度栅格化模块,将计算出的站点能见度插值到格点;输出不同的实时大雾监测信息数据供相关单位使用,为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑。
本发明提供了基于地面气象站观测的常规气象要素来估算能见度,并结合高时间分辨率静止气象卫星数据,在PC机内用户交互模块、地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块共同作用下,有效利用大数据和机器(PC机)学习技术,快速实现基于常规地面气象观测和静止气象卫星的大雾信息自动提取,并可以根据需求实现1~30分钟的更新频次,即可以实现对分钟级间隔的能见度进行估算,能实现对局突发性短历时团雾实现有效监测。本发明中,考虑到全国建设有6万多个常规气象多要素自动观测站,而能见度观测点只有3000多个,利用本发明可以实现每个常规气象站位置都有1~30分钟间隔的能见度估算值,相当于每个常规气象观测位置处就有一个能见度探测仪,有效提高了现有能见度观测点利用效率。本发明可以减少能见度仪布设的巨额成本,能通过有效监测大雾(包括团雾)而减少大雾(包括团雾)灾害带来的损失,从而极大的保证了交通道路安全。本发明输入的常规气象资料和静止气象卫星资料都是免费的,而且静止气象卫星目前还有业务化实时免费共享的我国风云四号气象卫星和日本葵花8号气象卫星的数据,这2个静止卫星都是业务卫星并有不断的后续星做为替代和补充,所以本发明基于的数据是长久有效的,而且本发明的系统软件自带这些卫星资料的处理算法和模块,工作更为可靠。基于上述,所以本发明具有很好的应用前景。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点,对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.基于机器学习与常规气象观测的大雾识别系统,其特征在于包括PC机内用户交互模块、地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块。
2.根据权利要求1所述的基于机器学习与常规气象观测的大雾识别系统,其特征在于用户交互模块,主要功能是完成各种数据导入,分析平台与用户的数据输入输出、气象观测数据的加载、智能法算库、雾分级标准,并为地面气象观测信息处理模块、气象卫星遥感数据处理模块、基于机器学习的大雾识别训练模块、基于机器学习的大雾估算模块、基于RBF网络的能见度栅格化模块、大雾估算检验模块、接口服务模块提供技术支撑。
3.根据权利要求1所述的基于机器学习与常规气象观测的大雾识别系统,其特征在于地面气象观测信息处理模块,主要功能是确定地面气象观测站工作区域,自动接收提取工作区域的分钟级气象观测信息,自动录入空间属性数据库,气象观测数据有效性判识,气象观测数据空间一致性分析,并将无效数据过滤,提取的数据包括所需区域的温度、相对湿度、风速、风向、降水量、水汽压、10分钟能见度。
4.根据权利要求1所述的基于机器学习与常规气象观测的大雾识别系统,其特征在于气象卫星遥感数据处理模块,工作时完成气象卫星遥感影像的接收和处理,具有功能以下,(A):选定气象卫星类型,模块支持葵花卫星和风云四号气象卫星的数据接收和处理,支持输入起始日期,读取期间的气象卫星数据,能进行辐射校正、投影转换、空间重采样、区域切割和空间匹配;(B):支持输入中心波长在12.3μm左右通道数据后自动生成云顶温度指数,不同数值的指数代表云的高度,有利于区分低云和雾,能按时间进行白天和夜晚2种模式气象卫星数据的自动划分;(C):提取波长在3.9μm、10.4μm、11.4μm和12.3μm左右的遥感影像接收的红外通道数据。
5.根据权利要求1所述的基于机器学习与常规气象观测的大雾识别系统,其特征在于基于机器学习的大雾识别训练模块,工作时提取地面常规气象观测站点处观测的温度、相对湿度、风速、风向、降水量、水汽压和能见度数据,并从气象卫星遥感信息中提取所在气象观测站点处的静止气象卫星3.9μm、10.4μm、11.4μm和12.3μm左右的红外通道数据,同时提取云顶温度指数数据,提取有能见度观测的记录,取80%的样本做为训练样本T,取20%的数据做为检验样本C,提取没有能见度观测的记录,做为能见度估测样本E,在机器学习Tensorflow库的支持下,实现基于深度神经网格的大雾识别的学习和训练;具体功能如下,(A):深度神经网络模型选择;(B):神经网格层次设置;(C):参数设置,目标函数参数设置,搜索算法参数设置;(D):GPU与CPU设置;(E):针对训练样本T进行训练操作;(F):绘图操作。
6.根据权利要求1所述的基于机器学习与常规气象观测的大雾识别系统,其特征在于基于机器学习的大雾估算模块,主要功能是根据基于机器学习的大雾识别训练模块的训练结果,针对能见度估测样本E,对没有能见度但有常气象观测的气象站点位置进行能见度估算。
7.根据权利要求1所述的基于机器学习与常规气象观测的大雾识别系统,其特征在于基于RBF网络的能见度栅格化模块,主要功能是针对所有地面气象站点上观测或估算的能见度点状分布数据,进行能见度的空间插值,生成1km网格的目标区域10分钟间隔能见度空间分布数据。
8.根据权利要求1所述的基于机器学习与常规气象观测的大雾识别系统,其特征在于应用方法如下,通过九个步骤对范围1km格点的大雾进行实时监测,并为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑,(1):通过地面气象观测信息处理模块对地面气象观测站的气象观测数据进行处理和分析;(2):通过气象卫星遥感数据处理模块对基于静止卫星的中红外和分裂窗温度通道进行处理,并对云顶温度指数进行计算;(3):通过地面气象观测信息处理模块剔除无效记录和异常站点,根据用户输入的时间间隔T0提取能见度并计算以T0为步长的能见度的平均值;(4):通过基于机器学习的大雾识别训练模块生成训练样本、检验样本和估测样本,进行深度学习模型训练;(5):通过基于机器学习的大雾识别训练模块建立基于机器学习的大雾识别模型并进行训练;(6):通过基于机器学习的大雾估算模块对没有能见度的气象观测站点位置的能见度进行估算;(7):通过大雾估算检验模块,计算大雾估算的TS评分;(8):通过基于RBF网络的能见度栅格化模块将大雾估算模块估算的气象观测站点的点状要素、插值为空间上1km格点分辨率的10分钟间隔能见度空间分布数据,实时给出大雾监测信息,输出不同的实时大雾监测信息数据供相关单位使用,为相关部门基于局部区域团雾预报进行道路封闭管控提供数据支撑;(9):通过接口服务模块,提供接口服务,输入常规气象观测数据和静止气象卫星遥感数据,返回大雾监测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811200871.2A CN109407177B (zh) | 2018-10-16 | 2018-10-16 | 基于机器学习与常规气象观测的大雾识别系统和应用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811200871.2A CN109407177B (zh) | 2018-10-16 | 2018-10-16 | 基于机器学习与常规气象观测的大雾识别系统和应用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109407177A true CN109407177A (zh) | 2019-03-01 |
CN109407177B CN109407177B (zh) | 2020-12-18 |
Family
ID=65467206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811200871.2A Active CN109407177B (zh) | 2018-10-16 | 2018-10-16 | 基于机器学习与常规气象观测的大雾识别系统和应用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109407177B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110567510A (zh) * | 2019-07-23 | 2019-12-13 | 北京英视睿达科技有限公司 | 大气污染监测方法、系统、计算机设备和存储介质 |
CN111079314A (zh) * | 2020-01-02 | 2020-04-28 | 上海眼控科技股份有限公司 | 雾监测设备的位置选取方法、装置、计算机设备和介质 |
CN111427101A (zh) * | 2020-04-07 | 2020-07-17 | 江苏省气象科学研究所 | 雷雨大风分级预警方法、系统、存储介质、计算机程序 |
CN111428752A (zh) * | 2020-02-25 | 2020-07-17 | 南通大学 | 一种基于红外图像的能见度检测方法 |
CN114200548A (zh) * | 2021-12-15 | 2022-03-18 | 南京信息工程大学 | 基于SE-Resnet模型的延伸期气象要素预报方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005062858A (ja) * | 2003-07-30 | 2005-03-10 | Kyocera Mita Corp | 画像形成装置におけるカブリ顕在化方法及びカブリ顕在化装置 |
CN101694748A (zh) * | 2009-10-16 | 2010-04-14 | 合肥霍金光电科技有限公司 | 高速公路团雾实时监测预警系统 |
CN102539383A (zh) * | 2012-01-09 | 2012-07-04 | 北京大学 | 散射式能见度仪中雾霾识别方法及能见度测量方法 |
CN103871251A (zh) * | 2014-03-13 | 2014-06-18 | 山东交通学院 | 基于数字摄像的团雾实时预警系统及方法 |
CN107423670A (zh) * | 2017-04-20 | 2017-12-01 | 上海交通大学 | 基于深度置信网络的modis雾监测方法 |
-
2018
- 2018-10-16 CN CN201811200871.2A patent/CN109407177B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005062858A (ja) * | 2003-07-30 | 2005-03-10 | Kyocera Mita Corp | 画像形成装置におけるカブリ顕在化方法及びカブリ顕在化装置 |
CN101694748A (zh) * | 2009-10-16 | 2010-04-14 | 合肥霍金光电科技有限公司 | 高速公路团雾实时监测预警系统 |
CN102539383A (zh) * | 2012-01-09 | 2012-07-04 | 北京大学 | 散射式能见度仪中雾霾识别方法及能见度测量方法 |
CN103871251A (zh) * | 2014-03-13 | 2014-06-18 | 山东交通学院 | 基于数字摄像的团雾实时预警系统及方法 |
CN107423670A (zh) * | 2017-04-20 | 2017-12-01 | 上海交通大学 | 基于深度置信网络的modis雾监测方法 |
Non-Patent Citations (1)
Title |
---|
陶鹏,苗开超,周建平,刘承晓,姚叶青,周林义: "基于人工智能的大雾识别模型构建与应用", 《2018电力行业信息化年会论文集》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110567510A (zh) * | 2019-07-23 | 2019-12-13 | 北京英视睿达科技有限公司 | 大气污染监测方法、系统、计算机设备和存储介质 |
CN111079314A (zh) * | 2020-01-02 | 2020-04-28 | 上海眼控科技股份有限公司 | 雾监测设备的位置选取方法、装置、计算机设备和介质 |
CN111428752A (zh) * | 2020-02-25 | 2020-07-17 | 南通大学 | 一种基于红外图像的能见度检测方法 |
CN111428752B (zh) * | 2020-02-25 | 2023-10-31 | 南通大学 | 一种基于红外图像的能见度检测方法 |
CN111427101A (zh) * | 2020-04-07 | 2020-07-17 | 江苏省气象科学研究所 | 雷雨大风分级预警方法、系统、存储介质、计算机程序 |
CN111427101B (zh) * | 2020-04-07 | 2022-04-26 | 南京气象科技创新研究院 | 一种雷雨大风分级预警方法、系统、存储介质 |
CN114200548A (zh) * | 2021-12-15 | 2022-03-18 | 南京信息工程大学 | 基于SE-Resnet模型的延伸期气象要素预报方法 |
CN114200548B (zh) * | 2021-12-15 | 2023-07-18 | 南京信息工程大学 | 基于SE-Resnet模型的延伸期气象要素预报方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109407177B (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109407177A (zh) | 基于机器学习与常规气象观测的大雾识别系统和应用方法 | |
KR102076426B1 (ko) | 상세기상 예측정보 실시간 운영 시스템과 이를 이용하는 폭염 및 열대야 영향 예보 활용 방법 | |
CN104462660B (zh) | 一种野外输电线路冬季覆冰厚度分布绘制方法 | |
Yasutomi et al. | Development of a long-term daily gridded temperature dataset and its application to rain/snow discrimination of daily precipitation | |
Chen et al. | A high-resolution monitoring approach of canopy urban heat island using a random forest model and multi-platform observations | |
CN105095589B (zh) | 一种山区电网风区分布图绘制方法 | |
CN109447315A (zh) | 一种基于多时空尺度的电力气象数值天气预报方法和装置 | |
CN113673181A (zh) | 一种基于多源风场数据的机场区域风切变智能识别方法 | |
CN106441233A (zh) | 基于倾斜摄影三维重建技术的电力通道走廊巡检方法 | |
CN103926634A (zh) | 一种基于面向对象分类的白天陆地辐射雾的遥感监测方法 | |
CN108896021B (zh) | 基于航空摄影测量点云提取人工林林分结构参数的方法 | |
CN110019595A (zh) | 一种多源气象数据集成方法及系统 | |
CN109375290B (zh) | 一种基于机器学习的跨海大桥雾监测系统及其应用方法 | |
Lien et al. | Statistical properties of global precipitation in the NCEP GFS model and TMPA observations for data assimilation | |
Nunes et al. | Severe convection features in the Amazon Basin: A TRMM-based 15-year evaluation | |
Li et al. | Numerical simulation study of the effect of buildings and complex terrain on the low-level winds at an airport in typhoon situation | |
CN113866770A (zh) | 一种冰雹云早期识别方法及存储介质 | |
CN114863369B (zh) | 激光雷达监测玉米倒伏的方法、装置、设备及介质 | |
CN109583467A (zh) | 一种电力气象数据融合方法和系统 | |
CN106772697B (zh) | 云海自然景观预报方法及系统 | |
CN115081557A (zh) | 基于地面监测数据的夜间气溶胶光学厚度估算方法和系统 | |
JP2003021687A (ja) | 狭域天気予報方法、狭域天気予報配信方法、商品販売促進方法、天気予報装置及び天気予報情報提供システム | |
CN113127530A (zh) | 一种基于铁路网的大气三维结构动态探测信息群同化系统 | |
Williams et al. | Combining observations and model data for short-term storm forecasting | |
Walmsley et al. | The use of routine weather observations to calculate liquid water content in summertime high-elevation fog |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |