CN112418500A - 一种基于多源数据及复杂模型融合对山区降雨天气预警方法 - Google Patents

一种基于多源数据及复杂模型融合对山区降雨天气预警方法 Download PDF

Info

Publication number
CN112418500A
CN112418500A CN202011279634.7A CN202011279634A CN112418500A CN 112418500 A CN112418500 A CN 112418500A CN 202011279634 A CN202011279634 A CN 202011279634A CN 112418500 A CN112418500 A CN 112418500A
Authority
CN
China
Prior art keywords
data
models
model
early warning
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011279634.7A
Other languages
English (en)
Inventor
刘栗
张一明
薛洪斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkexing Tuwei Tianxin Technology Co ltd
Original Assignee
Zhongke Star Map Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Star Map Co ltd filed Critical Zhongke Star Map Co ltd
Priority to CN202011279634.7A priority Critical patent/CN112418500A/zh
Publication of CN112418500A publication Critical patent/CN112418500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Algebra (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)

Abstract

本发明提出一种基于多源数据及复杂模型融合对山区降雨天气预警方法，包括如下步骤：步骤1、收集地面多种不同的数据，包括地面一般站资料、地面自动站资料、GTS资料以及非常规的雷达卫星资料，及当地经纬度的季节特征信息；步骤2、对收集的数据进行处理，主要是对数据进行处理分析，包括数据格式检查、数据完整性检查、数据取值的合理性检查、数据特征构造等处理；步骤3、应用多种机器学习的模型进行建模和模型训练，并对以上模型进行融合；步骤4、将日常业务采集数据输入预报模型，输出预报结果。

Description

一种基于多源数据及复杂模型融合对山区降雨天气预警方法
技术领域
本发明涉及天气预警领域，尤其是一种基于多源数据复杂模型融合对山区降雨天气预警方法。
背景技术
随着数值天气预报的发展，人们逐渐发现，改进单一的数值天气预报模式很困难，尤其对于较长时效的天气预报结果不理想。导致数值天气预报不确定性的因素主要有3 个方面：一是大气系统的混沌行为，即使两个系统的初始场差别极小，当积分一定时间以后，两个系统的状态会有很大不同；二是人们对天气气候系统的物理机制的认识还不够；三是人们对外强迫的不准确表述，比如人类活动这一“外强迫”，并无妥善的办法。因而，天气气候预报总是存在不确定性的。
近年来有研究者使用机器学习方法来提高天气预报的准确性：利用单个数值预报模式的多个气象要素来构建天气预报模型(Hernández et al.,2016；邢彩盈等，2016；张禄和杨志军，2016；Wang et al.,2017)；还有采用基于机器学习的多模式集合预报方法比如多元回归方法和BP神经网络(马清,2008)，利用CMA、JMA、NCEP、加拿大气象局(MSC)和法国气象局—奥地利国家气象局(MeteoFr.&ZAMG)5个数值预报中心的中尺度集合预报结果，建立了多模式集合预报模型，并与EMN进行对比。
从当前气象预报业务发展的实际情况看，对于数百千米以上尺度天气系统的中短期预报，数值模式预报结果基本上已超越了预报员的能力，预报员虽还能做些订正改进，但多数情况下也只能仅此而已。对于山区天气变化莫测，对于短时预测是非常必要的，无论是传统方法还是数值模式方法，都还存在差距，仍有许多难点和问题尚未解决。气象中处理温度预报时，一、因为预报实践证明地形气候、观测环境在气象要素预报中是不可忽略的，正是地形因素使模式温度预报在山区经常与站点观测存在较大差异(模式很好地处理了物理过程，而对地形的处理仍有缺)，以往的方法未将其地理信息，环境未考虑进去；二、都是考虑的单一站点数据，往往对于机器学习的数据是很少的；单模型对于气象中建模可能会单一，并不能够完全利用其特征信息。
发明内容
本发明要解决的是针对15天内的天气气候预测难点，将机器学习应用在数值预报中，以提高其数值预报的精准度。针对以上问题，本发明提供一种新的气象数值预报预测方式，针对不同地区不同站点具有差异性问题，不同地理位置的气象数值同样具有差异性，解决不同地区差异性的数值预报问题；针对15天内短时的传统数值预测不准确问题，使得预测更准确；以及结合多种来源数据、多种特征因子、特殊地理特点进行数据融合以及不同模型的融合。
本发明的技术方案为：一种基于多源数据及复杂模型融合对山区降雨天气预警方法，包括如下步骤：
步骤1、收集地面多种不同的数据，包括地面一般站资料、地面自动站资料、GTS 资料以及非常规的雷达卫星资料，及当地经纬度的季节特征信息；
步骤2、对收集的数据进行处理分析，包括数据格式检查、数据完整性检查、数据取值的合理性检查、数据特征构造处理；
步骤3、应用多种机器学习的模型进行建模和模型训练，并对以上模型进行融合；
步骤4、将日常业务采集数据输入预报模型，输出预报结果。
进一步的，所述步骤1采集的数据包括21种特征：
地表温度、2m温度、2m最高温度、2m最低温度、hybrid层温度、2m比湿、hybrid 层比湿、雪、2m最大比湿、2m最小比湿、10m的u风(10米经度风速)、10m的v风(10m 纬度风速)、hybrid层u(hybrid层的经度风速)、hybrid层v(hybrid层的纬度风速)、边界层高度、hybrid层风向、10m风向、10m风速、地表气压、总云量、反照率。
进一步的，所述步骤1还包括：
根据站点经纬度坐标确定其所在位置季节特性以及温差的差异性，获得其该经纬度特有的特征；将季节分为0，1，2，3，根据不同得站点将季节信息进行对应时间端划分，根据地域季节周期长短，形成特定的季节周期信息，形成了站点信息的独特特征信息。
进一步的，所述步骤2数据处理中完整性检测包括对缺失值处理：
(1)如某一天数据缺失70％以上，则删除这天的数据；
(2)如某一特征出现缺失，假设了3种情况：
(2.1)如果出现大段缺失值，直接将这段的特征所对应的天的信息删除；
(2.2)如果出现极个别缺失，采用lagrange插值；
有n+1个互异的点S1:(x1,y1),S2:(x2,y2),...,Sn+1:(x1,yn+1)，x，y为横坐标和纵坐标；
Figure RE-GDA0002883423440000031
li作为插值基底值，根据li求Lagrange拉格朗日插值，i为待插值点的序号；
Figure RE-GDA0002883423440000032
(2.3)如果出现30个以上连续的缺失值，采用预测填充法：
首先：以缺失的某一列作为新的标签label_P，label_P(0，n-30)作为训练的target，而label_P(n-30,n)作为要预测的缺失值部分；
然后：将与这一缺失值对应特征相关性大于阈值的特征作为训练特征；
最后：若lable_P的值属于连续型数值，则进行回归拟合；若是类别离散型数值，则进行分类学习，最终得到缺失值，从而填充完整。
进一步的，所述步骤2数据处理中包括，对相近的站点进行聚合，划分出多个区域的站点集，具体采用聚类算法K-means作为划分成多个区域的方法，后续根据站点的所在区域划分其对应的数据集，然后进行有针对性的训练；所述划分区域的方法如下：
1)站点样本集为S＝{s1,s2...,sm},m为站点的数量，划分区域C＝{c1,c2...,ck}，k为划分的区域数量；
2)从数据集S中随机选择k个样本作为初始的k个质心向量：{μ1，μ2...,μk}；
3)将区域C初始化为Ct＝φ,t＝1,2...k；
4)对于i＝1,2...m,计算样本si和各个质心向量μj(j＝1,2,...k)的距离：
Figure RE-GDA0002883423440000033
将xi标记最小的为dij所对应的类别λi；此时更新
Figure RE-GDA0002883423440000034
5)对于j＝1,2,...,k,对Cj中所有的样本点重新计算新的质心
Figure RE-GDA0002883423440000035
6)如果所有的k个质心向量都没有发生变化，则转到步骤5)；
7)输出簇划分C＝{C1,C2,...Ck}。
进一步的，所述步骤3建模多种模型，包括XGBoost(XGB)、LightBoost(LGB)、随机森林(RF)、决策树(ET)以及CatBoost；
每一种模型对于特征的贡献度都不同，经过多轮对比分析，对以上模型进行融合；
针对山区降雨选择的回归模型，得到的值为连续的值，选择用均方根误差RMSE和皮尔森相关系数prc作为评价指标，选择这五种模型表现最好的三种模型；
根据这三种模型得到的结果取其均值，最终得到模型融合后的输出值。
进一步的，所述步骤3训练模型包括：
训练模型：从公网下载GFS历史预报数据进行特征工程处理，同时对观测数据进行数据清洗工作，把特征和清洗过后的观测数据输入模型进行学习，不同模型有不同学习结果；从多种模型中挑出rmse和prc表现最好的三种模型，得到其三种模型融合的预测结果，并将这三种模型参数进行保存。
进一步的，所述步骤3模型迭代更新包括在积累一段时间数据后，将下载新的历史预报数据和观测数据，分别经过特征工程和数据清洗后，这会增加其训练样本的数据，不断迭代模型的准确率。
有益效果：
本发明融合了多种天气特征，特征融合1：有地表温度、2m温度、2m最高温度、2m 最低温度、hybrid层温度、2m比湿、hybrid层比湿、雪、2m最大比湿、2m最小比湿、 10m的u、10m的v、hybrid层u、hybrid层v、边界层高度、hybrid层风向、10m风向、 10m风速、地表气压、总云量、反照率，融合了21种特征；特征融合2：由于地理信息对天气具有差异性，相隔一段距离，都可能会存在温度的差异，因此，本发明并根据其经纬度坐标确定其所在位置季节特性以及温差的差异性，获得其该经纬度特有的特征；特征融合3：将相邻站点的数据进行聚合，形成相近数据特征集。获得以上三种数据融合的数据集，对这些数据集进行特征工程获得清洗后的数据集，接下来本发明用多种模型进行训练和融合，获得这21中特征对不同模型的贡献度，将贡献度过低的特征删除，认为对模型的建立没有正相关的作用，这可能更好的对数据进行建模。
附图说明
图1为本发明的总体流程框图；
图2为本发明数据处理流程图；
图3为本发明模型融合过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
图1为本发明总体流程框图；本发明的整个系统分为6个层次；具体如下：
第一层，最底层为基础支撑层，由操作系统、运行环境、网络、安全等支撑软件构成；
第二层为数据支撑层，包括多种不同的数据预报资料来源：地面一般站资料、地面自动站资料、GTS资料以及非常规的雷达卫星资料等，及当地经纬度的季节特征信息，每个地区得季节可能是时间段不同，本发明根据站点不同划分，本发明将季节分为0，1， 2，3，根据不同得站点将季节信息进行对应时间端划分，根据地域季节周期长短，形成特定的季节周期信息，这形成了站点信息的独特性，能够有针对性的增加有效的特征；
第三层，在数据支撑层上为数据处理层，如图2所示，主要是对数据进行处理分析，包括数据格式检查、数据完整性检查、数据极值检查、数据标准化处理。
数据完整性检查中对缺失值处理如下：
1.如某一天数据缺失70％以上，本发明删除这天的数据；
2.如某一特征出现缺失，本发明假设了3种情况；
1)如果出现大段缺失值，本发明直接将这段的特征所对应的天的信息删除；
2)如果出现极个别缺失，本发明采用lagrange插值；
有n+1个互异的点S1:(x1,y1),S2:(x2,y2),...,Sn+1:(xn+1,yn+1)
Figure RE-GDA0002883423440000051
li作为插值基底值，根据li求Lagrange拉格朗日插值；
Figure RE-GDA0002883423440000052
3)如果出现30个以上连续的缺失值，本发明采用了预测填充法：
首先：以缺失的某一列作为新的标签label_P，label_P(0，n-30)作为训练的target，而label_P(n-30,n)作为要预测的缺失值部分；
然后：将与这一缺失值对应特征相关性大于阈值的特征(train_A,train_B...)作为训练特征；
最后：若lable_P的值属于连续型数值，则进行回归拟合；若是类别(离散)型数值，则进行分类学习,最终得到缺失值，从而填充完整；
根据相近的站点进行聚合，划分出多个区域的站点集，这里将聚类算法K-means作为划分成多个区域的，这能有效的提高站点的预测效果，根据站点的所在区域划分其对应的数据集，然后进行有针对性的训练；
1)本发明站点样本集为S＝{s1,s2...,sm},m为站点的数量，划分区域C＝{c1,c2...,ck}， k为划分的区域数量；
2)从数据集S中随机选择k个样本作为初始的k个质心向量：{μ1，μ2...,μk}；
3)将区域C初始化为Ct＝φ,t＝1,2...k；
4)对于i＝1,2...m,计算样本si和各个质心向量μj(j＝1,2,...k)的距离：
Figure RE-GDA0002883423440000061
将xi标记最小的为dij所对应的类别λi。此时更新
Figure RE-GDA0002883423440000062
5)对于j＝1,2,...,k,对Cj中所有的样本点重新计算新的质心
Figure RE-GDA0002883423440000063
6)如果所有的k个质心向量都没有发生变化，则转到步骤5)；
7)输出簇划分C＝{C1,C2,...Ck}。
第四层为模型训练层，运用了多种机器学习的模型，包括XGBoost(XGB)、LightBoost(LGB)、随机森林(RF)、决策树(ET)以及CatBoost，如图3，本发明考虑到每一种模型对于特征的贡献度都不同，融合多种模型能够更好的利用特征的性质，经过多轮对比分析，对以上模型进行融合：
1)本发明把21种特征组成的数据集分成5等份，(train1,train2,train3,train4,train5), 如图所示；
2)分别用3种模型进行建模，例如：xgboost模型用(train1,train2,train3,train4)作为训练，train5作为预测，得到对应的prediction，依次得到5个prediction，组成新的数据集，而测试集test取平均值，lightbm和randomforest(随机森林)同xgboost相同；
3)然后将3个新的数据集组成n*3维的train数据和n*1维的label；
4)将这3种中表现最好的模型对新组的数据进行建模，预测，得到3种模型融合的结果。
针对山区降雨本发明选择的回归模型，得到的值为连续的值，因此本发明这里选择用RMSE(均方根误差)和prc(皮尔森相关系数)，选择这五种模型表现最好的三种模型；根据这三种模型得到的结果取其均值，最终得到模型融合后的输出值。
第五层为业务预报层，即在日常业务预报中，输入为预报模型和3种不同的数值预报产品，输出为预报结果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (8)

1.一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，包括如下步骤：
步骤1、收集地面多种不同的数据，包括地面一般站资料、地面自动站资料、GTS资料以及非常规的雷达卫星资料，及当地经纬度的季节特征信息；
步骤2、对收集的数据进行处理分析，包括数据格式检查、数据完整性检查、数据取值的合理性检查、数据特征构造处理；
步骤3、应用多种机器学习的模型进行建模和模型训练，并对以上模型进行融合；
步骤4、将日常业务采集数据输入预报模型，输出预报结果。
2.根据权利要求1所述的一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，所述步骤1采集的数据包括21种特征：
地表温度、2m温度、2m最高温度、2m最低温度、hybrid层温度、2m比湿、hybrid层比湿、雪、2m最大比湿、2m最小比湿、10米经度风速、10m纬度风速、hybrid层的经度风速、hybrid层的纬度风速、边界层高度、hybrid层风向、10m风向、10m风速、地表气压、总云量、反照率。
3.根据权利要求1所述的一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，所述步骤1还包括：
根据站点经纬度坐标确定其所在位置季节特性以及温差的差异性，获得其该经纬度特有的特征；将季节分为0，1，2，3，根据不同得站点将季节信息进行对应时间端划分，根据地域季节周期长短，形成季节周期信息，形成了站点的特征信息。
4.根据权利要求1所述的一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，所述步骤2数据处理中完整性检测包括对缺失值处理：
(1)如某一天数据缺失70％以上，则删除这天的数据；
(2)如某一特征出现缺失，假设了3种情况：
(2.1)如果出现大段缺失值，直接将这段的特征所对应的天的信息删除；
(2.2)如果出现极个别缺失，采用lagrange插值；
有n+1个互异的点S1:(x1,y1),S2:(x2,y2),...,Sn+1:(x1,yn+1)，x，y为横坐标和纵坐标；
Figure FDA0002780327910000021
li作为插值基底值，根据li求Lagrange拉格朗日插值，i为待插值点的序号；
Figure FDA0002780327910000022
(2.3)如果出现30个以上连续的缺失值，采用预测填充法：
首先：以缺失的某一列作为新的标签label_P，label_P(0，n-30)作为训练的target，而label_P(n-30,n)作为要预测的缺失值部分；
然后：将与这一缺失值对应特征相关性大于阈值的特征作为训练特征；
最后：若lable_P的值属于连续型数值，则进行回归拟合；若是类别离散型数值，则进行分类学习,最终得到缺失值，从而填充完整。
5.根据权利要求1所述的一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，所述步骤2数据处理中包括，对相近的站点进行聚合，划分出多个区域的站点集，具体采用聚类算法K-means作为划分成多个区域的方法，后续根据站点的所在区域划分其对应的数据集，然后进行有针对性的训练；所述划分区域的方法如下：
1)站点样本集为S＝{s1,s2...,sm},m为站点的数量，划分区域C＝{c1,c2...,ck}，k为划分的区域数量；
2)从数据集S中随机选择k个样本作为初始的k个质心向量：{μ1，μ2...,μk}；
3)将区域C初始化为Ct＝φ,t＝1,2...k；
4)对于i＝1,2...m,计算样本si和各个质心向量μj(j＝1,2,...k)的距离：
Figure FDA0002780327910000023
将xi标记最小的为dij所对应的类别λi；此时更新
Figure FDA0002780327910000024
5)对于j＝1,2,...,k,对Cj中所有的样本点重新计算新的质心
Figure FDA0002780327910000025
6)如果所有的k个质心向量都没有发生变化，则转到步骤5)；
7)输出簇划分C＝{C1,C2,...Ck}。
6.根据权利要求1所述的一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，所述步骤3建模多种模型，包括XGBoost(XGB)、LightBoost(LGB)、随机森林(RF)、决策树(ET)以及CatBoost；
每一种模型对于特征的贡献度都不同，经过多轮对比分析，对以上模型进行融合；
针对山区降雨选择的回归模型，得到的值为连续的值，选择用均方根误差RMSE和皮尔森相关系数prc作为评价指标，选择这五种模型表现最好的三种模型；
根据这三种模型得到的结果取其均值，最终得到模型融合后的输出值。
7.根据权利要求1所述的一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，所述步骤3训练模型包括：
训练模型：从公网下载GFS历史预报数据进行特征工程处理，同时对观测数据进行数据清洗工作，把特征和清洗过后的观测数据输入模型进行学习，不同模型有不同学习结果；从多种模型中挑出rmse和prc表现最好的三种模型，得到其三种模型融合的预测结果，并将这三种模型参数进行保存。
8.根据权利要求1所述的一种基于多源数据及复杂模型融合对山区降雨天气预警方法，其特征在于，所述步骤3模型迭代更新包括在积累一段时间数据后，将下载新的历史预报数据和观测数据，分别经过特征工程和数据清洗后，这会增加其训练样本的数据，不断迭代模型的准确率。
CN202011279634.7A 2020-11-16 2020-11-16 一种基于多源数据及复杂模型融合对山区降雨天气预警方法 Pending CN112418500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011279634.7A CN112418500A (zh) 2020-11-16 2020-11-16 一种基于多源数据及复杂模型融合对山区降雨天气预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279634.7A CN112418500A (zh) 2020-11-16 2020-11-16 一种基于多源数据及复杂模型融合对山区降雨天气预警方法

Publications (1)

Publication Number Publication Date
CN112418500A true CN112418500A (zh) 2021-02-26

Family

ID=74832408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279634.7A Pending CN112418500A (zh) 2020-11-16 2020-11-16 一种基于多源数据及复杂模型融合对山区降雨天气预警方法

Country Status (1)

Country Link
CN (1) CN112418500A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612995A (zh) * 2021-03-08 2021-04-06 武汉理工大学 一种基于贝叶斯回归的多来源降雨数据融合算法及装置
CN114563834A (zh) * 2022-04-27 2022-05-31 知一航宇(北京)科技有限公司 一种数值预报产品解释应用方法及系统
CN114648181A (zh) * 2022-05-24 2022-06-21 国能大渡河大数据服务有限公司 一种基于机器学习的降水预报修正方法及系统
CN114994801A (zh) * 2022-08-05 2022-09-02 中国气象局公共气象服务中心(国家预警信息发布中心) 一种雷电监测预警方法及装置
CN115359630A (zh) * 2022-08-22 2022-11-18 重庆地质矿产研究院 一种基于XGB和CatBoost双重提升树算法的滑坡预警方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170261646A1 (en) * 2016-03-08 2017-09-14 China Institute Of Water Resources And Hydropower Research Self-correcting multi-model numerical rainfall ensemble forecasting method
CN110346844A (zh) * 2019-07-15 2019-10-18 南京恩瑞特实业有限公司 Nriet基于云分类和机器学习的定量降水估测方法
CN110728411A (zh) * 2019-10-18 2020-01-24 河海大学 一种基于卷积神经网络的高低空区域联合降雨预测方法
CN111625993A (zh) * 2020-05-25 2020-09-04 中国水利水电科学研究院 一种基于山区地形及降雨特征预测的小流域面雨量插值方法
CN111638565A (zh) * 2020-06-09 2020-09-08 云南电网有限责任公司电力科学研究院 一种山区暴雨监测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170261646A1 (en) * 2016-03-08 2017-09-14 China Institute Of Water Resources And Hydropower Research Self-correcting multi-model numerical rainfall ensemble forecasting method
CN110346844A (zh) * 2019-07-15 2019-10-18 南京恩瑞特实业有限公司 Nriet基于云分类和机器学习的定量降水估测方法
CN110728411A (zh) * 2019-10-18 2020-01-24 河海大学 一种基于卷积神经网络的高低空区域联合降雨预测方法
CN111625993A (zh) * 2020-05-25 2020-09-04 中国水利水电科学研究院 一种基于山区地形及降雨特征预测的小流域面雨量插值方法
CN111638565A (zh) * 2020-06-09 2020-09-08 云南电网有限责任公司电力科学研究院 一种山区暴雨监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
关鹏洲等: "基于集成学习和深度学习的短期降雨预测模型", 《2017年（第五届）全国大学生统计建模大赛获奖论文选》 *
尘嚣看客: "模型融合方法总结", pages 5 - 7, Retrieved from the Internet <URL:《https://www.jianshu.com/p/07b05127ac5c》> *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112612995A (zh) * 2021-03-08 2021-04-06 武汉理工大学 一种基于贝叶斯回归的多来源降雨数据融合算法及装置
CN114563834A (zh) * 2022-04-27 2022-05-31 知一航宇(北京)科技有限公司 一种数值预报产品解释应用方法及系统
CN114648181A (zh) * 2022-05-24 2022-06-21 国能大渡河大数据服务有限公司 一种基于机器学习的降水预报修正方法及系统
CN114994801A (zh) * 2022-08-05 2022-09-02 中国气象局公共气象服务中心(国家预警信息发布中心) 一种雷电监测预警方法及装置
CN114994801B (zh) * 2022-08-05 2022-10-25 中国气象局公共气象服务中心(国家预警信息发布中心) 一种雷电监测预警方法及装置
CN115359630A (zh) * 2022-08-22 2022-11-18 重庆地质矿产研究院 一种基于XGB和CatBoost双重提升树算法的滑坡预警方法

Similar Documents

Publication Publication Date Title
CN112418500A (zh) 一种基于多源数据及复杂模型融合对山区降雨天气预警方法
KR102076426B1 (ko) 상세기상 예측정보 실시간 운영 시스템과 이를 이용하는 폭염 및 열대야 영향 예보 활용 방법
CN108227041B (zh) 基于站点实测数据和模式结果的水平能见度预报方法
Khatib et al. Solar energy prediction for Malaysia using artificial neural networks
CN105184423B (zh) 一种风电场集群风速预测方法
CN107991722A (zh) 天气预测模型的建立方法、预测方法和预测装置
CN111428942B (zh) 基于变网格技术提取微地形因子的线路覆冰厚度预测方法
AU2021100001A4 (en) Scientific model for predicting change in rainfall using climatic raster data mining
KR101646587B1 (ko) 북서태평양 태풍 활동성에 대한 하이브리드 계절 예측 방법
Bai et al. LSCIDMR: Large-scale satellite cloud image database for meteorological research
Kotikot et al. Statistical characterization of frost zones: Case of tea freeze damage in the Kenyan highlands
Manor et al. Bayesian Inference aided analog downscaling for near-surface winds in complex terrain
Georgakakos et al. Evaluation of real-time hydrometeorological ensemble prediction on hydrologic scales in Northern California
CN113836808A (zh) 一种基于重污染特征约束的pm2.5深度学习预测方法
CN113987813A (zh) 一种基于多参数决策和层次分析法的滑坡敏感性制图模型
Lu et al. Forecasting multi-step ahead monthly reference evapotranspiration using hybrid extreme gradient boosting with grey wolf optimization algorithm
CN112215416A (zh) 智能规划巡检航线系统及方法
CN117332909B (zh) 基于智能体的多尺度城市内涝道路交通暴露性预测方法
Gadgay et al. Novel ensemble neural network models for better prediction using variable input approach
CN110110391A (zh) 一种基于区域划分的缺实测径流资料流域的洪水估算方法
CN113761806B (zh) 一种基于神经网络的大气能见度预测方法
Li et al. Spatial interpolation of weather variables for single locations using artificial neural networks
Zazzaro et al. Data Mining for Forecasting Fog Events and Comparing Geographical Sites
CN113240196A (zh) 农业气象数据确定方法、装置、农业管理平台及存储介质
CN112798007A (zh) 一种基于人工智能与大数据的共享单车风感路线评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230907

Address after: Room 1801, 18th floor, building 1, yard 1, No. 81, Beiqing Road, Haidian District, Beijing 100094

Applicant after: Zhongkexing Tuwei Tianxin Technology Co.,Ltd.

Address before: 101399 National Geographic Information Technology Industrial Park 1A-4 Star Map Building, No. 2 Airport East Road, Shunyi Airport Economic Core Area, Beijing

Applicant before: Zhongke Star Map Co.,Ltd.