CN111860871A - 一种基于机器学习的模式预报风场修正方法 - Google Patents
一种基于机器学习的模式预报风场修正方法 Download PDFInfo
- Publication number
- CN111860871A CN111860871A CN202010752134.4A CN202010752134A CN111860871A CN 111860871 A CN111860871 A CN 111860871A CN 202010752134 A CN202010752134 A CN 202010752134A CN 111860871 A CN111860871 A CN 111860871A
- Authority
- CN
- China
- Prior art keywords
- data
- machine learning
- historical data
- model
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明提供的基于机器学习的模式预报修正方法，涉及数据处理技术和机器学习技术领域，包括：获取历史数据；将历史数据中超出合理范围的而异常值规范到合理范围内；根据历史数据构建数据集；利用构建好的数据集对人工智能模型进行训练，得到最优模型；利用最优模型对模式预报的实时数据进行修正。本发明有效解决了现有技术中存在的模式预报不准确的问题，基于人工智能模型对模式预报的实时数据进行修正，从而实现更加准确的预报，提升预报精度。
Description
技术领域
本发明涉及数据处理技术和机器学习技术领域，尤其涉及一种基于机器学习的模式预报风场修正方法。
背景技术
随着社会的发展，各业务预报单位对精细化的预报需求越来越高。传统的天气或者气候预报方法主要依赖于数值预报模式，该方法旨在利用超级计算机，通过求解离散化的大气海洋基本物理动力方程，对未来的大气海洋状态进行预报。近年来，随着气象理论的不断发展、观测系统的不断整合和完善以及计算机运算能力的不断提升，天气预报水平取得了较大的改善。尽管如此，数值模式需要对实际物理过程有清晰的认识和重现能力，但由于模式物理参数化方案的不完善和同化方法的自身缺陷等因素，在实际应用中，导致预测的精度无法满足精细化预报的业务需求。
发明内容
本发明提供一种基于机器学习的模式预报风场修正方法，以解决现有技术中存在的模式预报不准确的问题，从而实现更加准确的预报，提升预报精度。
为解决上述技术问题，本发明提供的技术方案为：
本发明提供的基于机器学习的模式预报修正方法，包括：
获取历史数据；
将历史数据中超出合理范围的而异常值规范到合理范围内；
根据历史数据构建数据集；
利用构建好的数据集对人工智能模型进行训练，得到最优模型；
利用最优模型对模式预报的实时数据进行修正。
本发明提供的基于机器学习的模式预报修正方法，优选地，在步骤“根据历史数据构建数据集”之前还包括：根据经度、纬度、经向风的误差、纬向风的误差、土地利用类型共计五个要素，采用K-means的聚类方法，将整个场的区域聚为6个不同的聚类类别。
本发明提供的基于机器学习的模式预报修正方法，优选地，所述步骤“根据历史数据构建数据集”具体为根据历史数据、超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集。
本发明提供的基于机器学习的模式预报修正方法，优选地，所述步骤“根据超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集”之后，所述步骤“利用构建好的数据集对模型进行训练，得到最优模型”之前还包括：采用随机打乱的方式对数据集内的数据进行划分，60％的数据作为训练集、20％的数据作为测试集、20％的数据作为验证集。
本发明提供的基于机器学习的模式预报修正方法，优选地，所述历史数据包括模式预报的历史数据和再分析资料；
所述步骤“根据超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集”之前，还包括：采用双线性插值法，将再分析资料向预报模式的历史数据中插值得到历史数据。
本发明提供的基于机器学习的模式预报修正方法，优选地，所述步骤“将历史数据中超出合理范围的而异常值规范到合理范围内”具体为：计算历史数据中的一个观测变量的平均值和方差，将不在[平均值-2.5*方差，平均值+2.5*方差]范围内的数据规范到这个区间内；通过线性插值法处理缺失值，当存在2个以上连续缺失值时，丢弃这些缺失值。
本发明提供的基于机器学习的模式预报修正方法，优选地，所述人工智能模型为深度神经网络模型和随机森林模型结合的模型；深度神经网络模型的输出值为随机森林模型的输入值。
本发明提供的基于机器学习的模式预报修正方法，优选地，所述“得到最优模型”具体为：当验证集的预报准确度在5轮中未发生降低，训练结束，得到最优模型。
本发明具有如下优点：
本发明提供的基于机器学习的模式预报修正方法，包括：获取历史数据；将历史数据中超出合理范围的而异常值规范到合理范围内；根据历史数据构建数据集；利用构建好的数据集对人工智能模型进行训练，得到最优模型；利用最优模型对模式预报的实时数据进行修正。本发明有效解决了现有技术中存在的模式预报不准确的问题，基于人工智能模型对模式预报的实时数据进行修正，从而实现更加准确的预报，提升预报精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。
图1是本发明提供的一种基于机器学习的模式预报修正方法一个实施例的流程示意图；
图2是本发明提供的一种基于机器学习的模式预报修正方法又一实施例的部分流程示意图；
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要注意的是，本发明所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。
如图1所示，本发明的一个实施例提供的一种基于机器学习的模式预报修正方法，其特征在于，包括：
S101：获取历史数据；
S102：将历史数据中超出合理范围的而异常值规范到合理范围内；
S103：根据历史数据构建数据集；
S104：利用构建好的数据集对人工智能模型进行训练，得到最优模型；
S105：利用最优模型对模式预报的实时数据进行修正。
通过步骤S101～S105，采用模式预报的历史数据对人工智能模型进行训练，以得到能够对模式预报的实时数据进行修正的最优模型；通过最优模型对模式预报的实时数据进行修正，以保证模式预报的结果。
如图2所示，在步骤S103根据历史数据构建数据集之前还包括：S201：根据经度、纬度、经向风的误差、纬向风的误差、土地利用类型共计五个要素，采用K-means的聚类方法，将整个场的区域聚为6个不同的聚类类别。
如图2所示，步骤S103根据历史数据构建数据集具体为：S202根据历史数据、超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集。
为了进一步提供人工智能模型的训练效果，得到最优的人工智能模型，步骤S202根据超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集之后，步骤S104利用构建好的数据集对模型进行训练，得到最优模型”之前还包括：S203采用随机打乱的方式对数据集内的数据进行划分，60％的数据作为训练集、20％的数据作为测试集、20％的数据作为验证集。
为了保证人工智能模型训练的准确性，历史数据包括模式预报的历史数据和再分析资料；如图2所示，步骤S202根据超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集”之前，还包括：S204采用双线性插值法，将再分析资料向预报模式的历史数据中插值得到历史数据。
步骤S102“将历史数据中超出合理范围的而异常值规范到合理范围内”具体为：S205计算历史数据中的一个观测变量的平均值和方差，将不在[平均值-2.5*方差，平均值+2.5*方差]范围内的数据规范到这个区间内；通过线性插值法处理缺失值，当存在2个以上连续缺失值时，丢弃这些缺失值。
为了提高整体的预测效果，提升拟合度，上述步骤中的人工智能模型为深度神经网络模型和随机森林模型结合的模型；深度神经网络模型的输出值为随机森林模型的输入值。
在对人工智能模型进行训练过程中，验证集的预测准确度作为模型是否保存的依据，即步骤104中的“得到最优模型”具体为：当验证集的预报准确度在5轮中未发生降低，训练结束，得到最优模型。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于机器学习的模式预报修正方法，其特征在于，包括：
获取历史数据；
将历史数据中超出合理范围的而异常值规范到合理范围内；
根据历史数据构建数据集；
利用构建好的数据集对人工智能模型进行训练，得到最优模型；
利用最优模型对模式预报的实时数据进行修正。
2.如权利要求1所述的基于机器学习的模式预报修正方法，其特征在于，在步骤“根据历史数据构建数据集”之前还包括：根据经度、纬度、经向风的误差、纬向风的误差、土地利用类型共计五个要素，采用K-means的聚类方法，将整个场的区域聚为6个不同的聚类类别。
3.如权利要求2所述的基于机器学习的模式预报修正方法，其特征在于，所述步骤“根据历史数据构建数据集”具体为根据历史数据、超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集。
4.如权利要求3所述的基于机器学习的模式预报修正方法，其特征在于，所述步骤“根据超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集”之后，所述步骤“利用构建好的数据集对模型进行训练，得到最优模型”之前还包括：采用随机打乱的方式对数据集内的数据进行划分，60％的数据作为训练集、20％的数据作为测试集、20％的数据作为验证集。
5.如权利要求3所述的基于机器学习的模式预报修正方法，其特征在于，所述历史数据包括模式预报的历史数据和再分析资料；
所述步骤“根据超前预报天数、聚类类别，对经向风、纬向风构建不同的训练用数据集”之前，还包括：采用双线性插值法，将再分析资料向预报模式的历史数据中插值得到历史数据。
6.如权利要求1所述的基于机器学习的模式预报修正方法，其特征在于，所述步骤“将历史数据中超出合理范围的而异常值规范到合理范围内”具体为：计算历史数据中的一个观测变量的平均值和方差，将不在[平均值-2.5*方差，平均值+2.5*方差]范围内的数据规范到这个区间内；通过线性插值法处理缺失值，当存在2个以上连续缺失值时，丢弃这些缺失值。
7.如权利要求4所述的基于机器学习的模式预报修正方法，其特征在于，所述人工智能模型为深度神经网络模型和随机森林模型结合的模型；深度神经网络模型的输出值为随机森林模型的输入值。
8.如权利要求4所述的基于机器学习的模式预报修正方法，其特征在于，所述“得到最优模型”具体为：当验证集的预报准确度在5轮中未发生降低，训练结束，得到最优模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010752134.4A CN111860871A (zh) | 2020-07-30 | 2020-07-30 | 一种基于机器学习的模式预报风场修正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010752134.4A CN111860871A (zh) | 2020-07-30 | 2020-07-30 | 一种基于机器学习的模式预报风场修正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860871A true CN111860871A (zh) | 2020-10-30 |
Family
ID=72946475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010752134.4A Pending CN111860871A (zh) | 2020-07-30 | 2020-07-30 | 一种基于机器学习的模式预报风场修正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860871A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597870A (zh) * | 2020-12-18 | 2021-04-02 | 清华大学 | 一种土地覆盖分类模型的构建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875037A (zh) * | 2016-12-30 | 2017-06-20 | 东软集团股份有限公司 | 风力预测方法及装置 |
| CN108375808A (zh) * | 2018-03-12 | 2018-08-07 | 南京恩瑞特实业有限公司 | Nriet基于机器学习的大雾预报方法 |
| CN110263392A (zh) * | 2019-06-01 | 2019-09-20 | 邯郸市气象局 | 基于多模式分区误差检验的风场预报方法及其系统 |
| US20200074325A1 (en) * | 2018-08-29 | 2020-03-05 | National Chiao Tung University | Systems and Methods for Creating an Optimal Prediction Model and Obtaining Optimal Prediction Results Based on Machine Learning |
-
2020
- 2020-07-30 CN CN202010752134.4A patent/CN111860871A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875037A (zh) * | 2016-12-30 | 2017-06-20 | 东软集团股份有限公司 | 风力预测方法及装置 |
| CN108375808A (zh) * | 2018-03-12 | 2018-08-07 | 南京恩瑞特实业有限公司 | Nriet基于机器学习的大雾预报方法 |
| US20200074325A1 (en) * | 2018-08-29 | 2020-03-05 | National Chiao Tung University | Systems and Methods for Creating an Optimal Prediction Model and Obtaining Optimal Prediction Results Based on Machine Learning |
| CN110263392A (zh) * | 2019-06-01 | 2019-09-20 | 邯郸市气象局 | 基于多模式分区误差检验的风场预报方法及其系统 |
Non-Patent Citations (1)
| Title |
|---|
| 孙全德等: "基于机器学习的数值天气预报风速订正研究", 《气象》, vol. 45, no. 3, pages 1 - 5 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112597870A (zh) * | 2020-12-18 | 2021-04-02 | 清华大学 | 一种土地覆盖分类模型的构建方法 |
| CN112597870B (zh) * | 2020-12-18 | 2024-03-29 | 清华大学 | 一种土地覆盖分类模型的构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898251B (zh) | 考虑气象相似性和功率波动的海上风电场功率预测方法 | |
| CN115222909B (zh) | 一种三维图像检测模型构建方法 | |
| CN111210093A (zh) | 基于大数据的日用水量预测方法 | |
| CN110633864B (zh) | 一种基于距平偏差的风速数值预报订正方法及其系统 | |
| CN114445634A (zh) | 一种基于深度学习模型的海浪波高预测方法及系统 | |
| CN113743673A (zh) | 一种台风期间的电力负荷预测方法 | |
| CN114154702A (zh) | 基于多粒度图时空神经网络的污染物浓度预测方法及装置 | |
| CN114021830A (zh) | 一种基于cnn-lstm的多时间范围风速预测方法 | |
| CN115345076A (zh) | 一种风速订正处理方法及装置 | |
| CN111860871A (zh) | 一种基于机器学习的模式预报风场修正方法 | |
| Baran et al. | Truncated generalized extreme value distribution‐based ensemble model output statistics model for calibration of wind speed ensemble forecasts | |
| CN115983493A (zh) | 一种基于多任务学习及深度学习模型的水质预测方法 | |
| CN111985712A (zh) | 一种多步风速组合预测模型建立方法 | |
| CN115186923A (zh) | 光伏发电功率的预测方法、装置及电子设备 | |
| CN112258029A (zh) | 地铁站周边共享单车的需求预测方法 | |
| CN116596169A (zh) | 一种电力系统预测方法、装置及存储介质 | |
| CN115047544B (zh) | 一种覆冰预警方法及系统 | |
| CN114463616B (zh) | 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法 | |
| CN115912334A (zh) | 风电场出力保证率的预测模型创建方法及预测方法 | |
| CN115965134A (zh) | 一种区域电网风力发电功率预测优化方法 | |
| CN112034535B (zh) | 数值模式降水预报的订正方法、系统及存储介质 | |
| CN112632469A (zh) | 业务交易数据的异常检测方法、装置及计算机设备 | |
| CN112859202A (zh) | 一种气温预报的方法和设备 | |
| CN116488158B (zh) | 一种基于迁移学习的风电中长期电量预测的方法及装置 | |
| CN116883221B (zh) | 一种流域生态监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |