CN114880958B - 一种基于多气象因子智能深度学习的能见度预报方法 - Google Patents
一种基于多气象因子智能深度学习的能见度预报方法 Download PDFInfo
- Publication number
- CN114880958B CN114880958B CN202210812014.8A CN202210812014A CN114880958B CN 114880958 B CN114880958 B CN 114880958B CN 202210812014 A CN202210812014 A CN 202210812014A CN 114880958 B CN114880958 B CN 114880958B
- Authority
- CN
- China
- Prior art keywords
- neural network
- visibility
- meteorological
- value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000013277 forecasting method Methods 0.000 title claims description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 21
- 150000001875 compounds Chemical class 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000008961 swelling Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Atmospheric Sciences (AREA)
- Environmental Sciences (AREA)
- Ecology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Educational Administration (AREA)
Abstract
本发明公开了一种基于多气象因子智能深度学习的能见度预报模型，主要包括数值预报模式选取、空间网格点多气象因子建模、特征提取与能见度映射、神经网络模型训练和能见度预报与模型参数更新等步骤，本发明利用深度学习技术结合数值预报及多气象因子建模，能实现对关键地区的精细化能见度预报。
Description
技术领域
本发明属于人工智能与气象预报技术领域，特别涉及气象因子的预测、气象因子特征的提取、气象因子与能见度的检测、精细化能见度的预报等技术，具体是一种将深度学习方法与物理要素结合的精细化能见度预报方法。
背景技术
目前的能见度预报方法主要有基于数值模式的能见度预报方法、基于统计的能见度预报方法以及基于机器学习的能见度预报方法。数值模式预报方法是根据当前的大气状态以及数学和物理原理，构建气象数值模式系统，从而对各种气象要素进行模拟、预报。近年来，随着观测技术以及计算机技术的发展，数值模式预报的准确率越来越高，发挥的作用也越来越重要。然而，基于数值模式的预报数据是格点数据，由于大气演变过程的复杂性以及能见度对地表风、低空稳定性和露点等要素的微小差异具有高度敏感性，格点型的预报数据无法预报处于非格点的关键地区的能见度，例如机场、码头等对能见度数据要求准确的地点。另外，数值模式的预报方法也存在着一些无法避免的误差，对于某些关键地区，这些误差可能造成极其严重的影响。
基于统计的预报方法属于传统的预报方法，即通过构建关键气象因子与能见度之间的固定映射关系来对能见度进行预报。由于大气运动具有极强的非线性关系，固定模式的映射关系难以描述复杂的大气运动，因此此类方法只能针对特定的情况进行能见度的预报，具有很强的局限性。近年来，机器学习技术迅猛发展，其开始应用于各行各业，气象领域也有了许多相关的应用。例如综合多元线性回归、随机森林、支持向量机、极端梯度提升等机器学习方法，其都证明了机器学习算法在气象预报方面的优越性。
随着近年来深度学习技术的发展以及相关气象数据的剧增，深度学习也被用于气象领域进行相关的气象预报。深度学习是机器学习的一个重要分支，相较于机器学习，深度学习需要更多的数据作为支撑以对更高维度的数据构建非线性映射关系。
在基于深度学习的能见度预报方面，BP神经网络、循环神经网络、遗传神经网络等深度学习算法已经被广泛使用。尽管已有大量的方法进行能见度的预报，但利用深度学习技术，针对关键地区的精细化能见度预报方法还较少。目前的基于深度学习的能见度预报方法大多为大尺度的同时预测，即根据网格型的气象因子得到网格型的大尺度能见度预报值。基于大量气象数据的支撑以及更加复杂的神经网络结构，深度学习算法具有更强的非线性拟合能力，因此基于深度学习的能见度预报方法相较于其它预报方法有了一定的提高。
发明内容
发明目的：针对上述现有存在的问题和不足，本发明的目的是提供了一种基于多气象因子智能深度学习的能见度预报模型。
技术方案：为实现上述发明目的，本发明采用以下技术方案：一种基于多气象因子智能深度学习的能见度预报模型，包括以下步骤：
步骤S1，数值预报模式选取：根据地区气象和地理条件选择数值预报模式；
步骤S2，气象因子建模：以空间同一网格点上的多个气象因子作为一个通道项，将空间多个网格点的特征作为多通道项进行补充，建立能见度预报的神经网络模型；所述多个气象因子包括温度、风速、湿度、大气层结；
步骤S3，特征提取与能见度映射：对数值预报模式输出的气象因子预报值进行提高分辨率的降尺度操作，从而得到关键地区的高分辨率气象因子数值，进而得到高分辨率气象因子的深层特征；
步骤S4，神经网络模型训练：获取历史数据并通过步骤S1所述数值预报模式处理得到预报值数据，并与气象观测站的能见度观测值对应后，对神经网络模型进行训练，得到收敛后的神经网络模型；
步骤S5，能见度预报与模型参数更新：通过步骤S4得到收敛后神经网络模型对步骤S1所述数值预报模式的实时输出数据进行处理得到能见度预报，同时对神经网络模型的参数进行更新。
进一步，步骤S1所述数值预报模式采用中尺度天气预报模式WRF。
进一步，步骤S3采用D2 Block结构进行特征提取，D2 Block结构的第i层输出结果
通过式（1）和（2）得到
，
式中，
代表膨胀因子为
的空洞卷积运算，
为神经网络第i层输出结果
对于神经网络第
层输出结果的贡献的参数，
表示神经网络总层数。
进一步，步骤S4中利用历史数据对神经网络模型训练的具体步骤如下：
首先，本发明神经网络模型采用式3所示损失函数Loss对参数进行约束以防止出现过拟，
式中，Loss为损失函数的值，V为神经网络输出的能见度预报值，
为气象观测站
观测的能见度值，
为神经网络参数的L2范数，
为正则化调节系数，且
；
接着，利用反向传播算法与梯度下降算法对模型进行训练，反向传播的过程如下：
（1）通过式（4）的前向运算得到神经网络第N层的输出结果
，
式中，
为神经网络第N层的输出结果，
为神经网络第N层的参数，tanh为
神经网络的激活函数，
为神经网络第N层的偏置项参数；
（2）继续通过神经网络第N层梯度信息的计算式（5），得到神经网络第N层的梯度值
，
式中，
为神经网络第N层的梯度值，
为神经网络中损失函数对
激活函数的梯度项，e为矩阵的点乘运算，
为神经网络中激活函数对于输出值
的梯度项；
（3）进而利用反向传播计算神经网络浅层项梯度的式（6）得到神经网络第N-1层的
梯度值
，
式中，
为神经网络第N-1层的梯度值，
为神经网络第N层参数的转置表
示；
（4）通过反向传播算法得到模型的梯度值后，使用梯度下降法进行迭代训练，得到由第i次到第i+1次迭代时产生的参数，如式（7）所示，
式中，
为神经网络第N层、第i+1次迭代时产生的参数，
为第i+1次迭代
时的学习率，通过梯度下降算法可以不断对模型进行训练，直至模型收敛；
（5）最后，通过收敛的模型对实时气象因子预报值进行预处理后，利用完整的神经
网络模型对预处理后的气象因子进行运算，如式（8）所示，得到未来时刻关键地区的能见度
预报值
，
式中，
为t时刻能见度的预报值，F为完整的神经网络模型，P为气象因子的预
处理操作，
为WRF模型输出的t时刻气象因子的预报值集合。
进一步，步骤S5中神经网络模型的参数进行更新的过程如下：
首先，将神经网络模型输出的能见度预报值进行缓存；
然后，当达到下次预报时刻时，通过气象观测站的观测值与缓存值进行损失计算，利用方向传播与梯度下降对神经网络模型中的全连接层参数进行更新。
有益效果：与现有技术相比，本发明具有以下优点：
（1）本发明将同一网格点不同高度层上的多个气象因子预报值置于同一通道，将空间其它位置的网格点数据置于不同通道，本阀门考虑了多个高度层、多个气象要素对能见度的综合影响，更符合影响能见度的物理机制，从而增强对气象因子的建模能力。
（2）本发明考虑了数值预报产品网格点与实际需要预报点之间存在的空间差异，采用D2 Block网络结构进行数值模式结果的特征提取，从而能充分空洞卷积与密集连接的优点，充分考虑气象因子之间的关联性，同时也可以综合各通道的空间信息，完成预报产品的降尺度及特征提取。
附图说明
图1为本发明所述基于多气象因子智能深度学习的能见度预报模型的流程示意图；
图2为现有技术中气象因子数据建模方式示意图；
图3为本发明具体实施方式中气象因子数据建模方式示意图；
图4为本发明具体实施方式中特征提取示意图；
图5为本发明具体实施方式中采用的D2 Block结构示意图
图6为本发明具体实施方式中所述神经网络模型的参数更新流程示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，为本发明基于深度学习技术的精细化能见度预报方法示意图。本发明基于多气象因子智能深度学习的能见度预报模型的流程方法，主要包括：数值预报模式选择、数据建模、特征提取、能见度映射与神经网络训练、能见度预报与实时更新等步骤。本实施案例以南京市禄口机场能见度的预报为例，详细介绍本发明方法的技术思路及流程：
步骤S1:数值预报模式选择
依据本案例针对地区的天气气候特征、地理特征、时空分辨率及针对低能见度的物理特征，本发明选取使用区域数值预报模式WRF进行网格型的气象因子预报。WRF是一种中尺度天气预报模式，该模式输出的网格型气象因子预报值有利于数据的建模以及针对具体地区的精细化能见度预报。
步骤S2:数据预处理
图2为现有技术中心常见的气象因子数据建模方式。使用此种方式对数据进行建模，则卷积操作提取的特征主要为不同网格点单一气象因子的空间相关性，位于同一网格点不同气象因子之间的关系则难以进行提取。
图3为本实施案例使用的数据建模方式。该建模方式创新的将同一网格点的多个气象因子置于同一通道，将其它位置的网格点数据置于不同通道，以建立神经网络模型。除此之外，本建模方式还使用不同高度的数据对平面数据进行扩充（即采用的是空间网格点对应多个气象因子，相对于常规技术采用的是地表气象因子）。与以往常用的建模方式相比，本案例中采用的建模方式更加关注于气象因子之间的关系以及能见度与气象因子之间的关系，空间信息则作为补充数据。此建模方式更加适用于输出单通道的针对目标点的精细化能见度预报。建模之后，原本是分散的、无规律的、不符合深度学习输入格式的气象数据，变成了深度学习网络可识别的、类图像数据。
步骤S3:特征提取与能见度映射
对WRF产品输出的气象因子预报值进行数据预处理后，便可利用深度学习方法提取气象因子的深层特征。由于中尺度数值预报模式的水平分辨率并不能满足能见度预报的精细化要求，因此在特征提取的过程中，需要进行提高分辨率的降尺度操作，得到关键地区的高分辨率气象因子深层特征。已有的特征降尺度操作大多只考虑单个气象因子的空间性，即根据空间插值或统计方法进行降尺度。然而数值预报产品具有一定的误差且不同的气象因子之间可能会相互影响，因此在特征提取的过程中，需要综合考虑气象因子的空间分布及不同气象因子之间的关联性。另外，影响低能见度的天气主要是边界层过程，具有明显的三维结构特征，以往的工作中大多只考虑近地面层的气象因子，这种做法忽略了大气的层结特征，是不全面的。本案例特征提取的示意图如图4所示，其综合考虑了气象因子的三维空间特征以及不同气象因子之间的相互关系。
本实施案例采用D2 Block结构进行气象因子的深层特征提取，D2 Block是2021年Naoya Takahashi与Yuki Mitsufuji提出的一种神经网络结构（Takahashi N, MitsufujiY. Densely connected multi-dilated convolutional networks for denseprediction tasks[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition. 2021: 993-1002.），图5为D2 Block结构的示意图。使用普通卷积操作对同一通道的不同气象因子进行特征提取，仅能提取部分气象因子之间的关系，剩余气象因子之间的关系则需要不断的进行卷积，直到神经网络的层数足够多才可以提取到；使用全连接操作可以同时对所有的气象因子进行特征提取，但此操作会导致参数过多，难以训练，并且神经网络极易受到干扰气象因子的影响。通常，空洞卷积可以扩大卷积的感受野，密集连接可以加强层级之间的特征融合能力，但直接对两种操作进行融合则会造成严重的混叠误差。本发明选用D2 Block通过在神经网络的不同位置设置不同的膨胀率将两项操作进行了融合，即使用密集连接的多空洞卷积进行气象因子的特征提取。密集连接的多空洞卷积将神经网络不同深度的特征使用不同膨胀率的空洞卷积进行融合以得到新的特征，该操作既可以充分利用密集连接与空洞卷积的优点，又可以避免直接使用空洞卷积与密集连接所造成的混叠误差。
D2 Block的计算方法如公式（1）和（2）所示，其中代表D2 Block第层的输出结果，此时的输出结果为气象因子的中间特征，
式中，
代表D2 Block第i层的输出结果，
代表膨胀因子为
的空洞卷积运
算，
为神经网络第i层输出结果对于神经网络第
层输出结果的贡献的参数。膨胀率
的计算方法如公式2所示，其中i代表神经网络中对于第
层输出结果有贡献的中间层。
通过重复D2 Block结构的运算即得到气象因子的深层特征。将此深层特征作为输入，进行全连接结构的映射后便可以得到关键地区的能见度预报值。
本步骤确定了神经网络的具体结构，利用此结构可以对预处理后的气象因子进行计算，得到能见度预报值。但此时神经网络结构中的参数还未确定，完整的神经网络模型还需要利用历史数据对神经网络进行训练，详见下述步骤。
步骤S4:神经网络训练
确定了神经网络的结构后，便可利用历史数据对神经网络进行训练，得到神经网络各部分的参数值。将历史数据中的WRF输出值与气象观测站的能见度观测值在时间上进行对应后即可对神经网络进行训练。
首先，由于气象数据具有很强的时间、空间连续性，同一段时间内的气象数据可能具有极大的相似性，本发明神经网络模型的损失函数在均方误差的基础上使用L2正则化对参数进行约束以防止出现过拟合。如式3所示，本发明采用均方误差函数的形式损失函数Loss，
式中，Loss为损失函数的值，V为神经网络输出的能见度预报值，
为气象观测站
观测的能见度值，
为神经网络参数的L2范数，
为0至1之间的正则化调节系数。
接着，利用反向传播算法与梯度下降算法对模型进行训练，反向传播的过程如公式4-6所示，
（1）通过下 式（4）的前向运算得到神经网络第N层的输出结果
，
式中，
为神经网络第N层的输出结果，
为神经网络第N层的参数，tanh为
神经网络的激活函数，
为神经网络第N层的偏置项参数。
（2）继续通过神经网络第N层梯度信息的计算式（5），得到神经网络第N层的梯度值
，
式中，
为神经网络第N层的梯度值，
为神经网络中损失函数对
激活函数的梯度项，e为矩阵的点乘运算，
为神经网络中激活函数对于输出值
的梯度项。
（3）进而利用反向传播计算神经网络浅层项梯度的式（6）得到神经网络第N-1层的
梯度值
，
式中，
为神经网络第N-1层的梯度值，
为神经网络第N层参数的转
置表示。
（4）通过反向传播算法得到模型的梯度值后，使用梯度下降法进行迭代训练，得到由第i次到第i+1次迭代时产生的参数，如式（7）所示，
式中，
为神经网络第N层、第i+1次迭代时产生的参数，
为第i+1次迭代
时的学习率。通过梯度下降算法可以不断对模型进行训练，直至模型收敛。
（5）最后，通过收敛的模型对实时气象因子预报值进行预处理后，利用完整的神经
网络模型对预处理后的气象因子进行运算，如式（8）所示，得到未来时刻关键地区的能见度
预报值
，
式中，
为t时刻能见度的预报值，F为完整的神经网络模型，P为气象因子的预
处理操作，
为WRF模型输出的t时刻气象因子的预报值集合。
步骤S5: 能见度预报与模型参数更新
将神经网络训练至收敛后，便可以利用神经网络与实时输出的WRF数据进行能见度的预报。此时的神经网络是利用历史数据得到的，因此其泛化性可能较差，对于与历史数据偏差较大的情况可能无法进行准确的能见度预报，因此本案例使用Finetune的策略对神经网络的参数进行实时更新。具体做法为神经网络输出预报值时，可以对预报值进行缓存，当时间点到达预报的时刻时，可以通过气象观测站的观测值与缓存值进行损失计算，利用反向传播与梯度下降对神经网络中的全连接层的参数进行更新。更新的流程图如图6所示，首先对模型特征提取部分的参数进行冻结，其次利用损失函数计算出预报值与观测值之间的损失值，最后利用反向传播与梯度下降算法对模型的全连接层进行参数更新。不断产生的气象数据会逐步优化神经网络全连接模块的参数，使其适用于更多的天气情况。
本实施案例完整的模型运算流程如公式9所示，
其中
为c时刻的能见度预报模型，P为气象因子的预处理操作，
为
WRF模型输出的t+c时刻气象因子的预报值集合，
为c时刻模型输出的t+c时刻的能见
度预报值。用来训练的数据拥有很强的局限性，为了让模型适用于更多的情况，需要尽可能
地使用更多的数据。因此在模型的实际使用中需要基于Finetune微调策略，不断利用新产
生的数据以及过去的预报值对模型的全连接层参数进行更新，增强模型的能见度预报能
力。
Claims (3)
1.一种基于多气象因子智能深度学习的能见度预报方法，其特征在于包括以下步骤：
步骤S1，数值预报模式选取：根据地区气象和地理条件选择数值预报模式；
步骤S2，气象因子建模：以空间同一网格点上的多个气象因子作为一个通道项，将空间多个网格点的特征作为多通道项进行补充，建立能见度预报的神经网络模型；所述多个气象因子包括温度、风速、湿度、大气层结；
步骤S3，特征提取与能见度映射：对数值预报模式输出的气象因子预报值进行提高分辨率的降尺度操作，从而得到关键地区的高分辨率气象因子数值，进而得到高分辨率气象因子的深层特征；将此深层特征作为神经网络模型的输入，进行全连接结构的映射后便可以得到关键地区的能见度预报值；
步骤S4，神经网络模型训练：获取历史数据并通过步骤S1所述数值预报模式处理得到预报值数据，并与气象观测站的能见度观测值对应后，对神经网络模型进行训练，得到收敛后的神经网络模型；
步骤S5，能见度预报与模型参数更新：通过步骤S4得到收敛后神经网络模型对步骤S1所述数值预报模式的实时输出数据进行处理得到能见度预报，同时对神经网络模型的参数进行更新；
步骤S3采用D2 Block结构进行特征提取，D2 Block结构的第i层输出结果通过式（1）和（2）得到，
式中，
代表膨胀因子为
的空洞卷积运算，
为神经网络第i层输出结果对于
神经网络第
层输出结果的贡献的参数，
表示神经网络总层数；
步骤S4中利用历史数据对神经网络模型训练的具体步骤如下：
首先，所述神经网络模型采用式（3）所示损失函数Loss对参数进行约束以防止出现过拟，
式中，Loss为损失函数的值，V为神经网络输出的能见度预报值，
为气象观测站观测
的能见度值，
为神经网络参数的L2范数，
为正则化调节系数，且
；
接着，利用反向传播算法与梯度下降算法对模型进行训练，反向传播的过程如下：
（1）通过式（4）的前向运算得到神经网络第N层的输出结果
，
式中，
为神经网络第N层的输出结果，
为神经网络第N层的参数，tanh为神经网络
的激活函数，
为神经网络第N层的偏置项参数；
（2）继续通过神经网络第N层梯度信息的计算式（5），得到神经网络第N层的梯度值
，
式中，
为神经网络第N层的梯度值，
为神经网络中损失函数对激
活函数的梯度项，e为矩阵的点乘运算，
为神经网络中激活函数对于输出值
的梯度项；
（3）进而利用反向传播计算神经网络浅层项梯度的式（6）得到神经网络第N-1层的梯度
值
，
式中，
为神经网络第N-1层的梯度值，
为神经网络第N层参数的转置表
示；
（4）通过反向传播算法得到模型的梯度值后，使用梯度下降法进行迭代训练，得到由第i次到第i+1次迭代时产生的参数，如式（7）所示，
式中，
为神经网络第N层、第i+1次迭代时产生的参数，
为第i+1次迭代时
的学习率，通过梯度下降算法可以不断对模型进行训练，直至模型收敛；
（5）最后，通过收敛的模型对实时气象因子预报值进行预处理后，利用完整的神经网络模型对预处理后的气象因子进行运算，如式（8）所示，得到未来时刻关键地区的能见度预报值，
式中，
为t时刻能见度的预报值，F为完整的神经网络模型，P为气象因子的预处理
操作，
为WRF模型输出的t时刻气象因子的预报值集合。
2.根据权利要求1所述基于多气象因子智能深度学习的能见度预报方法，其特征在于：步骤S1所述数值预报模式采用中尺度天气预报模式WRF。
3.根据权利要求2所述基于多气象因子智能深度学习的能见度预报方法，其特征在于：步骤S5中神经网络模型的参数进行更新的过程如下：
首先，将神经网络模型输出的能见度预报值进行缓存；
然后，当达到下次预报时刻时，通过气象观测站的观测值与缓存值进行损失计算，利用方向传播与梯度下降对神经网络模型中的全连接层参数进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812014.8A CN114880958B (zh) | 2022-07-12 | 2022-07-12 | 一种基于多气象因子智能深度学习的能见度预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812014.8A CN114880958B (zh) | 2022-07-12 | 2022-07-12 | 一种基于多气象因子智能深度学习的能见度预报方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114880958A CN114880958A (zh) | 2022-08-09 |
| CN114880958B true CN114880958B (zh) | 2022-10-11 |
Family
ID=82683249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210812014.8A Active CN114880958B (zh) | 2022-07-12 | 2022-07-12 | 一种基于多气象因子智能深度学习的能见度预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114880958B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116070676B (zh) * | 2023-03-28 | 2023-06-30 | 南京气象科技创新研究院 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
| CN116108761B (zh) * | 2023-04-12 | 2023-06-27 | 中国科学院地理科学与资源研究所 | 一种耦合深度学习和hasm的区域气候模拟方法和系统 |
| CN117034780B (zh) * | 2023-08-31 | 2024-04-19 | 江苏省气候中心 | 一种基于深度学习的多尺度次季节降水量预测方法 |
| CN117269011B (zh) * | 2023-11-13 | 2024-01-30 | 珠海光焱科技有限公司 | 基于激光光路测量系统的气象能见度判断方法 |
| CN117609738A (zh) * | 2024-01-19 | 2024-02-27 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 集合多因素的大气能见度预测方法、计算机设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705115A (zh) * | 2019-10-10 | 2020-01-17 | 北京北科融智云计算科技有限公司 | 一种基于深度置信网络的气象预报方法和系统 |
| WO2021204226A1 (zh) * | 2020-04-09 | 2021-10-14 | 国网江苏省电力有限公司苏州供电分公司 | 基于雷云轨迹跟踪的雷电条件下的光伏功率预测方法 |
| CN114169445A (zh) * | 2021-12-09 | 2022-03-11 | 河海大学 | 基于cae和gan混合网络的日前光伏功率预测方法、装置与系统 |
| CN114511061A (zh) * | 2021-12-29 | 2022-05-17 | 青岛市气象台 | 基于深度神经网络的岸滨地区海雾能见度预报方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9798751B2 (en) * | 2013-10-16 | 2017-10-24 | University Of Tennessee Research Foundation | Method and apparatus for constructing a neuroscience-inspired artificial neural network |
| CN106527958B (zh) * | 2015-09-09 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 用于分布式存储系统的写入数据、获取数据的方法和设备 |
| CN108227039B (zh) * | 2017-12-12 | 2023-09-22 | 南京理工大学 | 一种大气湍流强度和能见度测量装置 |
| CN110471131B (zh) * | 2019-08-16 | 2023-04-18 | 中国海洋大学 | 高空间分辨率的精细化大气水平能见度自动预报方法及系统 |
| CN110659593A (zh) * | 2019-09-09 | 2020-01-07 | 南京邮电大学 | 基于改进DiracNet的城市雾霾能见度检测方法 |
| CN112285807B (zh) * | 2019-11-12 | 2023-11-07 | 北京嘉韵楷达气象科技有限公司 | 一种气象信息预测方法及装置 |
| CN111738314B (zh) * | 2020-06-09 | 2021-11-02 | 南通大学 | 基于浅层融合的多模态图像能见度检测模型的深度学习方法 |
| CN111967332B (zh) * | 2020-07-20 | 2021-08-31 | 禾多科技（北京）有限公司 | 用于自动驾驶的能见度信息生成方法和装置 |
| CN111898693A (zh) * | 2020-08-06 | 2020-11-06 | 上海眼控科技股份有限公司 | 能见度分类模型的训练方法、能见度估计方法、装置 |
| KR102283968B1 (ko) * | 2020-11-27 | 2021-07-30 | 한국해양과학기술원 | 이미지 학습 기반 시정 관측 정보 생성 및 공유 시스템과 그 방법 |
-
2022
- 2022-07-12 CN CN202210812014.8A patent/CN114880958B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705115A (zh) * | 2019-10-10 | 2020-01-17 | 北京北科融智云计算科技有限公司 | 一种基于深度置信网络的气象预报方法和系统 |
| WO2021204226A1 (zh) * | 2020-04-09 | 2021-10-14 | 国网江苏省电力有限公司苏州供电分公司 | 基于雷云轨迹跟踪的雷电条件下的光伏功率预测方法 |
| CN114169445A (zh) * | 2021-12-09 | 2022-03-11 | 河海大学 | 基于cae和gan混合网络的日前光伏功率预测方法、装置与系统 |
| CN114511061A (zh) * | 2021-12-29 | 2022-05-17 | 青岛市气象台 | 基于深度神经网络的岸滨地区海雾能见度预报方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114880958A (zh) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114880958B (zh) | 一种基于多气象因子智能深度学习的能见度预报方法 | |
| CN110059878B (zh) | 基于cnn lstm光伏发电功率预测模型及其构建方法 | |
| CN110070226B (zh) | 基于卷积神经网络与元学习的光伏功率预测方法及系统 | |
| CN109784480B (zh) | 一种基于卷积神经网络的电力系统状态估计方法 | |
| CN111967679A (zh) | 基于tcn模型的电离层总电子含量预报方法 | |
| CN113393032B (zh) | 基于重采样下的航迹循环预测方法 | |
| CN112862090A (zh) | 一种基于深度时空神经网络的气温预报方法 | |
| CN117319231A (zh) | 一种基于蜣螂算法优化vmd的网络流量预测方法与系统 | |
| Isaksson et al. | Solar power forecasting with machine learning techniques | |
| CN115471016B (zh) | 一种基于cisso与daed的台风预测方法 | |
| CN113159452B (zh) | 基于时空相关性的风电集群功率预测方法 | |
| CN116702627B (zh) | 一种基于深度卷积神经网络的城市暴雨内涝快速模拟方法 | |
| CN113592132B (zh) | 一种基于数值天气预报和人工智能的降水客观预报方法 | |
| Singh et al. | Deep learning for improved global precipitation in numerical weather prediction systems | |
| Aliberti et al. | Forecasting Short-term Solar Radiation for Photovoltaic Energy Predictions. | |
| CN116152206A (zh) | 一种光伏输出功率预测方法、终端设备及存储介质 | |
| CN115438841A (zh) | 基于人工智能精准预测降雨模型的训练方法及预测方法 | |
| CN116579509A (zh) | 一种基于虚拟现实的光伏发电预测方法 | |
| CN117332227A (zh) | 一种多时空尺度注意力机制的环境变量预测方法及设备 | |
| CN117241215A (zh) | 一种基于图神经网络的无线传感器网络分布式节点协作定位方法 | |
| CN115357862A (zh) | 一种狭长空间中的定位方法 | |
| CN113933915B (zh) | 一种基于时空扰动信息交互集成嵌套的短临外推预报方法 | |
| CN116070763A (zh) | 基于梯度进化的新建风电场风电功率预测方法及系统 | |
| Kudo | Statistical post-processing for gridded temperature prediction using encoder–decoder-based deep convolutional neural networks | |
| Grace et al. | Wind speed prediction using extra tree classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |