CN115561834A - 基于人工智能气象短临预报一体机 - Google Patents

基于人工智能气象短临预报一体机 Download PDF

Info

Publication number
CN115561834A
CN115561834A CN202211171210.8A CN202211171210A CN115561834A CN 115561834 A CN115561834 A CN 115561834A CN 202211171210 A CN202211171210 A CN 202211171210A CN 115561834 A CN115561834 A CN 115561834A
Authority
CN
China
Prior art keywords
forecast
short
model
term
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211171210.8A
Other languages
English (en)
Inventor
刘学光
彭晓飞
高东升
李彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weather Online Beijing Meteorological Technology Co ltd
Original Assignee
Weather Online Beijing Meteorological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weather Online Beijing Meteorological Technology Co ltd filed Critical Weather Online Beijing Meteorological Technology Co ltd
Priority to CN202211171210.8A priority Critical patent/CN115561834A/zh
Publication of CN115561834A publication Critical patent/CN115561834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W2203/00—Real-time site-specific personalized weather information, e.g. nowcasting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明是基于人工智能气象短临预报一体机。所述方法包括：通过以终端一体机为载体为经典机器学习和深度学习提供了从气象大数据处理、模型训练、模型管理到模型推理的全生命周期管理服务。并且利用卡尔曼滤波订正预处理、利用U‑Net建立不同预报时效模式预测与真值间的映射模型实现满足最终业务场景对短临预报数据的应用要求，以此能够使得更加方便获取天气短临预报，并且使预报更加准确。

Description

基于人工智能气象短临预报一体机
技术领域
本发明涉及人工智能(AI)与大气科学(气象)领域，具体涉及基于人工智能气象短临预报。
背景技术
本发明是基于人工智能气象短临预报一体机的应用平台产品，是一款集用户管理、任务管理、资源管理和监控于一体的平台，是一个使用者提供机器学习、深度学习的集成环境，为经典机器学习和深度学习提供了从数据处理、模型训练、模型管理到模型推理的全生命周期管理服务。在得到任务或输入的指令后，自动运行，并操作完成下发的任务。
本发明是以轻量化的方式部署到边缘，拥有多种规格的产品形态。旨在帮助使用者聚焦于模型训练，并且通过软硬一体的交付模式帮助使用者迅速开展深度学习工作，提高短临预报精准度，满足各种业务场景的应用需求。
发明内容
本发明这是集人工智能、大数据技术一体化交付产品，在硬件层面上采用行业内标准的IT基础架构，通过预集成功能提供整体化交付能力，实现软硬的现深度融合。使用者无需单独采购算力资源以及应用部署的情况下通过远程指令直接使用人工智能平台来完成模型训练、推理。
另外在平台层面本发明是通过对感知网、大数据智能处理与知识图谱以及AI技术生态，运用物联网、大数据、云计算、人工智能等技术手段结合自主研发技术进行深度融合，形成泛在敏捷的气象感知能力，通过标准、规范的体系，实现一站式提供数据从采、建、管、用全生命周期的大数据能力，提升数据治理水平，并且，通过本发明提供的模型训练、模型测试和模型分发、模型管理和项目管理等 AI工具，在气象观测、气象识别、自然灾害等视觉场景上实现降本增效提质的人工智能应用能力，构建满足多业务场景。主体架构图参照图1。
本专利与现有技术的区别点：
本发明使用多项人工智能与已经技术，通过一体机的高性能的算力支持、强大的数据处理服务以及深度适配气象短临预报模型推理服务硬件支撑，结合软件层面为使用者提供云端一体、软硬件协同、气象数据的训练推理融合、具备统一生态系列智能化产品和平台化产品。
本专利的效果：
本发明是秉承“以用户为中心、以需求为导向”的服务理念，以传播气象信息、服务气象为核心。通过利用人工智能和大数据技术，建立了短临预报模型，通过使用机器学习、深度学习方法构建预报范围内的强对流天气识别模型，通过以模型对强对流天气(雷暴、大风、冰雹、短时强降水等)进行识别和判断，输出各类强对流天气的发生概率，实现实现了短临天气的高精准预报，提供防灾减灾能力。
附图说明
图1为本发明的系统的主体架构图。
图2为本发明的业务操作流程图。
图3为本发明浅层神经网络结构示意图。
图4为本发明典型RNN结构示意图。
图5为本发明LSTM内部细胞单元结构示意图。
图6为本发明ConvLSTM的模型内部结构示意图。
图7为本发明短临降水预报订正系统模型运行整体构架图。
图8为本发明短中期降水预报订正系统模型运行整体构架图。
图9为本发明人工智能气象短临预报一体机样式。
图10为本发明短临预报流程。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。图2是本公开的实施例的气象数据的准备、模型搭建\训练到最后的产品应用。
基于人工智能气象短临预报一体机的预报方法，包括如下：1、基于站点观测制作能真实反映预报区域降水实况的分钟级降水量数据采集；2、以降水量格点产品作为模型训练的标签数据，利用深度学习方法对模式产品进行订正，综合提高晴雨预报以及强降水预报能力；3、对订正的分钟级降水预报产品进行评估，以晴雨报、强降水预报的TS评分评估预报准确性。
详细实施步骤说明如下：
步骤一：气象预报数据处理方法：1)、通过资料同化模式融合逐5分钟站点观测数据，生成覆盖预报范围逐12分钟1km分辨率的定量降水估测数据，作为训练模型的标签数据；2)、利用预报范围内原有的逐12min的0-360min短临降水模式预报，建立起来了高时空分辨率的训练样本数据集； 3)、数据分类标注，对标签数据集进行深度学习，建立形势场回波相似搜索初筛模型，用模型为样本集的每一标签数据从历史数据集中搜索相似数据，从而扩展样本获得更丰富的标签数据集；然后，按标注规则对该数据集进行下一轮的人为标签调整，进而迭代训练模型；如此往复，直至最新一轮模型标注后按标注规则不用再人为调整数据标签，即可认为模型搜索能力符合需求，即可快速为任一组形势场数据搜索相似度最高的历史数据。
步骤二：建立由模式预报到观测的、“终到终”的后处理系统，依托人工智能气象短临预报一体机的深度学习技术对卡尔曼滤波、Unet、PredRNN原始模式预报产品订正，形成短临降水预报订正模型，实时输出订正格点预报产品，由模式预报到观测的、“终到终”的后处理系统。
通过卡尔曼滤波预处理方法的实施对前期预报数据进行订正，得到一个较好的权重值，作为Unet深度学习训练模型的输入数据，作为预报因子之一；
卡尔曼滤波Kalman Filter和复卡尔曼滤波Augmented Complex ExtendedKalman Filter卡尔曼滤波的模型结构原理具体实施分为以下两部分：
具体实施预报方程：
Figure RE-GDA0003925650450000031
Figure RE-GDA0003925650450000032
分析方程：
Figure RE-GDA0003925650450000041
Figure RE-GDA0003925650450000042
Figure RE-GDA0003925650450000043
上标f与a分别代表了预报与分析状态，下表t表示时次，状态向量W包含了模式成员在预报范围内的权重系数：
Figure RE-GDA0003925650450000044
N与M分别代表参与的模式个数以及预报范围内的格点总数；
I即单位矩阵，公式假设了权重系数集成的多模式集成预报在短期内是最优的，因此上一步的分析权重Wa可作为下一步的预报权重Wf；
观测算子H包含了参与集成的模式的预报值，并将他们投影到观测空间Y，因此方程中Y-HW 即为预报残差，卡尔曼增益K类似比例系数，当K趋于0时，权重系数趋于稳定，算法收敛，H的结构如下：
Figure RE-GDA0003925650450000045
式中，f为模式预报结果；
权重误差协方差矩阵P由方程⑥与方程⑨决定，它包含了空间与模式之间的误差协方差，尽管P 的初值是随机的，但P内的元素最好不为全0，因为这样很可能使算法认为初始的权重W即为最优权重；
Q与R分别为模式误差协方差矩阵与观测误差协方差矩阵，因为缺少对模式误差的了解，我们采用最小二乘法确定Q与R；
当面对风场预报以及台风路径预报等具有二维变量场的预报要素时，用于二维订正的扩展复卡尔曼滤波技术Augmented Complex Extended Kalman Filter，ACEKF；
某一点的风、台风简单地表示成复数，实部(虚部)表示纬向风或经度(经向风或纬度)；采用 ACEKF的优势在于误差协方差矩阵将整体演变，最终获得整体最优的风场或台风路径，在ACEKF中，所有的初始向量或矩阵如下扩展：
Figure RE-GDA0003925650450000051
预报期中，权重系数将根据模式预报自动调整，预报方程为：
Figure RE-GDA0003925650450000052
在PredRNN预报残差外推模型实施例中，PredRNN预报残差短临降水预报场、前期KF权重和实况场再次建立高质量的Vnet深度学习模型训练数据集，实现Vnet模型方法原理建立深度学习逐 12min未来0-360min的短临降水预报订正模型。通过由卷积运算(Convolutional)和长短期记忆神经网络(LSTM)，组成的卷积长短期记忆神经网络(ConvLSTM)。实现对未来时刻的变化做出预测，详细实施方法如下：
浅层神经网络(NN)由多层节点组成，每个节点都是由输入值和相应权重相乘后，对所有乘积求和，再加上该层一个偏置项得到，即：
Figure RE-GDA0003925650450000061
(1)其中，w为权重，x为输入的数据，b为偏置项，i为上一层神经元个数，j为当前层神经元个数。
如图3，第一层为输入层，例如有三个节点接收数据x1，x2，x3，每个节点利用公式⑩计算，通过激活函数f激活，产生下一层的输入值，即隐藏层的输入值，其计算方法为：
Figure RE-GDA0003925650450000062
(2)其中，a为当前节点的输出值，x为输入数据，w为权重，f为激活函数，b为偏置项，i为上一层神经元个数，j为当前层神经元个数。按图3中结构计算得到：
Figure RE-GDA0003925650450000063
Figure RE-GDA0003925650450000064
Figure RE-GDA0003925650450000065
上标表示所在层数，第二层为隐藏层，每个神经元接收上一层输出值作为输入，再通过激活函数激活输出，最终到达输出层并输出yi。
Figure RE-GDA0003925650450000071
为了计算过程中节省计算量和避免梯度消失问题，使得模型的收敛速度维持在稳定状态。同时，也为了一定程度上减小了参数的依赖关系，缓解了过拟合问题的发生。本发明使用的激活函数为ReLU：
Figure RE-GDA0003925650450000075
为了使循环神经网络(RNN)和长短期记忆神经网络(LSTM)，能够对未来时刻的变化做出预测，尤其是对连续且非线性变化的气象要素，如降水、风向和风速等，在浅层神经网络的基础结构上引入了定向循环，构造出循环神经网络模型。通过神经元记忆之前时刻时间序列变量的信息，传递到下一个时刻的计算中，能更好地建立时间序列变量间非线性的映射，对未来时刻的变化做出预测。
将输入值与输入层权重的积分为两条，一条传递到输出层，另一条传递到下一时刻的隐藏层，从过去时间序列中学习有用信息，传递到未来时刻数据预测中。隐藏层和输出层的输出信息将由如下公式计算得到：
Figure RE-GDA0003925650450000076
Figure RE-GDA0003925650450000077
如图4，其中，h为隐藏层输出值，f为激活函数，u为输入层权重，x为输入的时间序列数据，w 为上一时刻的数据权重，b为偏置项，y为输出层输出值，v为隐藏层权重，t为时间。
利用长短期记忆(LSTM)神经网络，在RNN模型中增加“输入门”、“输出门”和“遗忘门”，将前一时刻的细胞单元信息传递至当前时刻细胞单元，并由另一个单元决定何时保留或消除记忆信息。这样就可以使用过去时刻的历史数据，较好地捕捉序列隐藏的关系的同时并不产生梯度衰减的现象，做出较长时间序列的预测，成功解决RNN无法捕捉到较长时刻之前的历史数据这一情况。
如图5，LSTM细胞单元随着图中箭头流动方向计算。前一时刻的细胞单元将信息输出，作为下一时刻细胞单元的输入。圆圈中是每一步进行的运算(如向量的加减乘)，黑线代表信息的流动。实施公式如下：
Figure RE-GDA0003925650450000089
Figure RE-GDA00039256504500000810
Figure RE-GDA00039256504500000811
Figure RE-GDA00039256504500000812
Figure RE-GDA00039256504500000813
it，ft，和ot分别是输入门、遗忘门和输出门的方程；ct是记忆细胞，也是细胞当前的状态；这里面要么保留当前输入的特征，要么维持前面某个时刻输入的特征往下传递。而这个取决于输入门和输出门的打开或者关闭，它们共同计算出隐藏层的值ht，公式中的“⊙”表示矩阵乘法。Wxi、Wxf、Whi、Wci、Wcf、Wxc、Whc、Wxo、Who均为权重参数，bi、bf、bc、bo均为可学习的偏移参数。
将卷积运算和池化运算融入LSTM当中，使得预测模型能够很好的捕捉到空间场特征进行学习和训练，实现对要素的时空序列预测。
卷积运算主要计算方程如下：
Figure RE-GDA00039256504500000814
Figure RE-GDA00039256504500000815
Figure RE-GDA00039256504500000816
Figure RE-GDA00039256504500000912
Figure RE-GDA00039256504500000913
通过多个卷积核对二维空间场做滑动卷积运算，使得空间场的特征得以提取，输入信息也可以由原来LSTM中的一维场变为三维场，即图4中所示原理；LSTM的核心公式也由
Figure RE-GDA0003925650450000093
改进为
Figure RE-GDA0003925650450000094
Figure RE-GDA0003925650450000095
公式中主要变化在于W与X的运算改为了向量运算即“*”；
如此，就构建出了采用的ConvLSTM的运算模型，能够实现对要素的时空序列预测，即实现对具有空间分布特征的二维空间场进行外推预测，例如降水、风向和风速等。
通过PredRNN(Predictive Recurrent Neural Network)模型构造与实施，增加从一个时间步到下一个时间步的递归深度，使其具备了更强大的建模能力，以增强空间相关性和短期动态。
方法计算公式为：
Figure RE-GDA0003925650450000096
Figure RE-GDA0003925650450000097
Figure RE-GDA0003925650450000098
Figure RE-GDA0003925650450000099
Figure RE-GDA00039256504500000910
其中
Figure RE-GDA00039256504500000911
为构造的时空记忆(时间存储器和空间存储器)，它们依赖于上一层的隐藏状态和细胞状态，在当前时间步长上一层更新，公式中it，ft，和ot分别是输入门、遗忘门和输出门的方程；公式中的“⊙”表示矩阵乘法。Wxi、Whi、Wmi、Wxf、Whf、Wmf、Wxg、Whg、Who、Wmo均为权重参数，bi、bf、bg、bo均为可学习的偏移参数。经过结构改造，ST-LSTM的完整公式可以表示为：
Figure RE-GDA0003925650450000101
Figure RE-GDA0003925650450000102
Figure RE-GDA0003925650450000103
Figure RE-GDA0003925650450000104
Figure RE-GDA0003925650450000105
Figure RE-GDA0003925650450000106
Figure RE-GDA0003925650450000107
Figure RE-GDA0003925650450000108
同样的，式中it，ft，和ot分别是输入门、遗忘门和输出门的方程，
Figure RE-GDA0003925650450000109
为时间存储器，
Figure RE-GDA00039256504500001010
为空间存储器，
Figure RE-GDA00039256504500001011
表示隐藏层的值，下标t表示时间步长，上标表示ST-LSTM网络中的第k个隐藏层。公式中的“⊙”表示矩阵乘法，Wxi、Whi、Wmi、Wxf、Whf、Wmf、Wxg、Whg、Who、Wmo、Wmg、Wxo均为权重参数， bi、bf、bg、bo均为可学习的偏移参数。
通过Unet短临预报订正模型，预报残差短临降水预报场、前期KF权重和实况场再次建立高质量的Unet深度学习模型训练数据集，使用Unet模型方法原理建立深度学习逐12min未来0-360min的短临降水预报订正模型。
Unet主要训练实施步骤如下：
第一步：UNet采用全卷积神经网络。
第二步：左边网络为特征提取网络：使用conv和pooling
第三步：右边网络为特征融合网络：使用上采样产生的特征图与左侧特征图进行concatenate 操作。(pooling层会丢失图像信息和降低图像分辨率且是永久性的，对于图像分割任务有一些影响，对图像分类任务的影响不大，为什么要做上采样呢？上采样可以让包含高级抽象特征低分辨率图片在保留高级抽象特征的同时变为高分辨率，然后再与左边低级表层特征高分辨率图片进行 concatenate操作)
第四步：经过两次卷积操作，生成特征图，再用两个卷积核大小为1*1的卷积做分类得到最后的两张heatmap，例如第一张表示第一类的得分，第二张表示第二类的得分heatmap，然后作为softmax函数的输入，算出概率比较大的softmax，然后再进行loss，反向传播计算。
本专利的应用领域：
本发明涉及人工智能(AI)与大气科学(气象)领域，具体涉及基于人工智能气象短临预报。
已有技术/产品的简要介绍：
本发明是基于人工智能气象短临预报一体机的应用平台产品，是一款集用户管理、任务管理、资源管理和监控于一体的平台，是一个使用者提供机器学习、深度学习的集成环境，为经典机器学习和深度学习提供了从数据处理、模型训练、模型管理到模型推理的全生命周期管理服务。在得到任务或输入的指令后，自动运行，并操作完成下发的任务。
本发明是以轻量化的方式部署到边缘，拥有多种规格的产品形态。旨在帮助使用者聚焦于模型训练，并且通过软硬一体的交付模式帮助使用者迅速开展深度学习工作，提高短临预报精准度，满足各种业务场景的应用需求。
专利的内容：
本发明这是集人工智能、大数据技术一体化交付产品，在硬件层面上采用行业内标准的IT基础架构，通过预集成功能提供整体化交付能力，实现软硬的现深度融合。使用者无需单独采购算力资源以及应用部署的情况下通过远程指令直接使用人工智能平台来完成模型训练、推理。
另外在平台层面本发明是通过对感知网、大数据智能处理与知识图谱以及AI技术生态，运用物联网、大数据、云计算、人工智能等技术手段结合自主研发技术进行深度融合，形成泛在敏捷的气象感知能力，通过标准、规范的体系，实现一站式提供数据从采、建、管、用全生命周期的大数据能力，提升数据治理水平，并且，通过本发明提供的模型训练、模型测试和模型分发、模型管理和项目管理等 AI工具，在气象观测、气象识别、自然灾害等视觉场景上实现降本增效提质的人工智能应用能力，构建满足多业务场景。主体架构图参照图1。
本专利与现有技术的区别点：
本发明使用多项自主研发技术，通过一体机的高性能的算力支持、强大的数据处理服务以及深度适配气象短临预报模型推理服务硬件支撑，结合软件层面为使用者提供云端一体、软硬件协同、气象数据的训练推理融合、具备统一生态系列智能化产品和平台化产品。
本专利的效果：
本发明是秉承“以用户为中心、以需求为导向”的服务理念，以传播气象信息、服务气象为核心。通过利用人工智能和大数据技术，建立了短临预报模型，通过使用机器学习、深度学习方法构建预报范围内的强对流天气识别模型，通过以模型对强对流天气(雷暴、大风、冰雹、短时强降水等)进行识别和判断，输出各类强对流天气的发生概率，实现实现了短临天气的高精准预报，提供防灾减灾能力。
短临降水预报订正：
短临降水预报订正系统模型运行整体架构图参照图7。
(1)通过资料同化模式融合逐5分钟站点观测数据，生成覆盖预报范围逐12分钟1km分辨率的定量降水估测数据，作为训练模型的标签数据；
(2)对未来6小时内逐12分钟的降水预报，利用不同预报时效产品和定量降水估测数据选取适合短时强降水数据特征的深度学习方法训练短临降水预报订正模型；
(3)利用短临降水预报订正模型，实时输出模型订正后的格点预报产品，产品输出格式为 MICAPS四类格式，该产品可用于迭代训练模型；
(4)基于当年汛期降水事件，针对订正前后的数据样本集分别评估，最终模型订正效果符合建设要求，并形成评估报告。
(5)通过资料同化模式融合逐5分钟站点观测数据，生成覆盖预报范围逐12分钟1km分辨率的定量降水估测数据，作为训练模型的标签数据；其次，利用预报范围内原有的逐12min的0- 360min短临降水模式预报，建立起来了高时空分辨率的训练样本数据集。
(6)利用卡尔曼滤波方法对前期预报数据进行订正，得到一个较好的权重值，作为Unet深度学习训练模型的输入数据，作为预报因子之一。
(7)采用短临模式预报数据、短临降水实况数据建立起预报残差外推深度学习模型训练数据集，训练出短临降水预报残差外推模型，得到近期预报的残差，并叠加到原始模式预报上面，得到新的模式短临降水预报。
(8)建立Unet短临预报订正模型，使用预报残差短临降水预报场、前期KF权重和实况场再次建立高质量的Unet深度学习模型训练数据集，使用Unet模型方法原理建立深度学习逐12min未来 0-360min的短临降水预报订正模型。
中短期降水预报订正：
中短期降水预报订正系统模型运行整体架构图参照图8。
根据预报范围内模式降水预报结果，以基于人工智能气象短临预报一体机为载体深度学习挖掘多源数据预报极限融合，对多源数值降水预报产品进行订正，减小单个模式的系统误差，建立基于 AI的降水集合预报流程。
(1)对多源不同时空分辨率的区域降水预报产品和EC细网格预报的多层高多要素数据进行数据预处理，作为模型输入通道；
(2)根据中短期降水数据特征设计深度学习算法，对降水预报和形势场预报数据进行多通道训练，分别形成未来1～48小时内逐小时、51～72小时内逐3小时以及84～168小时内逐12小时的QPF订正模型；产品输出格式为MICAPS四类格式，该产品可用于迭代训练模型；
(3)通过迭代模型筛选最佳输入通道，最终获得的模型输出TS评分符合建设要求，并形成评估报告。

Claims (8)

1.基于人工智能气象短临预报一体机，在数据处理方法是以深度学习算法固化预报员经验建立短临降水预报订正模型，其特征在于：1)、基于站点观测制作能真实反映区域降水实况的分钟级降水量格点产品；2)、以降水量格点产品作为模型训练的标签数据，利用深度学习方法对模式产品进行订正，综合提高晴雨预报以及强降水预报能力；3)、对订正的分钟级降水预报产品进行评估，以晴雨报、强降水预报的TS评分评估预报准确性，包括以下步骤：
步骤一：气象预报数据处理方法：1)、通过资料同化模式融合逐5分钟站点观测数据，生成覆盖预报范围逐12分钟1km分辨率的定量降水估测数据，作为训练模型的标签数据；2)、利用预报范围内原有的逐12min的0-360min短临降水模式预报，建立起来了高时空分辨率的训练样本数据集；
步骤二：建立基于人工智能气象短临预报模型：通过深度学习技术对原始模式预报产品订正，形成短临降水预报订正模型，实时输出订正格点预报产品。
2.根据权利要求1所述的基于人工智能气象短临预报一体机，气象预报数据处理方法：利用卡尔曼滤波预处理，其特征在于利用卡尔曼滤波方法对前期预报数据进行订正，得到一个较好的权重值，作为Unet深度学习训练模型的输入数据，作为预报因子之一；
模型结构原理：卡尔曼滤波Kalman Filter和复卡尔曼滤波Augmented ComplexExtended Kalman Filter卡尔曼滤波，分为以下两部分：
预报方程：
Figure FDA0003862618940000011
Figure FDA0003862618940000012
分析方程：
Figure FDA0003862618940000013
Figure FDA0003862618940000014
Figure FDA0003862618940000015
上标f与a分别代表了预报与分析状态，下表t表示时次，状态向量W包含了模式成员在预报范围内的权重系数：
Figure FDA0003862618940000021
N与M分别代表参与的模式个数以及预报范围内的格点总数；
I即单位矩阵，公式假设了权重系数集成的多模式集成预报在短期内是最优的，因此上一步的分析权重Wa可作为下一步的预报权重Wf；
观测算子H包含了参与集成的模式的预报值，并将他们投影到观测空间Y，因此方程中Y-HW即为预报残差，卡尔曼增益K类似比例系数，当K趋于0时，权重系数趋于稳定，算法收敛，H的结构如下：
Figure FDA0003862618940000022
式中，f为模式预报结果；
权重误差协方差矩阵P由方程⑥与方程⑨决定，它包含了空间与模式之间的误差协方差，尽管P的初值是随机的，但P内的元素最好不为全0，因为这样很可能使算法认为初始的权重W即为最优权重；
Q与R分别为模式误差协方差矩阵与观测误差协方差矩阵，因为缺少对模式误差的了解，我们采用最小二乘法确定Q与R；
当面对风场预报以及台风路径预报等具有二维变量场的预报要素时，适用于二维订正的扩展复卡尔曼滤波技术Augmented Complex Extended Kalman Filter，ACEKF；
某一点的风、台风简单地表示成复数，通过实部、虚部表示纬向风或经度(经向风或纬度)；采用ACEKF的优势在于误差协方差矩阵将整体演变，最终获得整体最优的风场或台风路径，在ACEKF中，所有的初始向量或矩阵如下扩展：
Figure FDA0003862618940000031
预报期中，权重系数将根据模式预报自动调整，预报方程为：
Figure FDA0003862618940000032
。
3.根据权利要求1所述的基于人工智能气象短临预报一体机，建立基于人工智能气象短临预报模型，利用PredRNN建立预报残差外推模型；其特征在于，使用预报残差短临降水预报场、前期KF权重和实况场再次建立高质量的Unet深度学习模型训练数据集，使用Unet模型方法原理建立深度学习逐12min未来0-360min的短临降水预报订正模型。
4.根据权利要求3所述的基于人工智能气象短临预报一体机，建立基于人工智能气象短临预报模型，利用卷积长短期记忆神经网络ConvLSTM，Convolutional Long Short-TermMemory；其特征在于，卷积长短期记忆神经网络ConvLSTM简单说来由两个部分组成：卷积运算Convolutional和长短期记忆神经网络LSTM。LSTM的基础单位是神经网络，具体原理和计算方法如下：
浅层神经网络(NN)，网络结构参照图3所示：
浅层神经网络由多层节点组成，每个节点都是由输入值和相应权重相乘后，对所有乘积求和，再加上该层一个偏置项得到，即：
Figure FDA0003862618940000041
⑩其中，w为权重，x为输入的数据，b为偏置项，i为上一层神经元个数，j为当前层神经元个数。
如图3所示，第一层为输入层，例如有三个节点接收数据x1，x2，x3，每个节点利用公式⑩计算，通过激活函数f激活，产生下一层的输入值，即隐藏层的输入值，其计算方法为：
Figure FDA0003862618940000042
Figure FDA0003862618940000043
其中，a为当前节点的输出值，x为输入数据，w为权重，f为激活函数，b为偏置项，i为上一层神经元个数，j为当前层神经元个数。按图1中结构计算得到：
Figure FDA0003862618940000044
Figure FDA0003862618940000048
Figure FDA0003862618940000045
上标表示所在层数，第二层为隐藏层，每个神经元接收上一层输出值作为输入，再通过激活函数激活输出，最终到达输出层并输出yi。
Figure FDA0003862618940000046
为了计算过程中节省计算量和避免梯度消失问题，使得模型的收敛速度维持在稳定状态。同时，也为了一定程度上减小了参数的依赖关系，缓解了过拟合问题的发生。使用的激活函数为ReLU：
Figure FDA0003862618940000047
。
5.根据权利要求3所述的基于人工智能气象短临预报一体机，建立基于人工智能气象短临预报模型，利用循环神经网络(RNN)和长短期记忆神经网络(LSTM)；其特征在于，为了能够对未来时刻的变化做出预测，尤其是对连续且非线性变化的气象要素，如降水、风向和风速等，在浅层神经网络的基础结构上引入了定向循环，构造出循环神经网络模型；通过神经元记忆之前时刻时间序列变量的信息，传递到下一个时刻的计算中，能更好地建立时间序列变量间非线性的映射，对未来时刻的变化做出预测，RNN的典型结构参照图4所示：
将输入值与输入层权重的积分为两条，一条传递到输出层，另一条传递到下一时刻的隐藏层，从过去时间序列中学习有用信息，传递到未来时刻数据预测中；隐藏层和输出层的输出信息将由如下公式计算得到：
Figure RE-FDA0003908330600000043
Figure RE-FDA0003908330600000044
其中，h为隐藏层输出值，f为激活函数，u为输入层权重，x为输入的时间序列数据，w为上一时刻的数据权重，b为偏置项，y为输出层输出值，v为隐藏层权重，t为时间；
为实现预测模型无法记忆相隔较长时刻的历史数据问题，极大地降低了预报的准确率；针对RNN无法捕捉到较长时刻之前的历史数据这一情况，利用长短期记忆LSTM神经网络；在RNN模型中增加“输入门”、“输出门”和“遗忘门”，将前一时刻的细胞单元信息传递至当前时刻细胞单元，并由另一个单元决定何时保留或消除记忆信息；这样就可以使用过去时刻的历史数据，较好地捕捉序列隐藏的关系的同时并不产生梯度衰减的现象，做出较长时间序列的预测，其结构参照图5所示：
如图5，LSTM细胞单元随着图中箭头流动方向计算；前一时刻的细胞单元将信息输出，作为下一时刻细胞单元的输入；圆圈中是每一步进行的运算(如向量的加减乘)，黑线代表信息的流动。核心计算公式如下：
Figure RE-FDA0003908330600000045
Figure RE-FDA0003908330600000046
Figure RE-FDA0003908330600000051
Figure RE-FDA0003908330600000052
Figure RE-FDA0003908330600000053
it，ft，和ot分别是输入门、遗忘门和输出门的方程；ct是记忆细胞，也是细胞当前的状态；这里面要么保留当前输入的特征，要么维持前面某个时刻输入的特征往下传递；而这个取决于输入门和输出门的打开或者关闭，它们共同计算出隐藏层的值ht，公式中的“⊙”表示矩阵乘法；Wxi、Wxf、Whi、Wci、Wcf、Wxc、Whc、Wxo、Who均为权重参数，bi、bf、bc、bo均为可学习的偏移参数；
将卷积运算和池化运算融入LSTM当中，使得预测模型能够很好的捕捉到空间场特征进行学习和训练，实现对要素的时空序列预测；卷积运算原理和ConvLSTM的模型内部结构示意图如图6所示，模型中主要计算方程如下：
Figure RE-FDA0003908330600000054
Figure RE-FDA0003908330600000055
Figure RE-FDA0003908330600000056
Figure RE-FDA0003908330600000057
Figure RE-FDA0003908330600000058
通过多个卷积核对二维空间场做滑动卷积运算，使得空间场的特征得以提取，输入信息也可以由原来LSTM中的一维场变为三维场，即图4中所示原理；LSTM的核心公式也由
Figure RE-FDA0003908330600000059
改进为
Figure RE-FDA00039083306000000510
公式中主要变化在于W与X的运算改为了向量运算即“*”；
如此，就构建出了采用的ConvLSTM的运算模型，能够实现对要素的时空序列预测，即实现对具有空间分布特征的二维空间场进行外推预测，例如降水、风向和风速等。
6.根据权利要求3所述的基于人工智能气象短临预报一体机，建立基于人工智能气象短临预报模型，利用Predictive Recurrent Neural Network(PredRNN；其特征在于，通过PredRNN模型构造了一种新的时空记忆机制ST-LSTM(Spatiotemporal LSTM)。以增加从一个时间步到下一个时间步的递归深度，使其具备了更强大的建模能力，以增强空间相关性和短期动态；方法计算公式为：
Figure FDA0003862618940000071
Figure FDA0003862618940000072
Figure FDA0003862618940000073
Figure FDA0003862618940000074
Figure FDA0003862618940000075
其中
Figure FDA0003862618940000076
为构造的时空记忆(时间存储器和空间存储器)，它们依赖于上一层的隐藏状态和细胞状态，在当前时间步长上一层更新，公式中it，ft，和ot分别是输入门、遗忘门和输出门的方程；公式中的“⊙”表示矩阵乘法。Wxi、Whi、Wmi、Wxf、Whf、Wmf、Wxg、Whg、Who、Wmo均为权重参数，bi、bf、bg、bo均为可学习的偏移参数。经过结构改造，ST-LSTM的完整公式可以表示为：
Figure FDA0003862618940000077
Figure FDA0003862618940000078
Figure FDA0003862618940000079
Figure FDA0003862618940000081
Figure FDA0003862618940000082
Figure FDA0003862618940000083
Figure FDA0003862618940000084
Figure FDA0003862618940000085
同样的，式中it，ft，和ot分别是输入门、遗忘门和输出门的方程，
Figure FDA0003862618940000086
为时间存储器，
Figure FDA0003862618940000087
为空间存储器，
Figure FDA0003862618940000088
表示隐藏层的值，下标t表示时间步长，上标表示ST-LSTM网络中的第k个隐藏层。公式中的“⊙”表示矩阵乘法，Wxi、Whi、Wmi、Wxf、Whf、Wmf、Wxg、Whg、Who、Wmo、Wmg、Wxo均为权重参数，bi、bf、bg、bo均为可学习的偏移参数。
7.根据权利要求3所述的基于人工智能气象短临预报一体机，建立基于人工智能气象短临预报模型，建立Unet短临预报订正模型；其特征在于，使用预报残差短临降水预报场、前期KF权重和实况场再次建立高质量的Unet深度学习模型训练数据集，使用Unet模型方法原理建立深度学习逐12min未来0-360min的短临降水预报订正模型；Unet主要训练步骤：
1)UNet采用全卷积神经网络，
2)左边网络为特征提取网络：使用conV和pooling，
3)右边网络为特征融合网络：使用上采样产生的特征图与左侧特征图进行concatenate操作，pooling层会丢失图像信息和降低图像分辨率且是永久性的，对于图像分割任务有一些影响，对图像分类任务的影响不大，为什么要做上采样呢？上采样可以让包含高级抽象特征低分辨率图片在保留高级抽象特征的同时变为高分辨率，然后再与左边低级表层特征高分辨率图片进行concatenate操作；
4)最后再经过两次卷积操作，生成特征图，再用两个卷积核大小为1*1的卷积做分类得到最后的两张heatmap，例如第一张表示第一类的得分，第二张表示第二类的得分heatmap，然后作为softmax函数的输入，算出概率比较大的softmax，然后再进行loss，反向传播计算。
8.一种计算装置，其特征在于，所述计算装置包括：处理器、存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至7中任意一项所述的基于人工智能气象短临预报处理方法。
CN202211171210.8A 2022-09-24 2022-09-24 基于人工智能气象短临预报一体机 Pending CN115561834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211171210.8A CN115561834A (zh) 2022-09-24 2022-09-24 基于人工智能气象短临预报一体机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211171210.8A CN115561834A (zh) 2022-09-24 2022-09-24 基于人工智能气象短临预报一体机

Publications (1)

Publication Number Publication Date
CN115561834A true CN115561834A (zh) 2023-01-03

Family

ID=84743714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211171210.8A Pending CN115561834A (zh) 2022-09-24 2022-09-24 基于人工智能气象短临预报一体机

Country Status (1)

Country Link
CN (1) CN115561834A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117233870A (zh) * 2023-11-15 2023-12-15 南京信息工程大学 一种基于多气象要素的短临降水集合预报及降尺度方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117233870A (zh) * 2023-11-15 2023-12-15 南京信息工程大学 一种基于多气象要素的短临降水集合预报及降尺度方法
CN117233870B (zh) * 2023-11-15 2024-01-23 南京信息工程大学 一种基于多气象要素的短临降水集合预报及降尺度方法

Similar Documents

Publication Publication Date Title
CN108038445B (zh) 一种基于多视角深度学习框架的sar自动目标识别方法
CN112445823A (zh) 神经网络结构的搜索方法、图像处理方法和装置
Saputra et al. Learning monocular visual odometry through geometry-aware curriculum learning
CN107909084B (zh) 一种基于卷积-线性回归网络的雾霾浓度预测方法
CN113610286B (zh) 顾及时空相关性和气象因素的pm2.5浓度预测方法及装置
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN115882454B (zh) 基于多元信息融合的源荷功率预测方法及系统
Dai et al. Spatio-temporal deep learning framework for traffic speed forecasting in IoT
CN115561834A (zh) 基于人工智能气象短临预报一体机
CN113988263A (zh) 工业物联网边缘设备中基于知识蒸馏的空时预测方法
CN109117791A (zh) 一种基于膨胀卷积的人群密度图生成方法
Jin et al. Deep learning for seasonal precipitation prediction over China
Kerr et al. Light curves for geo object characterisation
Adeli et al. An advanced spatio-temporal convolutional recurrent neural network for storm surge predictions
Zhang et al. SolarGAN: Synthetic annual solar irradiance time series on urban building facades via Deep Generative Networks
CN117131991A (zh) 基于混合神经网络的城市降雨量预测方法及平台
CN117197632A (zh) 一种基于Transformer的电镜花粉图像目标检测方法
Lu et al. Monocular semantic occupancy grid mapping with convolutional variational auto-encoders
CN116665091A (zh) 一种智慧交通场景下的实时多摄像头视频分析方法
CN116206214A (zh) 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质
CN115797557A (zh) 基于图注意力网络的自监督3d场景流估计方法
CN114972429A (zh) 云边协同自适应推理路径规划的目标追踪方法和系统
Tian et al. Estimation model of global ionospheric irregularities: an artificial intelligence approach
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统
Yin et al. M2F2-RCNN: Multi-functional faster RCNN based on multi-scale feature fusion for region search in remote sensing images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination