CN117388953A - 一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法 - Google Patents

一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法 Download PDF

Info

Publication number
CN117388953A
CN117388953A CN202311708401.8A CN202311708401A CN117388953A CN 117388953 A CN117388953 A CN 117388953A CN 202311708401 A CN202311708401 A CN 202311708401A CN 117388953 A CN117388953 A CN 117388953A
Authority
CN
China
Prior art keywords
data
door
rwkv
mim
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311708401.8A
Other languages
English (en)
Other versions
CN117388953B (zh
Inventor
秦华旺
刘思凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202311708401.8A priority Critical patent/CN117388953B/zh
Publication of CN117388953A publication Critical patent/CN117388953A/zh
Application granted granted Critical
Publication of CN117388953B publication Critical patent/CN117388953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据框架的SADBO改进MIM‑rwkv的气象预报方法，获取ERA5再分析数据、高分辨率WRF回顾性仿真模拟数据及气象站点观测数据并进行数据处理；基于处理后数据训练MIM‑rwkv网络模型，该模型的数据嵌入层、数据混合操作、门控阵列模块及像素重塑层充分考虑了输入数据的时间、空间及通道的维度特征，能够提供地面风的东西向及南北向分量高指标、高分辨率的预测结果；使用SADBO优化算法对MIM‑rwkv神经网络的超参数进行全局搜索，能够进一步提升神经网络的评估指标；MinIO对象存储服务、WebGIS框架及Kuzzle搜索引擎提供了对大规模的气象数据进行高效合理的存储、处理和分析的解决方案。

Description

一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法
技术领域
本发明属于气象预报中的数值模式预报技术领域，具体涉及一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法。
背景技术
数值模式预报是一种基于数学和物理模型的天气预报方法，首先将大气、海洋、陆面等系统的动力学、热力学、湿气物理过程等描述为数理方程，然后采用数值方法如有限差分将方程组离散化，转化后在计算机上进行数值求解。利用现代计算机所具备的超高性能算力，视当前时刻的大气、海洋状态为初始条件、边界条件，基于时间步进进行积分求解离散化后的方程，模拟气象要素的演变过程，预测未来一段时间内的天气情况。由于对大气系统的认知不完整及计算资源的约束，数值模式预报存在先天局限性。大气系统内在的混沌特征导致计算误差会随着时间步进而增长，使预报误差不可避免地累积。而对流层和行星边界层等尺度较小的过程又难以在模型次网格内部直接解析，需要参数化方法来近似表达，引入了新的不确定性，从而导致传统数值模式预报的精确度不高。
由于气象系统的复杂性和混沌特性。传统的数值模式预报依赖所建立的数理方程和多年积累的经验进行建模，以充分表达大气过程的各种细节与不确定性，且伴随着观测仪器的进步和测量技术的发展，气象数据的收集速度和数据规模不断增加，不仅需要高性能的计算机平台，还需要提供庞大的硬盘存储空间。对传统的数据处理和存储方法带来了严峻的挑战。
发明内容
发明目的：本发明提出了一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法，提供一种高扩展性和容错能力的大数据存储解决方法，支持高效的数据存储、处理、调用和分析等功能，SADBO优化算法用于寻找神经网络初始化参数的最优解；SADBO算法优化后的MIM-rwkv神经网络模型生成高分辨率的风的东西向及南北向分量气象要素的预测结果，替代了传统的数值模式预报模型，省去了传统方法的后处理流程，提高了预测结果的评估指标。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法，包括以下步骤：
获取再分析气象数据、回顾性仿真模拟数据以及气象站点观测数据，使用插值法将站点观测数据插值到再分析数据和回顾性仿真数据的缺失值；对预处理后的再分析数据、回顾性仿真数据及站点观测数据进行标准化处理；
部署MinIO对象存储服务框架、WebGIS框架及Kuzzle引擎对处理后的气象数据进行集中式的存储管理、数据处理和可视化操作；
构建MIM-rwkv网络模型，使用SADBO群智能优化算法对MIM-rwkv网络模型的初始化参数进行全局寻优，使用插值后的再分析数据、回顾性仿真数据及站点观测数据作为模型输入训练获得MIM-rwkv网络模型最佳参数权重；
使用训练好的MIM-rwkv网络模型根据输入的再分析数据、回顾性仿真数据及站点观测数据，得到地面风的东西向及南北向分量气象要素预测结果的评估指标。
进一步的，构建改进的MIM-rwkv网络模型，具体步骤如下：
对输入数据进行数据嵌入操作，全连接层将输入数据转换为数据/>，全连接层中每个神经元都和前一层的所有神经元均相连；
图拉普拉斯矩阵变换层通过计算归一化拉普拉斯矩阵，对/>进行特征分解/>，选择特征分解后的前/>个最大特征值和特征向量构建降维数据；
其中，为单位矩阵，/>为邻接矩阵，/>为度矩阵，/>为对焦矩阵；位置编码层对输入数据/>进行编码，获得具有位置信息的数据/>：/>；
其中，为数据的位置索引，/>为输入数据的编码维度，/>和/>分别为在第位置上的第/>和/>的编码；
数据嵌入操作中的三个不同层的输出相加后所得到的数据即为MIM-rwkv网络模型后续层的输入数据：/>；
输入到卷积及池化层，得到局部空间结构：/>；
输入进MIM-rwkv门控单元阵列，MIM-rwkv门控单元阵列处理步骤如下：
首先归一化层对输入数据进行层归一化操作，输入数据表示为，层归一化统计量定义为：
，/>，
，
其中，为输入数据的第/>个特征值，/>为归一化后的值，/>为输入数据的特征维度；对经过归一化操作后的数据分别进行/>、/>、/>、/>的类注意力机制的矩阵计算，定义公式为：
，
，
，
，
，
其中，表示第/>时刻，/>、/>、/>、/>分别表示接收单元、位置权重衰减单元、键单元和值单元，/>、/>、/>、/>分别表示/>、/>、/>、/>单元在/>时刻的输出；/>为/>经过归一化操作后的数据；/>、/>、/>、/>分别为/>、/>、/>、/>单元的权重矩阵；/>表示token-shift，token-shift操作由输入数据/>和前一个时序的输入数据/>得到，/>、/>、/>分别表示/>、/>、/>单元的token-shift操作的输出值；/>为经过rwkv模块后的输出数据，/>为输出单元的权重矩阵，/>为激活函数；
MIM-rwkv门控单元模块包括两组功能相同的候选记忆单元、输入门/>、遗忘门/>、输出门/>，分别表示为/>、/>、/>、/>和/>、/>、/>、/>，整体定义公式为：
，
，
，
，
，
，
，
，
，
，
，
，
其中，表示第/>时刻，/>、/>、/>、/>和/>、/>、/>、/>分别表示两组候选记忆单元、输入门、遗忘门、输出门在/>时刻的输出，/>为经过rwkv模块后的输出数据，/>、/>分别为/>、/>时刻记忆单元状态，/>、/>分别为状态单元在/>、/>时刻的输出，/>、/>分别为时空输入单元在/>、/>时刻的输出；/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>中/>的权重，/>、/>、/>、/>分别为候选记忆单元/>、输入门、遗忘门/>、输出门/>中/>的权重，/>为输出门/>中/>的权重，/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>中/>的权重，/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>中/>的权重，/>、/>分别为输出门/>中/>、/>的权重；/>、/>、/>、分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>的偏置，/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>的偏置；/>、/>为激活函数，/>为门控单元阵列输出的隐藏状态；/>为卷积操作，/>为哈达玛积；
门控单元阵列输出数据经过全连接层、卷积层及像素重塑层后的输出即为风的东西向及南北向分量的预测结果。
进一步的，使用模拟退火改进蜣螂算法SADBO优化MIM-rwkv神经网络初始化参数，包括全连接层深度、层级神经元数量及卷积层的卷积核参数，具体步骤如下：
Step1：蜣螂算法将S个种群分为四种不同的代表，每个种群均包含N个代表，每个代表为全连接层深度、层级神经元数量和卷积层的卷积核参数的方案，具体为卷积核尺寸、步长及填充、全连接层深度以及层级神经元数量；
Step2：使用模拟退火算法对蜣螂算法进行优化，蜣螂算法中种群各参数及种群各代表行为公式的参数作为模拟退火算法的解空间，步骤如下：
Step2.1：设定迭代次数L、目标函数、收敛条件、初始温度/>和初始解/>，其中，目标函数为当前解生成的网络结构输出的神经网络RMSE损失函数值，收敛条件为RMSE损失函数值等于设定阈值，初始解为解空间中随机选择的一组解；
Step2.2：在当前温度T下，通过随机扰动的方式，生成一个新解，计算当前解/>和新解/>之间的目标函数差值/>；
Step2.3：根据目标函数差值判断是否接受新解；如果/>，则新解更优，接受新解，/>为当前解；否则，新解劣于当前解，则根据Metropolis准则决定是否接受新解，接受概率为/>；
Step2.4：判断是否达到迭代次数或满足收敛条件，如果满足，输出当前解为全局最优解；否则，使用温度调度策略更新获得新的当前温度，公式为，其中，/>表示为第/>次迭代后的温度，/>为衰减系数，重新回到步骤Step2.2。
进一步的，使用双线性插值法处理再分析数据和回顾性仿真数据的缺失值，使用反距离权重插值法将站点观测数据插值到再分析数据和回顾性仿真数据同分辨率的网格点上，具体步骤如下：
所述网格点是指气象模型离散化大气系统成一个三维网格，每个格点代表了特定的空间位置和时间点；
对再分析数据和回顾性仿真数据按气象要素、时间和高度依次提取成二维格式作为集合，/>和/>表示提取出来气象数据的经、纬度的最大格点数，/>为网格点的地理经纬度位置；
集合D中缺失值所处网格点四个角的点即为邻近格点，确定邻近格点的气象要素数值：/>；
计算得到网格点的气象要素缺失值：
；
基于气象要素类别，提取同一时间下的气象观测站点数据并计算与回顾性仿真数据同地理位置下的网格点到每个观测站点/>的距离：/>；其中，/>为网格点及站点的地理经纬度位置；
计算距离权重：；N为提取的气象观测站点的总数量；
获得网格点插值：/>，其中，/>为该格点的插值，/>为第a个站点的气象要素具体数值；
对不同时间、不同层级和不同气象要素的所有网格点执行上述步骤，获得插值后与回顾性仿真数据同分辨率网格点的站点观测数据。
进一步的，部署MinIO对象存储服务框架、WebGIS框架及Kuzzle引擎对处理后的气象数据进行集中式的存储管理、数据处理和可视化操作：
配置并连接到MinIO对象存储服务，使用MinIO SDK将处理后的气象数据文件上传到MinIO桶中，作为历史气象数据库；
使用Python建立与数据库的连接，使用数据查询引擎Kuzzle，构建按照时间、高度、气象要素类别的气象数据库，对预处理后的气象数据建立索引、添加元信息，通过API接口，按照用户需求实现气象数据检索、存储、更新；
使用Python及WebGIS框架通过Kuzzle的REST API接口提取所需气象数据，允许用户请求在图像、表单界面动态展示所指定的时间范围、地理位置范围、各气象要素的历史气象数据及未来预测数据，并具备投影在2D地图或卫星地图上的功能。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明提供的一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法，MinIO对象存储服务及Kuzzle搜索引擎实现了对海量气象数据进行高效合理的存储、处理和分析；改进的SADBO群优化算法对神经网络的超参数优化进行了全局寻优；SADBO算法优化后的MIM-rwkv神经网络提供了高指标、高分辨率的气象要素预测结果。本发明提供的模型不仅仅是具有预测功能还是降尺度高分辨率预测。
附图说明
图1是本发明的总流程图。
图2是本发明实施例中的SADBO算法流程图。
图3是本发明实施例中的MIM-rwkv单元模块的示意图。
图4是本发明实施例中的神经网络总示意图。
实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法，部署MinIO对象存储服务框架、WebGIS框架及Kuzzle搜索引擎实现对海量气象数据进行集中式的存储管理、数据处理和可视化操作；使用双线性插值法填补再分析数据和回顾性仿真数据的缺失值，使用反距离权重插值法将站点观测数据插值到和回顾性仿真数据同分辨率的网格点上；处理后的海量数据为神经网络捕获长时序、非线性时空特征提供了支撑，训练获得MIM-rwkv网络模型最佳参数权重，具备高分辨率的地面风的东西向及南北向分量气象要素预测结果的高评估指标；使用SADBO群智能优化算法对MIM-rwkv网络模型的初始化参数进行全局寻优，进一步提升深度学习模型预测结果的评估指标。流程如图1所示，具体实现步骤如下：
S1：本实施例从欧洲中期天气预报中心（ECMWF）获取ERA5再分析气象数据，分辨率为0.25°；从美国大气国家研究中心（NCAR）获取高分辨率WRF回顾性仿真模拟数据，分辨率为0.036°，从美国国家海洋和大气管理局（NOAA）获取气象站点观测数据。
S2：使用双线性插值法处理再分析数据和回顾性仿真数据的缺失值，使用反距离权重插值法将站点观测数据插值到和回顾性仿真数据同分辨率的网格点上。其中，网格点是指气象模型离散化大气系统成一个三维网格，每个格点代表了特定的空间位置和时间点，具体步骤如下：
S21：对再分析数据和回顾性仿真数据按气象要素、时间和高度依次提取成二维格式作为集合，/>和/>表示提取出来气象数据的经、纬度的最大格点数，/>为网格点的地理经纬度位置；
集合D中缺失值所处网格点四个角的点即为邻近格点，确定邻近格点的气象要素数值：/>；
S22：计算得到网格点的气象要素缺失值：
；
S23：基于气象要素类别，提取同一时间下的气象观测站点数据并计算与回顾性仿真数据同地理位置下的网格点到每个观测站点/>的距离：/>；其中，/>为网格点及站点的地理经纬度位置；
S24：计算距离权重：；N为提取的气象观测站点的总数量；
S25：获得网格点插值：/>，其中，/>为该格点的插值，为第a个站点的气象要素具体数值；
S26：对不同时间、不同层级和不同气象要素的所有网格点做上述S23-S25，获得插值后与回顾性仿真数据同分辨率网格点的站点观测数据。
S3：配置并连接到MinIO对象存储服务，使用MinIO SDK将处理后的气象数据文件上传到MinIO桶中，作为历史气象数据库。
S4：使用Python建立与数据库的连接，使用统一的数据查询引擎Kuzzle，构建按照时间、高度、气象要素类别的气象数据库，对预处理后的气象数据建立索引、添加元信息，通过API接口，按照用户需求实现气象数据检索、存储、更新等功能。
S5：使用Python及WebGIS框架通过Kuzzle的REST API接口提取所需气象数据，允许用户请求在图像、表单界面动态展示所指定的时间范围、地理位置范围、各气象要素的历史气象数据及未来预测数据，并具备投影在2D地图或卫星地图上的功能。
S6：对预处理后的再分析数据、回顾性仿真数据及站点观测数据进行标准化处理，转换函数为：。其中，/>是处理后的数值，/>是该格点气象要素的初始值，min和max分别表示为同一时间下的该气象要素的网格点数据序列的最小值和最大值。
S7：使用模拟退火改进蜣螂算法（SADBO）优化神经网络初始化参数：全连接层深度（depth of FC layers）、层级神经元数量（number of neurons）及卷积层的卷积核参数（kernel size、padding and stride）。SADBO算法具体步骤如图2所示。
S71：蜣螂算法（DBO）将S个种群分为四种不同的代表，分别为滚球蜣螂、育雏球、小蜣螂和小偷蜣螂。其中，每个种群均包含N个代表，每个代表为全连接层深度、层级神经元数量和卷积层的卷积核参数的方案，具体为卷积核尺寸、步长及填充、全连接层深度以及层级神经元数量。
S72：滚球蜣螂具备两种行为模式，当受太阳光影响促使粪球在直线路径滚动，行进路线收到了光源强度的影响，滚球蜣螂的位置更新表示为：
；
其中，t表示当前迭代次数，表示第t次迭代次数时第i只蜣螂的位置信息，a根据概率法设为1或者-1，/>为偏转系数，/>为随机系数，/>表示该种群的全局最差位置信息，/>模拟太阳光强，随着位置信息更新而动态变化；当滚球蜣螂遇到障碍物，则通过跳舞来调整运动方向获得一条新的路线，滚球蜣螂更新位置公式为：
;
其中，为偏转角。
S73：育雏球通过一个边界选择策略来模拟雌性蜣螂产卵区域，区域定义为：
;
其中，表示局部最佳位置信息，/>和/>表示产卵区的下限和上限，/>，/>为最大迭代数，t为当前迭代次数，/>和/>为搜索空间的下限和上限。育雏球的位置信息更新定义为：
;
其中，是第𝑡次迭代时第𝑖个育雏球的位置信息，/>和/>为维度1×D的独立随机向量，D表示优化问题的维度。
S74：小蜣螂同样利用边界选择策略来模拟其觅食行为，该区域定义为：
;
位置信息更新公式为：;
其中，为全局最优位置信息，/>和/>为最佳觅食区的下限和上限。/>为第t次迭代时第i只小蜣螂的位置信息，/>为服从正态分布的随机数，/>为随机向量。
S75：小偷蜣螂与其他代表存在竞争行为，位于最佳的食物位置，在迭代过程中的位置更新公式为：
;
其中，是第t迭代后第i小偷蜣螂的位置信息，g是符合正态分布的1*D的随机变量，S表示一个常数。
S8：由于蜣螂算法采用了随机生成的方法初始化蜣螂种群和DBO算法的参数，往往导致种群多样性低、种群分布不均匀，从而陷入局部最优，全局探索能力较弱。使用模拟退火算法（SA）对蜣螂算法（DBO）进行优化，蜣螂算法中种群各参数及种群各代表行为公式的参数作为模拟退火算法的解空间，具体步骤如下；
S81：设定迭代次数L、目标函数、收敛条件、初始温度/>和初始解/>，其中，目标函数为当前解生成的网络结构输出的神经网络RMSE损失函数值，收敛条件为RMSE损失函数值等于设定阈值，初始解为解空间中随机选择的一组解；
S82：在当前温度T下，通过随机扰动的方式，生成一个新解，计算当前解/>和新解/>之间的目标函数差值/>；
S83：根据目标函数差值判断是否接受新解；如果/>，则新解更优，接受新解，/>为当前解；否则，新解劣于当前解，则根据Metropolis准则决定是否接受新解，接受概率为/>；
S84：判断是否达到迭代次数或满足收敛条件，如果满足，输出当前解为全局最优解；否则，使用温度调度策略更新获得新的当前温度，公式为，其中，/>表示为第/>次迭代后的温度，/>为衰减系数，取值0.9，重新回到S82。
S9：基于SADBO算法最优解生成神经网络超参数，使用插值和填补后的再分析数据、回顾性仿真数据及站点观测数据训练MIM-rwkv神经网络。
其中，输入数据为再分析数据和回顾性仿真数据，气象要素为地面及1000帕斯卡气压层级下的温度、湿度、位势及风的东西向及南北向分量；标签为插值后的0.036°高分辨率网格点下的站点观测，气象要素为地面的风的东西向及南北向分量。
rwkv为门控阵列单元中进行数据混合操作时的各向量矩阵所代表的参数相加并无其他意义，MIM代表本实例所训练的模型基础框架为Memory in Memory Networks（MIM）中的稳定模块（MIM-S）。MIM-rwkv神经网络总体框架如图4所示，具体步骤如下：
S91：对输入数据进行数据嵌入操作，全连接层（Fully Connected Layer）将输入数据转换为数据/>，全连接层中每个神经元都和前一层的所有神经元均相连；
图拉普拉斯矩阵变换层通过计算归一化拉普拉斯矩阵，对/>进行特征分解/>，选择特征分解后的前/>个最大特征值和特征向量构建降维数据。
其中，为单位矩阵，/>为邻接矩阵，/>为度矩阵，/>为对焦矩阵；位置编码层对输入数据/>进行编码，获得具有位置信息的数据/>：/>；
其中，为数据的位置索引，/>为输入数据的编码维度，/>和/>分别为在第位置上的第/>和/>的编码；
数据嵌入操作中的三个不同层的输出相加后所得到的数据即为MIM-rwkv网络模型后续层的输入数据：/>。
S92：数据输入到卷积（Convolutional Layer）及池化（Pooling Layer）层，池化操作可以减少数据特征图尺寸的同时又保留了数据的重要特征，促使神经网络的收敛速度加快；卷积层通过设置卷积核参数对输入数据进行卷积计算，在减少数据维度的同时并捕捉到输入数据的局部空间结构：：/>。
S93：数据输入进MIM-rwkv门控单元阵列，MIM-rwkv门控单元模块具体流程如图3所示。
S94：MIM-rwkv门控单元模块的归一化层（LayerNorm层）对输入数据进行层归一化操作，输入数据表示为，层归一化统计量定义为：
，/>，
，
其中，为输入数据的第/>个特征值，/>为归一化后的值，/>为输入数据的特征维度；通过归一化操作，调整了输入数据的分布，提高模型的稳定性、泛化能力以及训练效率。对经过归一化操作后的数据分别进行/>、/>、/>、/>的类注意力机制的矩阵计算，定义公式为：
，
，
，
，
，
其中，表示第/>时刻，/>、/>、/>、/>分别表示接收单元、位置权重衰减单元、键单元和值单元，/>、/>、/>、/>分别表示/>、/>、/>、/>单元在/>时刻的输出；/>为/>经过归一化操作后的数据；/>、/>、/>、/>分别为/>、/>、/>、/>单元的权重矩阵；/>表示token-shift，token-shift操作由输入数据/>和前一个时序的输入数据/>得到，/>、/>、/>分别表示/>、/>、/>单元的token-shift操作的输出值；/>为经过rwkv模块后的输出数据，/>为输出单元的权重矩阵，/>为激活函数。
MIM-rwkv门控单元模块包括两组功能相同的候选记忆单元、输入门/>、遗忘门/>、输出门/>，分别表示为/>、/>、/>、/>和/>、/>、/>、/>，整体定义公式为：
，
，
，
，
，
，
，
，
，
，
，
，
其中，表示第/>时刻，/>、/>、/>、/>和/>、/>、/>、/>分别表示两组候选记忆单元、输入门、遗忘门、输出门在/>时刻的输出，/>为经过rwkv模块后的输出数据，/>、/>分别为/>、/>时刻记忆单元状态，/>、/>分别为状态单元在/>、/>时刻的输出，/>、/>分别为时空输入单元在/>、/>时刻的输出；/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>中/>的权重，/>、/>、/>、/>分别为候选记忆单元/>、输入门、遗忘门/>、输出门/>中/>的权重，/>为输出门/>中/>的权重，/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>中/>的权重，/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>中/>的权重，/>、/>分别为输出门/>中/>、/>的权重；/>、/>、/>、分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>的偏置，/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>的偏置；/>、/>为激活函数，/>为门控单元阵列输出的隐藏状态；/>为卷积操作，/>为哈达玛积。
S95：门控单元阵列输出数据经过全连接层、卷积层及像素重塑（Pixel Shuffle）层后的输出即为风的东西向及南北向分量的预测结果。其中，上述神经网络模型中的各模块、各层及各单元均由深度学习框架Pytorch所包含的线性、卷积、池化、激活及像素重塑等函数搭建。
S96：本实施例选择了2023年7月到8月的实况数据进行评估，网络模型的输入只需提供ECMWF的再分析数据，该数据的空间分辨率为0.25°。网络模型设为前向推理模式进行预测，输出为未来四天内的0.036°空间分辨率的风速预测结果。将传统数值模式预报模型的输出数据及神经网络模型的输出数据与插值到0.036°空间分辨率的气象站点实况数据进行比对，传统数值模式预报模型预测结果、MIM-rwkv网络预测结果及SDBOO群优化算法改进MIM-rwkv网络模型初始化参数后的预测结果评估指标如表1所示。
表1
其中，所选定的评价指标为均方根误差（RMSE），分别对预测时间为24h、48h、72h、96h四个节点的风速进行评价指标计算。结果显示在四个不同时间段中，使用了SADBO算法优化后的MIM-rwkv均优于未经过算法优化的MIM-rwkv神经网络；MIM-rwkv神经网络及SADBO算法优化后的MIM-rwkv神经网络的评价指标结果表明了大数据导向的人工智能技术能够有效替代传统数值模式预报模型，能够有效耦合时空预测任务及空间降尺度任务，在进行未来中短期风速预报的同时输出预测数据比输入数据具备更高的空间分辨率，不仅大大降低了对计算机性能的需求，还省去了传统技术后处理流程。

Claims (4)

1.一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法，其特征在于，包括以下步骤：
获取再分析气象数据、回顾性仿真模拟数据以及气象站点观测数据，使用插值法将站点观测数据插值到再分析数据和回顾性仿真数据的缺失值；对预处理后的再分析数据、回顾性仿真数据及站点观测数据进行标准化处理；
部署MinIO对象存储服务框架、WebGIS框架及Kuzzle引擎对处理后的气象数据进行集中式的存储管理、数据处理和可视化操作；
构建MIM-rwkv网络模型，使用SADBO群智能优化算法对MIM-rwkv网络模型的初始化参数进行全局寻优，使用插值后的再分析数据、回顾性仿真数据及站点观测数据作为模型输入训练获得MIM-rwkv网络模型最佳参数权重；
使用训练好的MIM-rwkv网络模型根据输入的再分析数据、回顾性仿真数据及站点观测数据，得到地面风的东西向及南北向分量气象要素预测结果的评估指标。
2.根据权利要求1所述的方法，其特征在于，构建改进的MIM-rwkv网络模型，具体步骤如下：
对输入数据进行数据嵌入操作，全连接层将输入数据转换为数据/>，全连接层中每个神经元都和前一层的所有神经元均相连；
图拉普拉斯矩阵变换层通过计算归一化拉普拉斯矩阵，对/>进行特征分解/>，选择特征分解后的前/>个最大特征值和特征向量构建降维数据/>；
其中，为单位矩阵，/>为邻接矩阵，/>为度矩阵，/>为对焦矩阵；位置编码层对输入数据/>进行编码，获得具有位置信息的数据/>：/>；
其中，为数据的位置索引，/>为输入数据的编码维度，/>和/>分别为在第/>位置上的第/>和/>的编码；
数据嵌入操作中的三个不同层的输出相加后所得到的数据即为MIM-rwkv网络模型后续层的输入数据：/>；
输入到卷积及池化层，得到局部空间结构：/>；
输入进MIM-rwkv门控单元阵列，MIM-rwkv门控单元阵列处理步骤如下：
首先归一化层对输入数据进行层归一化操作，输入数据表示为，层归一化统计量定义为：
，/>，
，
其中，为输入数据的第/>个特征值，/>为归一化后的值，/>为输入数据的特征维度；对经过归一化操作后的数据分别进行/>、/>、/>、/>的类注意力机制的矩阵计算，定义公式为：
，
，
，
，
，
其中，表示第/>时刻，/>、/>、/>、/>分别表示接收单元、位置权重衰减单元、键单元和值单元，/>、/>、/>、/>分别表示/>、/>、/>、/>单元在/>时刻的输出；/>为/>经过归一化操作后的数据；/>、/>、/>、/>分别为/>、/>、/>、/>单元的权重矩阵；/>表示token-shift，token-shift操作由输入数据/>和前一个时序的输入数据/>得到，/>、/>、/>分别表示/>、、/>单元的token-shift操作的输出值；/>为经过rwkv模块后的输出数据，/>为输出单元的权重矩阵，/>为激活函数；
MIM-rwkv门控单元模块包括两组功能相同的候选记忆单元、输入门/>、遗忘门/>、输出门/>，分别表示为/>、/>、/>、/>和/>、/>、/>、/>，整体定义公式为：
，
，
，
，
，
，
，
，
，
，
，
，
其中，表示第/>时刻，/>、/>、/>、/>和/>、/>、/>、/>分别表示两组候选记忆单元、输入门、遗忘门、输出门在/>时刻的输出，/>为经过rwkv模块后的输出数据，/>、/>分别为/>、时刻记忆单元状态，/>、/>分别为状态单元在/>、/>时刻的输出，/>、/>分别为时空输入单元在/>、/>时刻的输出；/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>中/>的权重，/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>中/>的权重，/>为输出门/>中/>的权重，/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>中/>的权重，/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>中/>的权重，/>、/>分别为输出门/>中/>、/>的权重；/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>的偏置，/>、/>、/>、/>分别为候选记忆单元/>、输入门/>、遗忘门/>、输出门/>的偏置；/>、/>为激活函数，/>为门控单元阵列输出的隐藏状态；/>为卷积操作，/>为哈达玛积；
门控单元阵列输出数据经过全连接层、卷积层及像素重塑层后的输出即为风的东西向及南北向分量的预测结果。
3.根据权利要求1所述的方法，其特征在于，使用模拟退火改进蜣螂算法SADBO优化MIM-rwkv神经网络初始化参数，包括全连接层深度、层级神经元数量及卷积层的卷积核参数，具体步骤如下：
Step1：蜣螂算法将S个种群分为四种不同的代表，每个种群均包含N个代表，每个代表为全连接层深度、层级神经元数量和卷积层的卷积核参数的方案，具体为卷积核尺寸、步长及填充、全连接层深度以及层级神经元数量；
Step2：使用模拟退火算法对蜣螂算法进行优化，蜣螂算法中种群各参数及种群各代表行为公式的参数作为模拟退火算法的解空间，步骤如下：
Step2.1：设定迭代次数L、目标函数、收敛条件、初始温度/>和初始解/>，其中，目标函数为当前解生成的网络结构输出的神经网络RMSE损失函数值，收敛条件为RMSE损失函数值等于设定阈值，初始解为解空间中随机选择的一组解；
Step2.2：在当前温度T下，通过随机扰动的方式，生成一个新解，计算当前解/>和新解之间的目标函数差值/>；
Step2.3：根据目标函数差值判断是否接受新解；如果/>，则新解更优，接受新解，/>为当前解；否则，新解劣于当前解，则根据Metropolis准则决定是否接受新解，接受概率为/>；
Step2.4：判断是否达到迭代次数或满足收敛条件，如果满足，输出当前解为全局最优解；否则，使用温度调度策略更新获得新的当前温度，公式为，其中，/>表示为第/>次迭代后的温度，/>为衰减系数，重新回到步骤Step2.2。
4.根据权利要求1-3任一所述的方法，其特征在于，部署MinIO对象存储服务框架、WebGIS框架及Kuzzle引擎对处理后的气象数据进行集中式的存储管理、数据处理和可视化操作：
配置并连接到MinIO对象存储服务，使用MinIO SDK将处理后的气象数据文件上传到MinIO桶中，作为历史气象数据库；
使用Python建立与数据库的连接，使用数据查询引擎Kuzzle，构建按照时间、高度、气象要素类别的气象数据库，对预处理后的气象数据建立索引、添加元信息，通过API接口，按照用户需求实现气象数据检索、存储、更新；
使用Python及WebGIS框架通过Kuzzle的REST API接口提取所需气象数据，允许用户请求在图像、表单界面动态展示所指定的时间范围、地理位置范围、各气象要素的历史气象数据及未来预测数据，并具备投影在2D地图或卫星地图上的功能。
CN202311708401.8A 2023-12-13 2023-12-13 一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法 Active CN117388953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311708401.8A CN117388953B (zh) 2023-12-13 2023-12-13 一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311708401.8A CN117388953B (zh) 2023-12-13 2023-12-13 一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法

Publications (2)

Publication Number Publication Date
CN117388953A true CN117388953A (zh) 2024-01-12
CN117388953B CN117388953B (zh) 2024-03-08

Family

ID=89439641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311708401.8A Active CN117388953B (zh) 2023-12-13 2023-12-13 一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法

Country Status (1)

Country Link
CN (1) CN117388953B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200119925A (ko) * 2019-03-22 2020-10-21 주식회사 로그인서광 빅데이터와 순환신경망을 이용한 대기 질 예측 시스템
US20200348448A1 (en) * 2019-04-30 2020-11-05 ClimateAI, Inc. Methods and systems for climate forecasting using artificial neural networks
CN113496104A (zh) * 2021-07-16 2021-10-12 中科技术物理苏州研究院 基于深度学习的降水预报订正方法及系统
CN115471016A (zh) * 2022-11-01 2022-12-13 南京信息工程大学 一种基于cisso与daed的台风预测方法
CN116680569A (zh) * 2023-06-15 2023-09-01 华能陇东能源有限责任公司 基于rwkv神经网络的风资源预测方法和装置
CN116933025A (zh) * 2023-06-13 2023-10-24 国网甘肃省电力公司 基于vmd与dbo-lstm-at的变压器顶层油温预测方法
CN117131991A (zh) * 2023-09-06 2023-11-28 大连民族大学 基于混合神经网络的城市降雨量预测方法及平台
CN117151285A (zh) * 2023-08-29 2023-12-01 淮阴工学院 一种基于多要素注意力时空图卷积网络的径流预报方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200119925A (ko) * 2019-03-22 2020-10-21 주식회사 로그인서광 빅데이터와 순환신경망을 이용한 대기 질 예측 시스템
US20200348448A1 (en) * 2019-04-30 2020-11-05 ClimateAI, Inc. Methods and systems for climate forecasting using artificial neural networks
CN113496104A (zh) * 2021-07-16 2021-10-12 中科技术物理苏州研究院 基于深度学习的降水预报订正方法及系统
CN115471016A (zh) * 2022-11-01 2022-12-13 南京信息工程大学 一种基于cisso与daed的台风预测方法
CN116933025A (zh) * 2023-06-13 2023-10-24 国网甘肃省电力公司 基于vmd与dbo-lstm-at的变压器顶层油温预测方法
CN116680569A (zh) * 2023-06-15 2023-09-01 华能陇东能源有限责任公司 基于rwkv神经网络的风资源预测方法和装置
CN117151285A (zh) * 2023-08-29 2023-12-01 淮阴工学院 一种基于多要素注意力时空图卷积网络的径流预报方法
CN117131991A (zh) * 2023-09-06 2023-11-28 大连民族大学 基于混合神经网络的城市降雨量预测方法及平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何诗扬 等: "基于时空记忆解耦ＲＮＮ的雷暴预测方法", 《系统工程与电子技术》, vol. 45, no. 11, pages 3474 - 3480 *

Also Published As

Publication number Publication date
CN117388953B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
Shamshirband et al. A survey of deep learning techniques: application in wind and solar energy resources
CN110059878B (zh) 基于cnn lstm光伏发电功率预测模型及其构建方法
CN111210082B (zh) 一种基于优化的bp神经网络算法的降水量预测方法
CN109142171B (zh) 基于特征扩张的融合神经网络的城市pm10浓度预测方法
Fan et al. Temporal and spatial change detecting (1998–2003) and predicting of land use and land cover in Core corridor of Pearl River Delta (China) by using TM and ETM+ images
CN113468803B (zh) 一种基于改进的woa-gru洪水流量预测方法及系统
CN112862274A (zh) 一种基于WRF-LES和DeepAR相结合的风功率预测方法
CN114693064A (zh) 一种建筑群方案生成性能评价方法
CN116894384A (zh) 一种多风机风速时空预测方法及系统
Zhuang et al. Simulation of urban land expansion in China at 30 m resolution through 2050 under shared socioeconomic pathways
Yu et al. The study of artificial intelligence for predicting land use changes in an arid ecosystem
Zheng et al. Weather image-based short-term dense wind speed forecast with a ConvLSTM-LSTM deep learning model
Thamilselvan et al. An Extensive Review of Rainfall Prediction using Machine Learning and Deep Learning Techniques
CN117233870B (zh) 一种基于多气象要素的短临降水集合预报及降尺度方法
Bisoi et al. An efficient robust optimized functional link broad learning system for solar irradiance prediction
Akar et al. Evaluation of tree-based machine learning and deep learning techniques in temperature-based potential evapotranspiration prediction
CN116722544B (zh) 分布式光伏短期预测方法、装置、电子设备及存储介质
CN116525135B (zh) 基于气象因素的时空模型对疫情发展态势进行预测的方法
CN117388953B (zh) 一种基于大数据框架的SADBO改进MIM-rwkv的气象预报方法
CN116579509A (zh) 一种基于虚拟现实的光伏发电预测方法
CN116720156A (zh) 基于图神经网络多模态气象数据融合的气象要素预报方法
Parashar et al. Short-Term Temperature and Rainfall Prediction at Local and Global Spatial Scale: A Review
CN116050460A (zh) 基于注意力神经网络的气温数据空间插值方法
CN112766240B (zh) 基于时空关系的残差多图卷积人群分布预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant