CN112946784B - 一种基于深度学习的SuperDARN雷达对流图短期预报方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的SuperDARN雷达对流图短期预报方法，包括以下步骤：步骤1：获取SuperDARN雷达观测数据和OMNI卫星观测数据并进行预处理；步骤2：将OMNI卫星观测数据和SuperDARN雷达观测数据匹配并对齐构成完备数据集；步骤3：使用皮尔逊相关系数法进行特征选择并对其标准化；步骤4：输入到Python中Tensorflow模块搭建好的深度学习模型中进行训练，参数调试，得到预报模型；步骤5：将预报模型应用到测试数据中。本发明基于深度学习和大数据相关理论技术的发展，采用神经网络相关方法，利用SuperDARN雷达获得的海量具有丰富信息的数据，将数据之间的关系用具有强大拟合能力的神经网络表达出来，实现高纬电离层对流图像的短期预报，满足空间天气预报的需求。

Description

一种基于深度学习的SuperDARN雷达对流图短期预报方法

技术领域

本发明属于空间天气预报技术领域，尤其涉及一种基于深度学习的SuperDARN雷达对流图短期预报方法。

背景技术

高纬电离层等离子体对流是空间天气的重要现象，也是电离层研究过程中的重要参数，其中蕴含着太阳风向磁层-电离层系统能量传输的一系列重要信息。许多关于电离层对流的研究集中于分析电离层等离子体对流对近地空间参数的依赖关系，比如行星际磁场分量、太阳风速度、太阳风动压和地磁活动指数等。研究表明，根据行星际磁场IMF方向和大小的不同，对流图的结构也有显著的差异，当IMF南向时，由于磁层顶的耦合较强，磁层环流也较强，对流图像往往呈现为典型的双涡漩结构。当IMF北向时，耦合较弱，环流也较弱，但对流图像更复杂，往往呈现为畸变的双涡旋结构甚至是多涡漩结构。当IMF存在东西方向分量时，对流图像会在原有的基础上引入强不对称性。

高纬电离层对流图中包含着一些表征电离层电动力学的重要参数，如越极盖电势CPCP，越极盖电场CPEF，涡间距以及晨昏侧不对称性等，这些参数对于空间天气变化有着重要的指示作用。因此，对流图的短期预报是非常必要的，这对深入理解太阳风-磁层-电离层能量传输过程具有重要的意义。

随着互联网、物联网的迅速发展，深度学习技术发展得非常迅速，作为人工智能的一个主要分支，其应用非常之广泛，在很多领域都表现出非常优越的性能，尤其体现在非线性建模方面，能够通过庞大的数据进行学习并准确地找到数据之间存在的复杂非线性关系。在空间天气建模领域，近几年也使用的愈来愈频繁，例如将深度学习技术应用到电离层电子含量的预报，电离层临界频率的预报，地磁指数的预报等并且都取得了较好的效果，无疑说明深度学习技术在空间天气预报领域的强大潜力。

SuperDARN雷达是当前国际上探测高纬电离层等离子体对流的重要手段之一，因其较高的时间分辨率和巨大的空间覆盖率，在研究磁层、电离层、热层以及中间层方面取得了很大的成功。Omni卫星具有较高的时间分辨率，是探测近地空间参数的重要手段。

基于上述现状以及现有技术中高纬等离子体对流图像预报算法研究中的不足，本发明提出了一种基于深度学习的SuperDARN雷达对流图短期预报方法。

发明内容

为了弥补现有技术中高纬等离子体对流图像预报方法的不足，本发明提出了一种基于深度学习的SuperDARN雷达对流图短期预报方法。

本发明采取如下技术方案：

一种基于深度学习的SuperDARN雷达对流图短期预报方法，其步骤包括：

步骤1，获取SuperDARN雷达探测数据和OMNI卫星观测数据，分别对其进行预处理，删除异常值以及无效值；

步骤2，将OMNI卫星观测数据和SuperDARN雷达观测数据匹配并对齐构成完备数据集。具体的，对OMNI卫星数据和SuperDARN雷达数据根据时间分辨率取交集，同时删除纬度小于51°静电势为0的无效数据，每张对流图像都是一个长度为7059的时间序列。

步骤3：使用皮尔逊相关系数法进行特征选择并对其标准化；

步骤4：输入到Python中Tensorflow模块搭建好的深度学习模型中进行训练，参数调试，得到预报模型；

步骤5：将预报模型应用到测试数据中。

优选的，步骤1中的预处理过程如下：对于OMNI卫星数据，剔除行星际磁场分量大于等于9999，太阳风速度大于等于99999，太阳风动压大于等于99的无效数据；对于SuperDARN雷达数据，选择当天回波点数大于300且每日对流图张数大于400的数据。

优选的，步骤2中的匹配过程如下：

步骤2.1：获取OMNI卫星所测量的行星际电场ICPEF，行星际磁场分量By和Bz(GSM坐标系下)，太阳风速度Vs，太阳风动压P，阿尔芬马赫数Ma以及地磁指数AE；

步骤2.2：根据以下公式生成时钟角theta，kan-lee重联电场Ekl，磁层顶驻留位置Rms，行星际磁场联合分量Bt(GSM坐标系下)四个空间参数，其公式为：

式中：Bzgm和Bygm为gsm坐标系下的行星际磁场Bz和By分量， V为太阳风速度，Re为地球等效1半径；

步骤2.3：由于SuperDARN雷达数据和OMNI卫星数据的时间分辨率不一致，SuperDARN是2分钟，而OMNI卫星数据是1分钟，故根据时间选择它们的交集，并将对应的参数进行连接，同时对对流图的无效数据进行裁剪，构成包含22个参数的数据集。

优选的，步骤3中的裁剪过程如下：对于纬度低于51°的对流图数据，由于其电势值都为0，不利于模型的训练，对其进行删除处理，剩余的电势点数据构成每张图长度为7059的序列。

优选的，步骤3中特征选择过程如下：使用皮尔逊相关系数法，对多个候选变量纬度，经度，年，小时，分钟，行星际磁场分量By和Bz(GSM 坐标系下)，太阳风速度，太阳风速度在x轴上的分量，雷达回波点数，行星际电场，AE地磁指数，磁层顶驻留位置，阿尔芬马赫数和1个目标变量即当前经纬度网格的电势值，计算彼此间的相关性，选择相关性系数较大的N个特征作为输入特征，同时考虑历史对流图数据对当前时刻对流图数据的影响，计算其自相关系数，选择相关较强的N个历史时刻的数据作为输入；其中，皮尔逊相关系数的公式为：

式中，y代表当前时刻的电势值，即目标变量，x代表历史时刻的电势值以及近地空间参数值，即候选变量，xⁱ为当前候选变量的第i个值，yⁱ为目标变量的第i个值，x为当前候选变量的均值，y为目标变量的均值。优选的，步骤3中标准化过程如下：将数据通过z-score标准化处理使其符合标准的正态分布，其中z-score标准化的公式为：

式中，μ为特征x的均值，σ为特征x的标准差，x为标准化之前的特征向量，z为标准化后的特征向量。

优选的，步骤4中搭建的神经网络结构具体为3层，一层为双向 LSTM层，另外两层为全连接层；在训练过程中，采用均方误差作为损失函数，adamax作为优化算法，设置自适应学习率和批大小，直至达到预设训练迭代次数。

优选的，步骤5中预报的具体过程如下：根据训练完成的所述预报模型，选择完全独立于训练数据集的测试数据集，将所述预报模型应用到该测试数据集上，然后使用三种评估指标对模型进行评估，分别为结构相似度SSIM、峰值信噪比PSNR、均方根误差RMSE，同时分析对比越极盖电势CPCP分布和越极盖电场CPEF分布与实测分布的差异性，其中，SSIM、PSNR以及RMSE的计算公式如下：

式中，X代表模型预测的对流图像，Y代表雷达实测的对流图像，μ_x是图像X的均值，μ_Y是图像Y的均值，σ_XY是图像X和Y的协方差，

是图像X的方差，

是图像Y的方差，C₁和C₂是用来维持稳定的常数，

为图片可能的最大像素值，I(i,j)代表图像X在网格点(i,j)位置上的像素值，K(i,j)代表图像Y在网格点(i,j)位置上的像素值。

使用预报模型得到的越极盖电势差CPCP和越极盖电场CPEF的分布与实测数据分布的差异性进行分析与评估。

本发明使用的对流图像数据来源于SuperDARN雷达探测数据，SuperDARN雷达通过MAP POTENTIAL算法基于现有的回波视线多普勒速度测量值,结合离散后的模型数据进行8阶或者更高阶的球协函数最佳拟合,拟合方程即为全球静电势的分布,即对流图。近地空间参数来源于 Omni卫星探测数据。

整个数据集一共包含22个特征。由于SuperDARN雷达的时间分辨率是2分钟，空间分辨率在纬度上是1°，在经度上是2°，因此一天的数据点就有70多万条，如此海量的数据隐藏着大量传统方法无法探知的信息和规律，这直接关系到对流图预报的有效性和准确性。

因此，本发明基于深度学习和大数据相关理论技术的发展，采用神经网络相关方法，利用SuperDARN雷达获得的海量具有丰富信息的数据，将数据之间的关系用具有强大拟合能力的神经网络表达出来，实现高纬电离层对流图像的短期预报，满足空间天气预报的需求。

本发明具有以下优点：本发明基于深度学习和SuperDARN雷达数据的高纬等离子体对流短期预报方法，采用皮尔逊相关系数法根据历史时刻的对流图像数据以及相关的近地空间参数预报未来时刻的对流图像数据，开创性地将深度学习技术用于提取SuperDARN雷达捕获到的对流图的在时间上的有效信息，开创性地将深度学习技术和SuperDARN雷达观测数据应用到空间天气对流图的短期预报当中，并且具有较高的预报准确率。

附图说明

图1为本发明的总体步骤示意图。

图2为本发明优选实施例的具体流程示意图。

图3为本发明的模型预报结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本实施例提供了一种基于深度学习的SuperDARN雷达对流图短期预报方法，如图1所示，本实施例主要包含五大步骤，分别为数据获取，数据预处理，特征选择，模型训练与参数调试、模型评估。本发明基于深度学习中的双向LSTM神经网络，基于SuperDARN雷达探测数据，采用回波点数大于300，日对流图张数大于400的电离层对流图像数据，结合空间天气建模方法对高纬地区电离层对流图像的时间信息进行提取，实现电离层对流图像的短期预报，一种优选实施例具体流程如图2所示，步骤如下：

步骤一：首先获取2014年12月份的SuperDARN雷达观测数据以及OMNI卫星观测数据，然后分别对数据进行预处理，剔除包含9999，99999，99的无效数据，同时对于SuperDARN雷达观测数据，选择回波点数大于300，每日对流图张数大于400的数据，构成可靠的SuperDARN雷达和OMNI卫星数据集。

步骤二：由于SuperDARN雷达数据的时间分辨率是2分钟，而OMNI 卫星数据的时间分辨率是1分钟，因此需要对OMNI卫星数据和SuperDARN雷达数据按照最大分辨率取交集，然后根据日期和时间对齐SuperDARN雷达观测数据和OMNI卫星数据，再将纬度小于51°静电势值的无效数据进剔除，构成一个拥有22个特征的数据集。

步骤三：使用皮尔逊相关系数法进行特征选择，选择相关性较高的 N个特征，同时计算对流图数据的自相关系数，选择相关性较高的N个不同时延的历史对流图数据，一起作为模型的输入特征，其中皮尔逊相关系数的公式为：

式中，y代表当前时刻的电势值，即目标变量，x代表历史时刻的电势值以及近地空间参数值，即候选变量，xⁱ为当前候选变量的第i个值，yⁱ为目标变量的第i个值，x为当前候选变量的均值，y为目标变量的均值。

步骤四：划分数据集，按照5：5的比例将数据集划分为训练数据集和测试数据集。

步骤五：由于电离层对流图数据本质上是时间序列数据，其序列长度为7059，因此使用时序模型来捕捉其时间上的相关性会有很好的效果。 LSTM循环神经网络是一个典型的时序模型，主要由三个门限来控制信息的累积速度，实现长短期记忆功能，其公式如下：

i_t＝σ(U_i·x_t+W_i·s_t-1+b_i)

f_t＝σ(U_f·x_t+W_f·s_t-1+b_f)

o_t＝σ(U_o·x_t+W_o·s_t-1+b_o)

其中，i_t表示输入门的结果；f_t表示遗忘门的结果；O_t表示输出门的结果；S_t代表t时刻的输出也代表着长期记忆；h_t代表短期记忆，W_i，W_f，W_c，W_o，b_i，b_f，b_o分别表示不同的权重系数和偏置。LSTM神经网络对电离层高纬等离子体对流图的非线性趋势的提取体现在输入门、遗忘门和输出门会由当前时刻的输入状态X_t与前一时刻状态S_t-1共同决定，遗忘门和输入门的使用决定了时间序列信息的保留与遗忘，从而有效地保存长期记忆。但仅仅使用LSTM只能挖掘电离层对流图像的历史时刻的信息，未来时刻的电离层对流图像信息对模型的训练也有非常大的帮助，因此，使用双向LSTM模型来克服单向LSTM模型考虑不够全面的缺点，与LSTM相比，双向LSTM多了一个反向LSTM层，其结构如图3所示，它能够同时考虑过去的信息和未来的信息，对于电离层对流图像这样的时序数据有更好的效果，其中正向LSTM层、反向LSTM层以及叠加后的隐含层的更新公式为：

式中，

代表前向隐含层输出，

代表后向隐含层输出，h_t代表叠加后的隐含层输出。

接着对深度双向LSTM模型进行训练并使用网格搜索算法进行参数的调试，如学习率，最大迭代次数，隐含层单元个数，优化算法，批处理大小，损失函数等，选择最优的参数组合，同时使用早停技术防止模型的过拟合，得到电离层对流图短期预报模型。

步骤六：使用该电离层对流图短期预报模型对测试数据集进行预报，得到不同时间不同经纬度上的电势值；再使用曲面拟合技术进行拟合并插值，绘制出高纬电离层对流图像。

步骤七：使用结构相似度SSIM，峰值信噪比PSNR，均方根误差 RMSE三种评价指标对模型的预报效果进行评估，其中，SSIM，PSNR以及RMSE公式如下：

式中，X代表模型预测的对流图像，Y代表雷达实测的对流图像，μ_x是图像X的均值，μ_Y是图像Y的均值，σ_XY是图像X和Y的协方差，

是图像X的方差，

是图像Y的方差，C₁和C₂是用来维持稳定的常数，

为图片可能的最大像素值，I(i,j)代表图像X在网格点(i,j)位置上的像素值，K(i,j)代表图像Y在网格点(i,j)位置上的像素值。

步骤八：进一步分析对比模型预测得到的越极盖电势差CPCP和越极盖电场CPEF的分布与实测数据的分布的差异性。

使用上述方法得到的预报图像与SuperDARN实测得到的对流图像非常的接近，SSIM，PSNR以及RMSE指标都非常好，同时也能准确的预报出表征电离层特征的电动力学参数越极盖电势差CPCP和越极盖电场 CPEF。

本发明基于深度学习和SuperDARN雷达数据的对流图短期预报方法，包括：根据SuperDARN雷达观测数据和OMNI卫星观测数据，构建数据集；根据皮尔逊相关系数进行特征选择并划分数据集为训练数据集和测试数据集；根据深度学习网络模型对所述训练数据集进行训练并调参，得到预估预报模型；将所述测试数据集作为所述预估预报模型的输入数据，得到对流图短期预报结果，并将所述对流图短期预报结果进行输出。本发明利用深度学习网络的非线性映射能力和对历史数据的信息提取能力，基于SuperDARN雷达观测数据，实现对未来时刻对流图的短期预报。

以上对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (3)

1.一种基于深度学习的SuperDARN雷达对流图短期预报方法，其特征在于，包括以下步骤：

步骤1：获取SuperDARN雷达观测数据和OMNI卫星观测数据并进行预处理；

步骤2：将OMNI卫星观测数据和SuperDARN雷达观测数据匹配并对齐构成完备数据集；

步骤3：使用皮尔逊相关系数法进行特征选择并对其标准化；

步骤4：输入到Python中Tensorflow模块搭建好的深度学习模型中进行训练，参数调试，得到预报模型；

步骤5：将预报模型应用到测试数据中；

步骤2中的匹配过程如下：

步骤2.1：获取OMNI卫星所测量的行星际电场ICPEF，行星际磁场分量By和Bz，太阳风速度V，太阳风动压fp，阿尔芬马赫数Ma以及地磁指数AE；

步骤2.2：根据以下公式生成时钟角theta，kan-lee重联电场Ekl，磁层顶驻留位置Rms，行星际磁场联合分量Btgm四个空间参数，公式为：

式中：Bzgm和Bygm为gsm坐标系下的行星际磁场Bz和By分量，Re为地球等效半径；

步骤2.3：根据时间选择交集，并将对应的参数进行连接，同时对对流图的无效数据进行裁剪，构成包含22个参数的数据集；

步骤3中特征选择过程如下：使用皮尔逊相关系数法，对多个候选变量和1个目标变量即当前经纬度网格的电势值，计算彼此间的相关性，选择相关性系数较大的N个特征作为输入特征，同时考虑历史对流图数据对当前时刻对流图数据的影响，计算其自相关系数，选择相关较强的N个历史时刻的数据作为输入；其中，皮尔逊相关系数的公式为：

式中，y代表当前时刻的电势值，即目标变量，x代表历史时刻的电势值以及近地空间参数值，即候选变量，xⁱ为当前候选变量的第i个值，yⁱ为目标变量的第i个值，

为当前候选变量的均值，

为目标变量的均值；

步骤3中标准化过程如下：将数据通过z-score标准化处理使其符合标准的正态分布，其中z-score标准化的公式为：

式中，μ为均值，σ为标准差，x为标准化之前的特征向量，z为标准化后的特征向量；

步骤4中搭建的神经网络结构具体为3层，一层为双向LSTM层，另外两层为全连接层；在训练过程中，采用均方误差作为损失函数，adamax作为优化算法，设置自适应学习率和批大小，直至达到预设训练迭代次数；

步骤5中预报的具体过程如下：根据训练完成的所述预报模型，选择完全独立于训练数据集的测试数据集，将所述预报模型应用到该测试数据集上，然后使用三种评估指标对模型进行评估，分别为结构相似度SSIM、峰值信噪比PSNR、均方根误差RMSE，同时分析对比越极盖电势CPCP分布和越极盖电场CPEF分布与实测分布的差异性，其中，SSIM、PSNR以及RMSE的计算公式如下：

式中，X代表模型预测的对流图像，Y代表雷达实测的对流图像，μ_x是图像X的均值，μ_Y是图像Y的均值，σ_XY是图像X和Y的协方差，

是图像X的方差，

是图像Y的方差，C₁和C₂是用来维持稳定的常数，

为图片可能的最大像素值，I(i,j)代表图像X在网格点(i,j)位置上的像素值，K(i,j)代表图像Y在网格点(i,j)位置上的像素值。

2.如权利要求1所述的基于深度学习的SuperDARN雷达对流图短期预报方法，其特征在于：步骤1中的预处理过程如下：对于OMNI卫星数据，剔除行星际磁场分量大于等于9999nT，太阳风速度大于等于99999m/s，太阳风动压大于等于99nPa的无效数据；对于SuperDARN雷达数据，选择当天回波点数大于300且每日对流图张数大于400的数据。

3.如权利要求1所述的基于深度学习的SuperDARN雷达对流图短期预报方法，其特征在于：步骤3中的裁剪过程如下：对于纬度低于51°的对流图数据，进行删除处理，剩余的电势点数据构成每张图长度为7059的序列。

Images