CN107728234B - 一种基于大气电场数据的雷电强度值预测方法 - Google Patents

Abstract

一种基于大气电场数据的雷电强度值预测方法应用于雷电预警领域。本发明提出了一种通过提取大气电场数据的深度特征，将原始一维大气电场数据转化为二维图像表达并挖掘图像的深度特征信息，结合非线性回归分析法，建立大气电场数据和雷电强度值的关系模型，对雷电强度值进行预测。本发明使用了多种探测资料来进行雷电预警，即大气电场数据和雷电数据。采用维度转化的方式，将一维大气电场数据转化为二维图像表达，增强大气电场数据结构表达。利用深度模型提取到大气电场数据的深度特征信息。利用大气电场资料来预测雷电强度值，填补了其他预测方法中对大气电场资料利用较少，和对雷暴强度值预测的空白。

Description

一种基于大气电场数据的雷电强度值预测方法

技术领域

本发明应用于雷电预警领域，涉及到对于大气电场数据和雷电强度值的应用。本发明提出了一种通过提取大气电场数据的深度特征，将原始一维大气电场数据转化为二维图像表达并挖掘图像的深度特征信息，结合非线性回归分析法，建立大气电场数据和雷电强度值的关系模型，对雷电强度值进行预测。

背景技术

雷暴天气是一种常见的，会伴随有闪电、雷声、大风、冰雹和强降水等现象的对流天气。雷击过程具备了瞬态大电流、高电压、强电磁辐等特点。其高电压、高温等物理效应在瞬时产生的破坏力，对人员和财产带来危害和损失。

雷电灾害造成的经济损失巨大、人员伤亡事故严重，形成了发生频次高、范围大、危害大、社会影响大的特点，近年来雷灾事故也呈现多发的上升趋势。

大气电场数据和雷电强度值都是气象领域中与雷暴天气预测相关的参数指标，因而，通过对大气电场数据进行研究，利用大气电场数据来预测雷电强度值，挖掘二者间的联系，并有针对性地提出雷电灾害预警方法，对国家经济建设、防灾减灾、维护人民的生命财产安全具备重要意义。

本发明利用如图1的大气电场维度转化图，通过建立深度学习的模型，提取到大气电场数据的深度特征信息。图1中的大气电场维度转化图的规格为60*60的图像，像素点的不同颜色代表不同的大气电场值变化，其原始数值为一分钟内大气电场值的平均值。横轴为时间轴，代表t时刻前60分钟至时间t，时间精度为分钟。纵轴代表了探测仪器的组网结构，即大气电场仪位置关系，在一个地区内投放的仪器数量是6台，60即代表六台仪器的10组随机排列组合。

早期的雷电预警主要是通过对历史雷电记录进行统计分析，或者通过大气电场变化进行粗略的雷暴预判。

2009年吴健等对电场强度设置了门限等级，以电场曲线初始阶段是否发生快速波动为判断标准，并结合雷电移动趋势、预警提前时间和电场仪安装位置等多种因素，从而来判断雷电的发生，实现雷电预警。2015年刘宇等也利用了雷电活动在发生前会出现电场频繁跳动的现象，引入雷电定位信息，确定出雷电预警等级。2015年高文胜等就已有雷电预警研究算法无法对特定区域的落雷密度进行预测，提出将观测目标区域按网格划分，每15分钟落雷数据依照时间等分为三段。通过聚类算法对落雷数据中的杂散点进行过滤，识别聚类云团，并线性拟合出三组时段内各聚类云团的质心位置，预测出未来15分钟的聚类云团质心的移动趋势。再统计分析了网格内落雷密度，利用反距离加权插值法，得到聚类云团的覆盖区域。

目前对于雷电强度值的分析预测，以及结合大气电场数据来预测雷电等方面的方法很少。

深度学习是机器学习领域一个分支，近些年在诸多领域取得重大突破，是研究的热点之一。深度学习目前应用在多个研究方向，如图像分类、字体识别、目标检测、姿态估计、语义分析、语音识别等等。2006年Hinton提出“深度学习”概念，发布了实现深度学习训练的方法，由此深度学习有了突破式发展。2012年Hinton团队在ImageNet竞赛中，其提出基于深度学习的Alexnet网络模型，比赛中取得了非常突出的成绩，对图像的识别能力有了大幅提升。2017年北京工业大学的郭橙等人提出了将卷积神经网络应用到大气电场数据与雷暴发生的相关性的方法中。针对数据分布特点及其结构的分析，提出了将大气电场数据由一维向二维图像转化的方法，利用深度学习网络建立其与对应时段内的雷暴情况的联系，构建出分类网络模型。该方法只利用大气电场数据预测了雷暴发生的频次，并未对雷暴强度值进行预测，即缺少对雷暴参数指标的预测，无法得出雷暴发生时的强度信息。

综上所述，目前雷电预警方法多数只利用到一种观测数据，且只对雷电是否发生进行预判或者对雷暴频次进行等级划分预警，对雷电强度值的预测较少，以及利用了多种探测数据的预测方法也较少。而雷暴天气的影响因素十分多，探测设备所采集的探测数据种类多，例如，大气电场仪，闪电定位仪，雷达，卫星等。雷电活动的产生存在时空随机性、瞬时性，不同地区气候特征不一样，其雷暴发生规律也存在差异性，加之雷暴的发生与多种探测资料均有关联，结合多种探测数据对雷暴活动进行分析和预警很有必要。本方法通过对原始一维大气电场数据进行维度转化，得到大气电场的二维图像表达，利用深度学习模型提取大气电场数据的深度特征信息，并对闪电定位仪采集到的历史雷暴强度值进行采样，将每分钟内最大雷暴强度值作为该分钟内的雷暴强度代表值，后使用回归分析法，实现了通过大气电场资料的深度特征对雷暴强度值的预测。

发明内容

本发明的目的是提供一种利用大气电场数据的深度特征，对雷电强度值进行预测的方法。

该方法基于大气电场数据的深度特征，首先将原始一维大气电场数据转化为二维图像，后通过深度学习模型提取图像的深度特征信息，通过对闪电定位仪的雷暴强度值进行最大值采样制作向量标签，采用非线性回归分析法，建立大气电场数据和雷电强度值的关系模型，实现了利用大气电场数据对雷电强度值预测的方法。

大气电场数据和雷电强度在同一时刻呈现一定相关趋势，如图2所示。

方法框架如图3所示，该方法的步骤包含如下所列：

1、大气电场数据维度转化

利用RGB颜色表数据映射关系，实现原始一维大气数据向二维图像转化，使多台仪器数据融合，完备整个地区的大气电场表达。如图4所示为一种将一维大气电场数据进行维度转化加强表达的方法，由颜色表RGB三通道，可得共计256*256*256个颜色，即16777216，将一维大气数据映射到RGB空间。每分钟大气电场平均值d_m，其值域选取[-25，25]。则对应RGB颜色V_c范围为[0，16777216]，d_m应映射到V_c取值范围内。

可得转化公式为：

V_c＝(d_m+25)×300000 (1)

获取对应的RGB值后，可得到图片的初步规格为60*6。其中图像横轴代表时间(单位：分钟)，长度60；RGB颜色块内容代表转化后的各台仪器上的大气数据；纵轴表示各台大气电场仪编号，则从第1行到第6行依次为仪器编号的1至6。为扩充数据量，丰富表达，对图片的纵轴进行10倍累加。主要方法是将6台大气电场仪数据进行排列组合，从720种组合结果中随机选取10组构成纵轴表达，重构大气电场转化图。图像格式为BMP格式。

2、深度学习模型建立

该部分包括深度学习分类模型的分类标签自动化标注，和深度学习分类模型结构组成。采用深度学习模型Alexnet建立分类模型，从而提取到大气电场数据的深度特征。

Alexnet网络结构属于深度学习模型中卷积神经网络(CNN)，其主要结构如图5所示。

具体预处理操作如下：

(1)生成groundtruth。原始数据来自大气电场仪和闪电定位仪，其中groundtruth为分类标签，需要对闪电定位仪采集到的雷暴数据进行类别划分，例如分为2类，表示“有雷电”和“无雷电”的两种情况，则标签的数值取1和0。

(2)深度学习分类模型结构组成，参考图5，具体结构设计为如下：

a.网络组成为5个卷积层，3个全连接层。输入数据格式为LMDB，最后一个全连接层的输出送入一个softmax层，得到分类标签的分布。

b.层1、2、5中加入了Pooling层(池化)；层6和层7中加入了Dropout层，减少过拟合。

c.第8层的Softmax中神经元个数设置为2，针对二分类任务，分别表示“有雷”和“无雷”。

d.基于Alexnet的初始参数进行训练，对模型进行调优操作，直到Loss值下降到稳定区间时，说明模型收敛。根据多次实验后的经验，不断调整学习率，迭代次数等参数，多次实验，对比准确率，以获得识别能力较强的分类模型。

3、深度模型训练设置

网络输入分别是大气电场数据RGB图和标签为2类的雷电数据标签，一一对应。将其分为训练集、验证集和测试集，比例为3:1:1，将网络最后一层输出的神经元个数设置为2，在此模型基础上进行参数调优，多次实验，得到二分类的分类网络模型。

4、深度特征提取

抽取特征需要将输入的大气电场数据测试集转化为BMP图像数据集，需要该数据集的Mean值文件，还有所选取的经过微调后的模型参数文件与结构定义文件，后读取模型的各层输出，如fc7层，即第七层的全连接层，即得到深度特征。特征可视化展示，如图6所示。

5、雷暴强度值回归标签化

对原始雷电记录数据的每一分钟内雷电强度值设置条件，以绝对值最大的数据为准，将该位置的强度值作为该时间段的浮点回归标签。

6、回归分析预测方法

SVR(支持向量回归)是一种回归分析方法，由SVM(支持向量机)延伸得来。

SVM算法中每一个元素x_i与超平面都存在一个距离d，在选取超平面时根据以下原则，即使得那些最靠近超平面的元素x_i与超平面的距离d大，这些距离超平面近的元素x_i即为支持向量。

而SVR算法原理则是以SVM算法为基础，进行了演化。SVM分类所寻找的超平面，其目的是将元素x_i通过超平面实现可分，其分类的个数y_i是有限个，例如二分类则有两个值。

而SVR的目的可以看做是在高维空间找到一个超平面，使得元素x_i落在特定区间内,而区间内的y_i是一个连续值，是不可数的，这使得超平面的形状似管壁。那么分布在“管壁”上的样本点决定了管道的位置，这些训练样本即为SVR的支持向量。

综上所述，该方法的优点体现在以下四点：

1)使用了多种探测资料来进行雷电预警，即大气电场数据和雷电数据。

2)采用维度转化的方式，将一维大气电场数据转化为二维图像表达，增强大气电场数据结构表达。

3)利用深度模型提取到大气电场数据的深度特征信息。

4)利用大气电场资料来预测雷电强度值，填补了其他预测方法中对大气电场资料利用较少，和对雷暴强度值预测的空白。

附图说明

图1为本发明中的原始大气电场数据二维转化图示例，分属下列三种雷暴强度值的情况下的大气电场转化图：(a)强度值为0，(b)最大正极性强度值，(c)最大负极性强度值；

图2为大气电场及雷电数据比对图：(a)大气电场数据变化图，(b)雷电强度值变化图；

图3为本发明所设计的雷电强度值的预测方法框架；

图4为本发明提出的一维大气电场数据向二维图像转化的方法流程图；

图5为深度学习网络模型结构图；

图6为通过深度卷积网络提取到的大气电场数据的深度特征图；

图7为本发明的回归预测的误差和相关系数评价结果；

图8为本发明的回归预测误差的综合评价结果；

具体实施方式

本发明将大气电场数据和雷电数据相结合，提供了一种基于大气电场数据的二维转化图的深度特征，对雷暴强度值进行向量标签化处理后，采用非线性回归分析方法，实现对雷暴强度值的预测。该发明的实现步骤如下：

该方法基于大气电场数据的深度特征，首先将原始一维大气电场数据转化为二维图像，后通过深度学习模型提取到大气图像的深度特征信息，再对闪电定位仪的雷暴强度值进行最大值采样后，结合非线性回归分析法，建立大气电场数据和雷电强度值的关系模型，实现利用大气电场数据对雷电强度值预测的方法。

方法框架如图3所示，该方法的具体步骤如下所述：

1、大气电场数据维度转化

通过与RGB颜色表数据的映射，实现多组一维大气数据向二维图像转化。如图4所示，由颜色表RGB三通道，可得共计256*256*256，即16777216个颜色。将一维大气数据映射到RGB空间，每分钟大气电场平均值d_m，值域取[-25，25]。对应RGB颜色V_c范围为[0，16777216]，d_m应映射到V_c取值范围内，转化公式表达为：

V_c＝(d_m+25)×300000 (2)

获取对应的RGB值后，得到图片的初步规格为60*6。其中图像横轴为时间(单位：分钟)，长度60；RGB颜色块内容代表转化后的各台仪器上的大气数据每分钟平均值；纵轴表示各台大气电场仪编号的组网结构，从第1行到第6行依次为仪器编号的1至6，对图片的纵轴进行10倍累加，主要方法是将6台大气电场仪数据进行排列组合，随机选取其中的10组构成纵轴的表达。图像格式为BMP格式。

2、深度学习模型建立

包括深度学习分类模型的分类标签自动化标注，和深度学习分类模型结构组成。模型采用深度学习模型Alexnet的基础结构，建立二分类模型，并提取大气电场数据的深度特征。

本发明中的深度学习分类模型的网络结构如图5所示。

具体操作如下：

(1)生成groundtruth。将来自大气电场仪和闪电定位仪的原始数据作为输入数据，制作groundtruth分类标签，对闪电定位仪采集到的雷暴数据按照雷暴频次进行划分。本发明中分为2类，具体标签自动标注规则如下：

对每分钟内发生雷暴次数进行统计后，按照取值分布将该地区雷暴等级划分为n类，类型值n作为符合每一类中发生雷暴次数的时间点的大气图像的输入标签。

每分钟发生雷电次数为，则可设每分钟发生雷电等级为，符合该数量级的时间点数量为K个。当r时，表示分为两类，即“有雷电”，“无雷电”，数值取1和0。

即有，

(2)卷积神经网络的分类模型结构组成，如图5所示，具体结构设计为：

a.网络结构包括：5个卷积层，3个全连接层。输入数据格式为LMDB，最后一个全连接层的输出送入一个softmax层，得到分类标签的分布。

b.层1、2、5中加入了Pooling层(池化)；层6和层7中加入了Dropout层。

c.第8层的Softmax中神经元个数设置为2，即二分类任务，对应的表达分别是“有雷”和“无雷”。

3、深度模型训练

网络的输入分别是大气电场数据RGB图和标签为2类的雷电数据标签，图像时间和标签时间一一对应。其训练集、验证集和测试集的比例设置为3:1:1，网络最后一层输出的神经元个数设为2。开始训练后，当Loss值下降的趋势趋于平缓，说明模型收敛。通过对学习率，迭代次数，batch_size等参数的不断调整，根据多次实验结果的经验加以调试，实现多次的分类模型调优，得到高准确率的分类模型，本发明中分类模型准确率93％。

4、深度特征提取

将输入的大气电场数据测试集转化为BMP图像格式，生成该数据集Mean值文件，以及微调后的分类模型参数文件与结构定义文件，并读取模型的各层输出，如fc7层，即第七层的全连接层，则可得到深度特征。

5、雷暴强度值回归标签化

对原始雷电记录数据的每一分钟内雷电强度值进行采样，具体规则是以每分钟内绝对值最大的数据为准，将该位置的强度值作为该时段的浮点回归标签。

6、回归分析预测方法

采用SVM回归分析法，简称SVR法。

在SVM算法中每一个元素x_i与超平面都存在一个距离d，在选取超平面时根据原则，即使得那些最靠近超平面的元素x_i与超平面的距离d尽可能大，这些距离超平面近的元素x_i即为支持向量。

而SVR算法原理则是以SVM算法为基础，进行了演化。SVM分类所寻找的超平面，其目的是将元素x_i通过超平面实现可分，其分类的个数y_i是有限个，例如二分类则有两个值。

而SVR的目的可以看做是在高维空间找到一个超平面，使得元素x_i落在特定区间内,而区间内的y_i是一个连续值，是不可数的，这使得超平面的形状似管壁。那么分布在“管壁”上的样本点决定了管道的位置，这些训练样本即为SVR的支持向量。

采用libsvm工具包进行实验，该工具包包含SVR函数的参数设置。

具体实验操作步骤如下：

(1)载入数据。

载入.mat格式的大气电场转化图的深度特征文件，为N*M矩阵。

载入.txt格式的强度值的浮点型标签数据文件。选取该分钟内强度值的绝对值最大的浮点数为该时刻的回归标签，浮点型回归标签集为N*1数组。其中，N表示数据总个数，M代表深度特征维度。

(2)特征归一化

归一化操作可以加快训练时间，并且可能提升预测性能。

对特征矩阵进行归一化操作，使用scaleForSVM()，对特征数据的训练集和测试集均进行归一化操作，归一化范围是[0，1]。

(3)浮点标签归一化(可选)

本实验为雷电强度值的预测实验，数据集中雷电强度值数量级跨度较大，最小绝对值可为0，最大数值的量级到百位，且区分正负极性，预测难度大。故考虑对标签数据也采用归一化操作，可加快参数寻优操作以及后续训练等，并提升预测性能。

操作同步骤(2)中的特征归一化，分别将训练集和测试集的浮点标签带入函数。

若对浮点标签进行归一化，则在得到初步预测结果后，需对其进行反归一化操作来得到对应尺度的正常强度值，详见步骤(9)。

(4)参数c和参数g寻优操作(可选)

采用libSVM工具包的SVMcgForRegress()函数，设置cmax，cmin，gmax，gmin，cstep，gstep等参数来规定寻优范围和步进间隔，得到该范围内回归预测效果最佳的参数c和参数g的取值。

(5)手动调整参数c和参数g

在训练SVR回归模型之前，需要设置参数c和g的取值，可以通过步骤(4)的寻优结果设置，也可以随机设置，或者在(4)得出的粗粒度的寻优结果基础上再进行手动微调。不断对比训练结果，根据预测性能的变化趋势调试c和g取值。

(6)训练SVR回归模型参数

利用svmtrain()函数，设置‘-s’值(回归分析应设3或4)、‘-t’值(均取2)、‘-h’值、‘-c’和‘-g’取值，可得到模型参数model。

(7)在训练集测试

得到模型参数model后，调用svmpredict()函数，输入为特征数据矩阵、标签数据数组和model值，输出为预测标签数组、预测评价指标(MSE，判定系数等)。

(8)在测试集测试

同理，步骤与(7)类似，输入改为测试集的特征数据和标签数据。

(9)预测结果反归一化(可选)

在对标签数据集进行归一化后进行训练，需要对预测的标签进行反归一化操作，从而获得正常尺度的雷电强度值。

反归一化操作利用mapminmax()函数，将参数设置为‘reverse’，并带入在归一化时得到的映射变量ps，即得到还原后的预测值。

7、评价方法

(1)均方误差

均方误差(Mean Squared Error，简称MSE)，可以衡量平均误差，能够评价目标的变化程度。

若真实值与预测值的误差e_i可以表示为e_i＝x-x_i，则可以得到MSE的表达公式为：

(2)相关系数的平方

相关系数的平方(Squared correlation coefficient)又可被称为判定系数、决定系数和拟合优度。

其中，对于变量X和Y的相关系数r(X，Y)的表达方式为：

式中，Cov(X，Y)为X与Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差。

(3)均方根误差

均方根误差(RootMeanSquaredError，简称RMSE)，RMSE是均方误差MSE的平方根，表示预测值的离散程度，也称标准误差。

若真实值与预测值的误差e_i可以表示为e_i＝x-x_i，则可以得到RMSE的表达公式为：

(4)平均绝对误差(MeanAbsoluteError,MAE)

平均绝对误差(MeanAbsoluteError，简称MAE)。设真实值与预测值的误差e_i表示为e_i＝x-x_i，则可以得到MAE的表达公式为：

公式中N代表数据总个数，MAE表示了误差绝对值的加权平均值。计算预测误差时会有正有负，故为了避免正负抵消，取误差绝对值进行累加后取其平均数。

(5)平均绝对百分误差

平均绝对百分误差(MeanAbsolute PercentageError，简称MAPE)，其计算公式可以表示为如下：

Claims (2)

1.一种基于大气电场数据的雷电强度值预测方法，其特征在于，包括以下步骤：

1)、大气电场数据维度转化

利用RGB颜色表数据映射关系，实现原始一维大气数据向二维图像转化，使多台仪器数据融合，完备整个地区的大气电场表达；

2)、深度学习模型建立

该部分包括深度学习分类模型的分类标签自动化标注，和深度学习分类模型结构组成；

采用深度学习模型Alexnet建立分类模型，提取到大气电场数据的深度特征；

具体预处理操作如下：

(1)生成groundtruth；原始数据来自大气电场仪和闪电定位仪，其中groundtruth为分类标签，需要对闪电定位仪采集到的雷暴数据进行类别划分，分为2类，表示“有雷电”和“无雷电”的两种情况，则标签的数值取1和0；

(2)设计深度学习分类模型结构结构如下：

a.网络组成为5个卷积层，3个全连接层；输入数据格式为LMDB，最后一个全连接层的输出送入一个softmax层，得到分类标签的分布；

b.层1、2、5中加入了Pooling层；层6和层7中加入了Dropout层，减少过拟合；

c.第8层的Softmax中神经元个数设置为2，针对二分类任务，分别表示“有雷”和“无雷”；

d.基于Alexnet的初始参数进行训练

3)、深度模型训练设置

网络输入分别是大气电场数据RGB图和标签为2类的雷电数据标签，一一对应；将其分为训练集、验证集和测试集，将网络最后一层输出的神经元个数设置为2，在此模型基础上进行参数调优得到二分类的分类网络模型；

4)、深度特征提取

将输入的大气电场数据测试集转化为BMP图像数据集，需要BMP图像该数据集的Mean值文件，和二分类的分类网络模型,读取模型的各层输出，得到深度特征；

5)、雷暴强度值回归标签化

对原始雷电记录数据的每一分钟内雷电强度值设置条件，以绝对值最大的数据为准，将绝对值最大的强度值作为浮点回归标签；

6)、回归分析预测得到基于大气电场数据的雷电强度值。

2.根据权利要求1所述方法，其特征在于，步骤1)、大气电场数据维度转化具体如下：

将一维大气电场数据进行维度转化加强表达的方法，由颜色表RGB三通道，得共计256*256*256个颜色，即16777216，将一维大气数据映射到RGB空间；每分钟大气电场平均值d_m，其值域选取[-25，25]；则对应RGB颜色V_c范围为[0，16777216]，d_m应映射到V_c取值范围内；

转化公式为：

V₀＝(d_m+25)×300000 (1)

获取对应的RGB值后，可得到图片的初步规格为60*6；其中图像横轴代表时间,单位：分钟,长度60；RGB颜色块内容代表转化后的各台仪器上的大气数据；纵轴表示各台大气电场仪编号，则从第1行到第6行依次为仪器编号的1至6；对图片的纵轴进行10倍累加；将6台大气电场仪数据进行排列组合，从720种组合结果中随机选取10组构成纵轴表达，重构大气电场转化图。

Images