CN114252706B - 一种雷电预警方法和系统 - Google Patents

Abstract

本发明公开了一种雷电预警方法和系统，涉及雷电预警技术领域。本发明针对电场数据量大，数据维度多的特点，利用稀疏自编码器压缩维度特征，与传统人工选取特征(例如傅里叶分解、小波变换和经验模态分解)相比，能够最大限度保留数据的原始特征，很好的解决了雷电预警领域电场时序特征提取困难的问题，便于进行后续处理。本发明利用LightGBM分布式、高效的特性，很好的解决了雷电预警建模困难、准确率低以及时效性不足的问题。本发明可针对不同地区的状况进行适应性的训练和调试，具有普适性。随着模型运行时间加长、数据量加大，可进行更新迭代，以确保预报性能不断提升。

Description

一种雷电预警方法和系统

技术领域

本发明涉及雷电预警技术领域，特别涉及一种雷电预警方法和系统。

背景技术

闪电是一种发生在自然界的云层与云层之间或者云层与地面之间的放电现象，伴随着经济的不断发展和社会的飞速进步，雷电所造成的人身安全和财产损失引起人们的重视，而雷电预警作为主动防雷中的重要措施，对于降低雷电造成的危害具有重大意义。

在雷暴发展期间，云层中的冰晶、霰粒等颗粒物不断摩擦起电，致使其带上较强的电荷，从而在大气和地面之间形成强烈的电场，因此大气电场便可用来推算雷暴的形成、发展和消散的过程。基于此，国内外学者对其进行了深入研究，例如利用大气电场幅值、大气电场差分阈值及电场的快变抖动等特征，结合闪电定位仪、雷达回波图对闪电的发生进行预测。

传统的基于大气电场特征的雷电预警方法多是基于人为设定大气电场阈值和大气电场差分阈值，或是基于傅里叶分解、小波变换和经验模态分解等手段处理电场时序信号，没有深入挖掘大气电场振荡特征，且会丢失部分特征，存在适用性不强，预警准确率不高的问题。若当数据样本较大，计算量较大，难以满足实际雷暴预警的需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种雷电预警方法和系统，其目的在于提高雷电预警准确率以及时效性。

为实现上述目的，本发明提供了一种雷电预警方法，包括：

S1：对电场测量数据进行预处理；

S2：将预处理后的电场测量数据划分为雷暴样本和非雷暴样本；

S3：采用稀疏自编码器对上述样本数据进行特征提取和维度压缩；

S4：以压缩后的电场特征作为训练集，采用LightGBM算法训练得到雷电预警模型；

S5：将未知天气的电场数据输入训练好的雷电预警模型，得到未来是否会有雷暴发生的预警结果。

进一步地，电场数据预处理包括采用拉格朗日插值的方法补充缺失值，删除重复值以及剔除异常数据。

进一步地，步骤S2具体为，

将闪电发生时间前一小时内的电场测量数据归为雷暴样本；

随机抽取一小时的电场测量数据，若该段数据前后半小时无闪电发生，则归为非雷暴样本。

进一步地，稀疏自编码器包括输入层、隐藏层和输出层。

进一步地，对输入层数据的编码函数f(x)和对隐藏层数据的解码函数g(h)分别为：

f(x)＝f(W₁x+b₁)

g(h)＝g(W₂x+b₂)

式中W₁为输入层到隐藏层的权重，W₂为隐藏层到输出层的权重，b₁和b₂分别为隐藏层和输出层的偏置项。

进一步地，引入KL散度来衡量ρ_j和ρ之间的差异，稀疏自编码器的损失函数为：

β为稀疏惩罚项的权重系数，ρ_j为稀疏性参数，ρ为接近于0的常数，L为自编码器损失函数。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。

(1)本发明针对电场数据量大，数据维度多的特点，利用稀疏自编码器压缩维度特征，与传统人工选取特征(例如傅里叶分解、小波变换和经验模态分解)相比，能够最大限度保留数据的原始特征，很好的解决了雷电预警领域电场时序特征提取困难的问题，便于进行后续处理。

(2)本发明利用LightGBM分布式、高效的特性，很好的解决了雷电预警建模困难、准确率低以及时效性不足的问题。

(3)借助人工智能在数据挖掘领域的优势，可针对不同地区的状况进行适应性的训练和调试，具有普适性。随着模型运行时间加长、数据量加大，可进行更新迭代，以确保预报性能不断提升。

附图说明

图1是雷电预警整体流程图

图2是大气电场仪所测的数据示例。

图3是自编码器结构图。

图4是稀疏自编码器训练过程中训练集和验证集损失函数变化。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

参考图1，本发明提供的雷电预警方法包括：

步骤1：对电场数据进行预处理，主要操作包括：

1.1对缺失值进行插值补充

对于某时刻数据缺失的情况，采用拉格朗日插值的方法填补数据，拉格朗日插值计算公式为：

其中，拉格朗日插值基函数l_k(x)表达式为：

1.2对于重复值，即某一时刻对应多个电场数据，删除多余的数据。

1.3检查是否有异常数据，删除异常数据，采用3σ准则，具体计算公式如下：

设样本均值u_i，标准差为σ_i，根据统计学原理，x_i落在(u_i+3σ，u_i+3σ)之外的概率约为0.0026，属于小概率事件，实际问题中不会发生，该部分数据应当剔除。其中，样本均值计算公式为：

样本标准差计算公式为：

若统计量X_i的第j个样本数据(x_i)_j满足足式下式，则说明该样本数据为异常数据，应当剔除，并将异常数据的位置用空值表示。

|(x_i)_j-μ_i|>3σ_i

如图2所示为经过步骤1处理之后的大气电场仪部分测量数据。

步骤2：确定雷暴样本和非雷暴样本

为了通过大气电场来判别是否有闪电发生，需要截取一定长度的电场时间序列对其进行特征分析，截取序列如果过长则会包含大量的非雷暴电场序列，如果过短则会降低预警的实效性。雷暴发展过程中电场变化可分为四个阶段：外围闪击阶段、雷云临近阶段、雷云到达阶段和雷云过境后阶段。其中外围闪击阶段指的是闪电发生在电场仪侦测范围内，但在15km之外，并且闪电活动在雷云到达阶段尤为剧烈。第一阶段和第三阶段相距约40分钟，为雷电预警提供了短暂而宝贵的时间。

因此在本发明实施例中，对于雷暴天气样本，选取60min的大气电场序列，对于非雷暴天气样本，采取随机抽取等长序列的方式。确定方式如下：

①雷暴样本：根据闪电定位系统侦测到闪电发生的时间，取出其过去一小时内的电场测量数据。

②非雷暴样本：随机抽取一小时的电场测量数据，若其前后半个小时无闪电发生，则归为非雷暴样本。

步骤3：对电场时间序列进行特征提取。

自编码器(AE,Auto encoder)是运用于机器学习和深度学习的常用提取特征的方法之一，包括输入层、隐藏层和输出层3层结构，其基本结构如图3所示。它采用无监督学习的方式，将输入信息作为学习目标，可用于对输入信息的表征进行提取，通过比较原始数据和重构数据的误差来进行训练，使得输入值和输出值尽可能接近，从而在不损失精度的前提下，获取数据信息在更低维度下的表示方法。

本文采用稀疏自编码(Sparse auto encoder,SAE)提取电场特征，该神经元具有稀疏约束机制，激活函数为范围在(0，1)之间的sigmoid的函数，可表示为：

假设第i个隐藏层的输入为X＝{x₁,x₂,…,x_i,…，x_n-1,x_N}，x_i∈R^(m)，其中N为数据量，m为样本特征的维度。该网络利用σ激活函数对输入层x进行编码，得到隐藏层h，然后解码网络对隐藏层数据进行解码，得到输出向量y。编码函数f(x)和解码函数g(h)如下式所示。

h＝f(x)＝f(W₁x+b₁)

式中W₁为输入层到隐藏层的权重，W₂为隐藏层到输出层的权重，b₁和b₂分别为隐藏层和输出层的偏置项。

稀疏自编码器的核心思想是将稀疏惩罚项引入到损失函数中，以此限制隐藏神经元的激活程度。对于某一神经元，如果它的输出接近于1，那么其激活程度就很高，若接近于0，则其激活程度很低。设隐藏层中的第j个神经元的输出为h_j(x⁽ⁱ⁾)，第j个隐藏层神经元的平均活跃度可表示为：

其中ρ_j为稀疏性参数，为了降低神经元的激活程度，希望其值趋近于零，引入KL散度作为惩罚项，使ρ_j趋近于一个接近于0的常数ρ，二者之间的差值可以用相对熵表示：

自编码器的损失函数一般具有如下形式：

引入KL散度后，SAE的损失函数可由下式表示：

式中，β为稀疏惩罚项的权重系数。

将ρ设置为0.05，β设置为3，根据8：2的比例划分训练集和验证集，通过100次的不断迭代训练降低损失，其迭代过程如图4所示。

步骤4：当样本维度过大，使用传统算法会存在计算速度较慢、计算精度不够的缺点，为了解决这一问题，需要选取一种运算精度高且运行速度快的算法，集成学习中LightGBM模型结合了决策树算法且采用直方图做差加速策略构建决策树结点，可自动处理类别特征，相比XGBoost算法和随机森林算法模型精度更高，且不易过拟合，具有更高效的处理能力。

因此本发明以步骤3中经过压缩后的电场特征作为因变量，基于网格寻优进行LightGBM的超参数优化，得到模型的最佳树数量和最优树深度，对归一化后的数据集划分验证集和测试集，之后基于K折交叉验证，通过多次实验对LightGBM模型不断进行拟合调优，确定分类效果最好的LightGBM模型。

步骤5：LightGBM算法模型进行雷电临近预警，上述训练好的模型，即可判别未知天气的电场代表的是雷暴天气还是非雷暴天气，进而得之未来是否会有雷暴发生。发现异常后，将模型所给结果结合人工经验进行预警信号的发出。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种雷电预警方法，其特征在于，包括：

S1：对电场测量数据进行预处理；

S2：将预处理后的电场测量数据划分为雷暴样本和非雷暴样本；

S3：采用稀疏自编码器对上述样本数据进行特征提取和维度压缩；

S4：以压缩后的电场特征作为训练集，采用LightGBM算法训练得到雷电预警模型；

S5：将未知天气的电场数据输入训练好的雷电预警模型，得到未来是否会有雷暴发生的预警结果。

2.根据权利要求1所述的一种雷电预警方法，其特征在于，电场数据预处理包括采用拉格朗日插值的方法补充缺失值，删除重复值以及剔除异常数据。

3.根据权利要求2所述的一种雷电预警方法，其特征在于，步骤S2具体为，

将闪电发生时间前一小时内的电场测量数据归为雷暴样本；

随机抽取一小时的电场测量数据，若该段数据前后半小时无闪电发生，则归为非雷暴样本。

4.根据权利要求1-3任一项所述的一种雷电预警方法，其特征在于，稀疏自编码器包括输入层、隐藏层和输出层。

5.根据权利要求4所述的一种雷电预警方法，其特征在于，对输入层数据的编码函数f(x)和对隐藏层数据的解码函数g(h)分别为：

f(x)＝f(W₁x+b₁)

g(h)＝g(W₂x+b₂)

式中W₁为输入层到隐藏层的权重，W₂为隐藏层到输出层的权重，b₁和b₂分别为隐藏层和输出层的偏置项。

6.根据权利要求5所述的一种雷电预警方法，其特征在于，引入KL散度来衡量ρ_j和ρ之间的差异，稀疏自编码器的损失函数为：

β为稀疏惩罚项的权重系数，ρ_j为稀疏性参数，ρ为接近于0的常数，L为自编码器损失函数。

7.一种雷电预警系统，其特征在于，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至6任一项所述的雷电预警方法。

Images