CN113469457B - 融合注意力机制的输电线路故障概率预测方法 - Google Patents

Abstract

本发明公开了融合注意力机制的输电线路故障概率预测方法，包括以下步骤：S1：导入所有的数据集；S2：按照故障发生次数对数据进行分类处理；S3：先将事件发生的频率值近似的当作概率值的先验知识，以此给数据赋予标签；S4：构建网络结构图；S5：使用Adam优化算法对网络参数进行优化；S6：使用均方差函数作为网络训练效果的评价损失函数；为弥补现有技术中对故障事件先验知识依赖性大的缺陷，并深入挖掘历史气象信息与输电线路故障概率的相关性，提出了基于历史气象信息的输电线路故障概率预测技术，以便为电力公司制定运维和修缮计划提供预报信息。

Description

融合注意力机制的输电线路故障概率预测方法

技术领域

本发明涉及自然环境状态领域，特别是融合注意力机制的输电线路故障概率预测方法。

背景技术

目前自然环境状态十分严峻，异常的天气状态，尤其是极端气候类型在全世界范围内表现活跃。大多电力设备裸露在大气中，特别是输电线路，其安全完好的运行状态与结构状态直接与天气变化相对应，与线路外部多样的气象条件息息相关。因此，提前预测大电网中与天气有关的设备故障概率可以为运行和维护决策提供指导信息，提高电力系统风险管理能力。

输电线路中的故障通常可归类为机械类故障和绝缘类故障两类。常见的机械类故障有杆塔倾斜或倒塔、导线(地线)断裂、金具损坏等，绝缘类故障有线路跳闸、闪络等。导致这些故障发生的原因有很多，除人为暴力损坏和人工操作失误外，其余故障几乎均由直接的和潜在的气候因素引起。但在目前的研究中，对大批量的灾害的历史及预警信息获取极为困难，且考虑到灾害的形成是由常规气象经过复杂的物理机理形成的，本发明的模型是用于考虑常规和灾害气象信息的输电线路故障概率预测。

能够以合适的模型对输电线路故障概率进行预测，对进行电网静态安全风险量化评估是至关重要的。在现有的研究中，广泛采用基于给定概率分布的统计学模型的参数法模型进行故障预测。如傅里叶函数、高斯函数、威布尔函数、二元逻辑回归模型等但此类预测方法极大依赖于确定的概率分布模型，无法考虑到气象因素固有存在的不确定性。基于数据但不给定概率分布的非参数学习方法也应用于电力系统故障的预测中，如混合高斯模型、区间法、概率点估计等。随着人工智能领域的飞速发展，人工智能算法可有效应用于挖掘气象和故障间的非线性关系和二元分类研究中。具体的方法有极限学习机(ELM)模型、贝叶斯神经网络(BNN)、分类回归树和贝叶斯累加回归树模型、ADABOOST和随机森林等。

当下由于线路走廊资源紧缺，诸多省份在特高压线路紧密并行排列的地区形成了较为密集的输电通道，其输送容量大，通道间隙窄，对通道内部线路抵抗异常气候侵害提出了更高的要求。输电通道的输送距离远，沿途天气状态善变，通道内不同线路区段所处的空间气象环境存在差异，且同一区域的气象条件也随时间的推移产生较大的变化，因此由气象问题导致的输电通道故障在时间和空间上存在着相关性，气象条件以及地形状况对输电线路的整体结构安全完好有十分重要的影响。本发明通过接入气象信息系统及线路历史故障等数据，对通道的历史故障信息进行分析，建立由自然气象信息对输电通道的故障概率分布。以此为电力事业部门进行预警提示、更好的进行防护措施建设和修复计划提供了可能性，这有利于保持电力系统的安全和经济运行。

目前由技术背景可知，非参数的学习方法较基于参数的学习法更全面的考虑了大批量数据中的存在的不确定性和随机性。因此针对现有研究中存在的对故障事件先验知识掌握的不足，为深入挖掘历史气象信息与输电线路故障概率的相关性，从而建立起基于气象信息的输电线路故障概率预测技术，可以为电力公司制定运维和修缮计划提供预报信息。

发明内容

为解决现有技术中存在的问题，本发明提供了融合注意力机制的输电线路设备故障概率预测方法，解决了现有技术中存在的对故障事件先验知识掌握的不足，为深入挖掘历史气象信息与输电线路故障概率的相关性，从而建立起基于气象信息的输电线路故障概率预测技术。

融合注意力机制的输电线路故障概率预测方法，包括以下步骤：

S1：导入所有的数据集，包括历史的常规或灾害气象数据和对应天气下的故障数据，将气象信息经过归一化处理后分割成训练集和测试集；

S2：按照故障发生次数对数据进行分类处理，日故障次数为0为正常状态，日故障次数1-3为轻微故障，日故障次数4及以上为严重故障；

S3：由于缺乏足够的先验知识判断天气导致的电网故障符合何种概率分布，先将事件发生的频率值近似的当作概率值的先验知识，以此给数据赋予标签；

S4：使用融合了注意力机制的神经网络模型对天气与电网故障间的关系进行挖掘，构建网络结构图；

S5：使用Adam优化算法对网络参数进行优化；以标签值和输出概率值间的均方差函数即MSE作为网络梯度回传的损失函数，其表达式为

其中，p_i是输出概率值，是标签概率值，n为训练样本数；

S6：使用均方差函数作为网络训练效果的评价损失函数。通过对比预测网络模型的输出概率值所在的先验概率分布的区间与标签概率对应区间是否相同来作为判断预测是否相对准确，将判断准确的数据量占总体数据量大小的百分数作为模型的准确度

优选地，S1的归一化处理公式为：

其中：μ表示气象特征中的均值σ表示气象特征中的方差。

优选地，S3的概率值的先验知识的划分为：

按照从正常到轻微故障再到严重故障的排序将0-1划分为三个概率区间两个分割点，第一个分割点为正常状态事件发生的频率值，第二个分割点为正常状态事件发生的频率值与轻微状态事件发生的频率值之和，在分割区间内对对应天气条件进行离散的概率值的赋值，作为训练的标签值。

优选地，S4包括以下子步骤：

S41：首先将气象数据通过一个多头注意力层和一个前馈层网络进行一个气象数据相关性的信息挖掘和维度扩充，并在输入经过这两层结构后分别经过一个残差归一化层，使网络能进行更加有效的训练；

S42：为了挖掘故障次数与气象数据间的关系，将故障次数数据z作为另一输入并经过一个前馈层网络扩充其维度使其与隐含气象特征向量维度相同得到隐含故障特征向量；

S43：将隐含故障特征向量和隐含气象特征向量进行水平拼接，得到包含气象及故障所有信息在内的上下文向量h′_c；

S44：在得到上下文向量h′_c后，将此向量再经过一个多头注意力层，该层的目的与前一个多头注意力层并不相同，在此处，多头注意力注重挖掘各隐含气象特征向量对拼接向量的影响程度，得到隐含拼接向量h_c，此时的h_c为将故障特征和气象特征纳入考虑的综合向量，其维度与隐含气象特征向量维度相同；

S45：随后通过一个单头注意力层(即自注意力机制层)计算各隐含气象特征向量对隐含拼接向量h_c的影响力，可看作计算各个气象因素对此次故障状态的影响程度、造成此次故障发生的可能性大小；

S46：最后将各个气象造成故障发生可能性的大小P₁,...,P_n经过一个前馈层网络进行维度的扩展和压缩变化，得到在该气象条件下故障概率值。

本发明融合注意力机制的输电线路故障概率预测方法的有益效果如下：

1.本发明针对参数类概率预测在应对数据中的不确定性方面较为欠缺，且拟合效果十分依赖于对预测目标先验知识的掌握，在无法确定输电线路故障事件符合何种概率分布的前提下，提出了使用神经网络的非参数类模型对历史故障数据进行相关性特征提取和故障概率预测。

2.模型使用多头注意力机制对气象数据进行相关性提取并建立气象数据和故障概率之间的联系，再通过以增强网络的非线性拟合性能为目标的由全连接神经网络组成的前馈神经网络对网络进行加深，最后以残差网络和层归一化操作对网络进行辅助增强，防止网络出现梯度消失(爆炸)或过拟合问题。

3.运用标准BP神经网络来建立气象与故障间相关性的方法相比，有效的提高了预测准确度。

附图说明

图1为模型总体网络示意图。

图2为气象间注意力机制示意图。

图3为残差结构示意图。

图4为气象与故障间注意力特征挖掘网络示意图。

图5融合注意力机制的网络与BP网络训练损失对比。

图6融合注意力机制的网络与BP网络训练集准确度对比。

图7融合注意力机制的网络与BP网络测试集准确度对比。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

对考虑气象条件的输电线路故障概率预测进行了深度网络的建模，考虑到各气象条件间的相互影响，建立了融合注意力机制的神经网络预测模型。

步骤一：导入所有的数据集，包括历史的常规或灾害气象数据和对应天气下的故障数据。将气象信息经过归一化处理后分割成训练集和测试集，归一化处理的步骤为：

其中：μ、σ分别表示此类气象特征中的均值和方差

步骤二：按照故障发生次数对数据进行分类处理，日故障次数为0为正常状态，日故障次数1-3为轻微故障，日故障次数4及以上为严重故障。

步骤三：由于缺乏足够的先验知识判断天气导致的电网故障符合何种概率分布，先将事件发生的频率值近似的当作概率值的先验知识，按照从正常到轻微故障再到严重故障的排序将0-1划分为三个概率区间，第一个分割点为正常状态事件发生的频率值，第二个分割点为正常状态事件发生的频率值与轻微状态事件发生的频率值之和。在分割区间内对对应天气条件进行离散的概率值的赋值，作为训练的标签值。

步骤四：使用融合了注意力机制的神经网络模型对天气与故障间的关系进行挖掘，网络结构图，如图1所示：

4.1首先将气象数据通过一个多头注意力层和一个前馈层网络进行一个气象数据相关性的信息挖掘和维度扩充，并在输入经过这两层结构后分别经过一个残差归一化层，如图3所示，使网络能进行更加有效的训练。经过这四层网络结构后便会得到融合气象间相互影响的隐含气象特征矩阵，在图2中表示为h_i，i∈1,...,n，对其进行总和求平均便可得到隐含气象特征向量，在图中表示为h_g。表达式为：

h₁,...,h_n＝BN_FF(FF(BN_MHA(MHA₁(x₁,...,x_n))))

其中：BN表示残差归一化层，FF表示前馈层，MHA₁表示多头注意力层。

4.2为了挖掘故障次数与气象数据间的关系，将故障次数数据z作为另一输入并经过一个前馈层网络扩充其维度使其与隐含气象特征向量维度相同得到隐含故障特征向量。将隐含故障特征向量和隐含气象特征向量进行水平拼接，得到包含气象及故障所有信息在内的上下文向量h′_c。表达式为：

h_z＝FF(z)

h′_c＝[h_z,h_g]

其中：[…,…]表示向量水平连接。

4.3在得到上下文向量h′_c后，将此向量再经过一个多头注意力层，该层的目的与前一个多头注意力层并不相同，在此处，多头注意力注重挖掘各隐含气象特征向量对拼接向量的影响程度，得到隐含拼接向量h_c，此时的h_c为将故障特征和气象特征纳入考虑的综合向量，其维度与隐含气象特征向量维度相同。表达式为：

h_c＝MHA₂(h′_c,(h₁,...,h_n))

其中：MHA₂表示多头注意力层。

4.4随后通过一个单头注意力层(即自注意力机制层)计算各隐含气象特征向量对隐含拼接向量h_c的影响力，可看作计算各个气象因素对此次故障状态的影响程度、造成此次故障发生的可能性大小，如图4所示。表达式为：

P₁,...,P_n＝SHA(h_c,(h₁,...,h_n))

4.5最后将各个气象造成故障发生可能性的大小P₁,...,P_n经过一个前馈层网络进行维度的扩展和压缩变化，得到在该气象条件下故障概率值。

步骤五：使用Adam优化算法对网络参数进行优化，以标签值和输出概率值间的均方差作为网络梯度回传的损失函数。

其中：p_i是输出概率值，是标签概率值，n为训练样本数。

步骤六：使用均方差函数作为网络训练效果的评价损失函数。通过对比预测网络模型的输出概率值所在的先验概率分布的区间与标签概率对应区间是否相同来作为判断预测是否相对准确，将判断准确的数据量占总体数据量大小的百分数作为模型的准确度。

实施方案：

停电算例数据来源于美国华盛顿州西雅图市，该数据包括该市共5664天(15年左右)的气象数据及对应该天气下的线路停电数目，七个气象特征分别为日照长度、平均温度、平均湿度、最大风速、平均风速、最大阵风和降水，如表1。

表1算例数据统计

如表1所示，未发生停电的电网正常天数为1731天，占数据总量的31％，发生1-3次停电故障的天数为1185天，占数据总量的21％，发生4次及以上停电事故的天数为2748天，占数据总量的48％。从数据可以看出，该市受自然气象灾害影响较大，因天气条件发生的故障事件极多。该市15年左右的电网停电数据相对来说数量较大，因此可先将此数据中正常、轻微故障及严重故障事件发生的频率值近似的看作概率值的先验，人为对该数据进行离散的概率赋值。标签数据按照表中所示人为离散故障概率区间进行随机赋值。

实验环境及模型参数定义：

输入气象数据维度为7，输出概率值维度为1，隐含向量维度为128，多头注意力头数为8，前馈层隐含层维度为512。多头注意力层中查询向量系数矩阵W^Q，键向量系数矩阵W^K，值向量系数矩阵W^V维度大小均为128×16，多头系数矩阵维度为128×128。层归一化维度为隐含向量维度为128。

将5664条日气象数据进行数据集分割，前4000条气象故障数据作为该预测模型的训练集，后1664条气象故障数据作为该预测模型的测试集，使用测试集将模型输出的概率值按照先验的分类计算模型的准确率，训练次数为10000次，学习率为0.0001。使用相同隐含神经元个数、相同学习率、相同训练次数的标准BP神经网络模型与本文所提注意力机制模型做对比，所得损失值和准确率如表2和图5、6、7所示。

表2注意力模型和BP模型效果对比

通过对比预测网络模型的输出概率值所在的先验概率分布的三类区间(正常概率为0-0.31、轻微故障概率为0.31-0.52、严重故障概率0.52-1)与标签概率对应区间是否相同来作为判断预测是否相对准确，将判断准确的数据量占总体数据量大小的百分数作为模型的准确度。融合注意力机制的模型训练集预测准确度为93.48％，测试集预测准确度可达到86.36％；BP的训练集准确度为63.58％，而测试集准确度只有47.48％。可以看出，在训练10000次后，融合注意力机制的模型的损失曲线几近平稳，训练准确度曲线和测试准确度曲线已经达到相对平稳的状态，较BP模型对线路故障率有更精准的预测，并且模型泛化能力更强，在测试集中的表现良好。

Claims (3)

1.融合注意力机制的输电线路故障概率预测方法，其特征在于，包括以下步骤：

S1：导入所有的数据集，包括历史的常规或灾害气象数据和对应天气下的故障数据，将气象信息经过归一化处理后分割成训练集和测试集；

S2：按照故障发生次数对数据进行分类处理，日故障次数为0为正常状态，日故障次数1-3为轻微故障，日故障次数4及以上为严重故障；

S3：由于缺乏足够的先验知识判断天气导致的电网故障符合何种概率分布，先将事件发生的频率值近似的当作概率值的先验知识，以此给数据赋予标签；

S4：使用融合了注意力机制的神经网络模型对天气与电网故障间的关系进行挖掘，构建网络结构图；

S5：使用Adam优化算法对网络参数进行优化；以标签值和输出概率值间的均方差函数即MSE作为网络梯度回传的损失函数，其表达式为

其中，p_i是输出概率值，是标签概率值，n为训练样本数；

S6：使用均方差函数作为网络训练效果的评价损失函数，通过对比预测网络模型的输出概率值所在的先验概率分布的区间与标签概率对应区间是否相同来作为判断预测是否相对准确，将判断准确的数据量占总体数据量大小的百分数作为模型的准确度

所述S4包括以下子步骤：

S41：首先将气象数据通过一个多头注意力层和一个前馈层网络进行一个气象数据相关性的信息挖掘和维度扩充，并在输入经过这两层结构后分别经过一个残差归一化层，使网络能进行更加有效的训练；

S42：为了挖掘故障次数与气象数据间的关系，将故障次数数据z作为另一输入并经过一个前馈层网络扩充其维度使其与隐含气象特征向量维度相同得到隐含故障特征向量；

S43：将隐含故障特征向量和隐含气象特征向量进行水平拼接，得到包含气象及故障所有信息在内的上下文向量h′_c；

S44：在得到上下文向量h′_c后，将此向量再经过一个多头注意力层，该层的目的与前一个多头注意力层并不相同，在此处，多头注意力注重挖掘各隐含气象特征向量对拼接向量的影响程度，得到隐含拼接向量h_c，此时的h_c为将故障特征和气象特征纳入考虑的综合向量，其维度与隐含气象特征向量维度相同；

S45：随后通过一个单头注意力层即自注意力机制层计算各隐含气象特征向量对隐含拼接向量h_c的影响力，看作计算各个气象因素对此次故障状态的影响程度、造成此次故障发生的可能性大小；

S46：最后将各个气象造成故障发生可能性的大小P₁,...,P_n经过一个前馈层网络进行维度的扩展和压缩变化，得到在该气象条件下故障概率值。

2.根据权利要求1所述的融合注意力机制的输电线路故障概率预测方法，其特征在于，所述S1的归一化处理公式为：

其中：μ表示气象特征中的均值σ表示气象特征中的方差。

3.根据权利要求1所述的融合注意力机制的输电线路故障概率预测方法，其特征在于，所述S3的概率值的先验知识的划分为：

按照从正常到轻微故障再到严重故障的排序将0-1划分为三个概率区间两个分割点，第一个分割点为正常状态事件发生的频率值，第二个分割点为正常状态事件发生的频率值与轻微状态事件发生的频率值之和，在分割区间内对对应天气条件进行离散的概率值的赋值，作为训练的标签值。