CN110794254A - 一种基于强化学习的配电网故障预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于强化学习的配电网故障预测方法，所述方法包括：对所需预测的配电网区段内的故障录波数据提取距前时间、降采样波形和局部波形；将距前时间、降采样波形和局部波形输入故障预测模型获得预测结果，所述故障预测模型包括深度卷积神经网络及长短时期记忆网络单元。

Description

一种基于强化学习的配电网故障预测方法及系统

技术领域

本发明涉及电力技术领域，尤其涉及一种基于强化学习的配电网故障预测方法及系统。

背景技术

配电网是电力系统中的重要组成部分，随着智能电网的快速发展，分布式电源的大量的不确定接入，使得配电网故障信息越发复杂，故障的准确快速分析变得越发困难。为保障配电网高度智能化运行，需要对馈线运行数据进行实时监控、异常情况及时预警及故障快速定位及处理。因此配电网络通常会加装线路故障指示器和馈线终端等装置，利用这些装置对配电网运行情况进行录波。

CN104101812公开了一种小电流接地配电网的故障检测定位方法与系统，系统主站从配电网络多个点的录波中提取零序电压和零序电流的暂态信号，计算作为特征值和各个位置波形的相似性，根据单点特征值及相关性特征值利用机器学习模型判断故障疑似区域。

CN103454559中一种基于BP神经网络的多判据融合算法的小电流接地故障的在线定位方法及定位装置，通过安装在线路上不同位置的终端准确捕捉到零序电流超过启动值前1个周期和超过启动值后4个周期的零序电流暂态信号，运用Prony算法、小波包算法、HHT算法和分形算法提取故障暂态信号的信号特征，运用BP神经网络对多种算法提取出的特征进行分析，确定故障点所在的区段。

CN103136587A中公开了一种传统小波包提取仿真数据特征与支持向量机结合的配电网工况分类方法。

CN103245881A中公开了一种基于潮流分布特征的配电网故障分析方法及装置。

CN107340456A中公开了一种基于多特征分析的配电网工况智能识别方法。

现有技术中的配电网故障定位方法及配电网故障类型分析方法均是基于故障产生后依据故障指示器所采集的故障波形对已发生的故障进行定位及类型分析，这种方法对及时处理已发生的故障具有指导意义。但是却不能够实现对将要发生的故障进行预测，无法达到及时防范可能发生故障的作用。

在对配电网故障进行预测时可采用监督学习模型进行预测，但是使用监督学习模型时如果配电网管理人员根据监督学习模型所生成的预测结果去干预配电网运行时会造成故障数据失真，从而影响到监督学习模型的预测准确程度。

发明内容

本发明所的技术目的在于，

为了解决上述技术问题，本发明提供了一种基于强化学习的配电网故障预测方法，所述方法包括：对所需预测的配电网区段内的故障录波数据提取距前时间、降采样波形和局部波形；将距前时间、降采样波形和局部波形输入故障预测模型获得预测结果，所述故障预测模型包括深度卷积神经网络及长短时期记忆网络单元。

在一个实施例中，距前时间是指该对录波数据距上一次录波装置启动录波并获得上一对录波数据的时间；所述降采样波形是指对录波数据中的异常波形以s步长降采样得到的波形；所述局部波形是指录波数据中的异常波形中突变最剧烈的一个周期波形。

在一个实施例中，所述深度神经网络包括卷积层区域和全连接层区域，在卷积层区域包括输入卷积层、卷积块和平均池化层。

在一个实施例中，所述所述故障预测模型中还包含输出函数，所述输出函数使用sigmoid函数。

在一个实施例中，所述故障预测模型是使用adam优化器，通过最小化预测模型和评估模型的损失函数均值来优化参数，进而获得的最优化故障预测模型。

根据本发明的另一方面，还提供了一种配电网故障预测设备，该设备包括：

处理器，用于加载并运行各指令；

存储器，用于存储多条指令，所述指令适用于被处理器加载并执行；

所述指令包括：

对所需预测的配电网区段内的故障录波数据提取距前时间、降采样波形和局部波形；

将距前时间、降采样波形和局部波形输入故障预测模型获得预测结果，所述故障预测模型包括深度卷积神经网络及长短时期记忆网络单元。

在一个实施例中，距前时间是指该对录波数据距上一次录波装置启动录波并获得上一对录波数据的时间；所述降采样波形是指对录波数据中的异常波形以s步长降采样得到的波形；所述局部波形是指录波数据中的异常波形中突变最剧烈的一个周期波形。

在一个实施例中，所述深度神经网络包括卷积层区域和全连接层区域，在卷积层区域包括输入卷积层、卷积块和平均池化层。

在一个实施例中，所述所述故障预测模型中还包含输出函数，所述输出函数使用sigmoid函数。

在一个实施例中，所述故障预测模型是使用adam优化器，通过最小化预测模型和评估模型的损失函数均值来优化参数，进而获得的最优化故障预测模型。

<原始录波数据的处理>

如图1所示的配电网拓扑结构示意图，其中包括变电站1和录波装置2，每个录波装置均能够采集馈线的异常电流电池波形数据，并对波形数据标注时标，本发明中定义两个录波装置之间的物理区间形成一个区段。

当对某一区段P进行故障预测时，用于预测的数据的获取过程为：读取区段P前后两个录波装置的历史数据，从中提取N对录波数据，所述第N对录波数据是指区段P的前后两个录波装置在相同时刻同时出现的故障录波数据。

随后，将N对录波数据中的每对转换为3项数据，分别为：

距前时间是指该对录波数据距上一次录波装置启动录波并获得上一对录波数据的时间。

降采样波形，是指对录波数据中的异常波形以s步长降采样得到的波形。

局部波形，是指录波数据中的异常波形中突变最剧烈的一个周期波形。

<故障预测模型>

如图2所示为本发明的故障预测模型结构示意图，本发明的故障预测模型中按照所述N对录波数据的时序将降采样波形数据和局部波形数据输入深度卷积神经网络，其运算结果与距前时间数据同时输入长短时期记忆网络单元(LSTM)，各LSTM之间按时序前后连接，最后输出到全连接层区域，然后通过SIGMOID输出函数输出检修概率。

图3为本发明中所使用的深度卷积神经网络结构示意图，该深度神经网络包括卷积层区域和全连接层区域，在卷积层区域包括输入卷积层、卷积块、平均池化层，本发明中的卷积层中所涉及的卷积运算采用现有技术中公知的卷积运算方法，但本发明中在卷积运算中所使用的卷积核及相关参数是通过本发明的故障预测模型训练得到的优化参数。时序波形时间间隔小的采样点相关性强，越大则越弱，适宜用卷积层提取特征。在卷积层区域中通过设置多层卷积层以实现对局部到全局的特征提取，以及抽象到具体的特征提取。卷积层区域后连接全连接区域，该全连接区域内部含两层全连接层。

如图4a至4c所示的是本发明卷积块具体结构，其中图4a中所示为两层卷积结构，由两层卷积层叠加构成。图4b中所示为多通道结构，且每一通道均有两层卷积层叠加构成。图4c中所示为另一多通道结构，每一通道由1至3层卷积层构成。上述卷积块中的卷积核的相关参数以及通道数量，又或每一通道的卷积层数均可由超参数机器训练得到。

本发明中还可以在卷积块的输入与输出之间增加残量连接，即将每一个卷积块的输入与该卷积块的输出取和作为该卷积块的输出值，则有F(x)+x＝H(x)，其中F(.)为卷积块函数，H(.)为下个模块的输入，x为上个模块的输出。又F(x)＝H(x)-x，残量x的增加有利于F(.)参数的训练。

<预测模型的训练>

图5中所示为本发明的预测模型训练流程图，该训练的目的在于，根据所提供训练数据集、验证数据集和测试数据集训练得到上述预测模型中所需的全部参数，并获得预测模型的最优参数组合。该机器训练过程如下：

a.将故障预测模型结构和评估模型结构输入超参数随机生成器；所述评估模型采用与故障预测模型相似结构，但评估模型中没有故障预测模型中的输出函数。所述评估模型的输出数值代表了预测模型结构对区段进行检修预测的合理程度，该输出值越高即代表故障预测模型输出的检修推荐的预测越合理。

b.生成预测模型和评估模型的模型池；

c.训练数据集对预测模型和评估模型进行优化，所述优化过程具体使用adam优化器，通过分别最小化预测模型和评估模型的损失函数均值来优化参数。其中：

评估模型c()的损失函数为：

closs＝(R+γc(S′，θ′)-c(S，θ))²

预测模型π()的损失函数为，

其中，td＝(R+γc(S′，θ′)-c(S，θ′))²，且clip裁剪函数使后续优化过程中，将模型输出的新旧概率比限制在一定范围内，ε为设定常数。

每收集到X条数据后开始优化模型参数，计算损失函数时，评估和预测模型分别有新旧两套参数，旧参数θ′，τ′不可被优化器优化，新参数θ，τ可以被优化，优化器优化Y轮，θ，τ的值分别赋给θ′，τ′。

d.利用测试数据对模型池中优化过的预测模型进行测试，选出最优预测模型。

上述训练数据集中的数据包含三个部分：

第一部分是监督学习预测模型中生成的数据S；

第二部分是对本发明故障预测模型检修推荐的打分反馈值R。当本发明故障预测模型的输出结果是推荐检修时，若现场人员发现并不用维修，则打分反馈为-a，若确实需要检修，则根据检修提醒及时程度在b～c之间打分，越及时分数越高。当本发明故障预测模型的输出结果是未推荐检修时，若区段内没有故障，则打0分，若区段内出现故障，则根据故障严重程度在-d～-e之前打分，越严重则负分越多。

第三部分是做出反馈后的下一个时刻数据S′。

上述数据可以使用来自于多个变电站多个区段的数据。其中所述监督学习预测模型是指针对某一时刻某一区段进行故障出现概率的预测模型，例如

如图6所示的监督学习型故障预测模型结构示意图，该监督学习型故障故障预测模型中将(24*n/m)+1对录波数据的时序将原始数据中的降采样波形数据和局部波形数据输入深度卷积神经网络，其运算结果与距前时间数据和数据密度同时输入掩蔽单元，经掩蔽单元运算后输入长短时期记忆网络单元(LSTM)，各LSTM之间按时序前后连接，最后输出到全连接层区域，然后通过输出函数输出预测结果。该模型中所使用的深度卷积神经网络的结构与本发明中所使用的深度卷积神经网络的结构是相同的。所述掩蔽单元是指当前述深度卷积神经网络的运算结果为全零时，则该运算结果不输入LSTM，且该LSTM被跳过，由相对于该LSTM的上一个LSTM的输出直接输入到相对于该LSTM的下一个LSTM。

上述监督学习型故障预测模型的原始故障录波数据处理方法为：当对时刻T₀及区段P进行故障预测时，用于预测的原始数据的获取过程为：从时间点T₀起读取区段P前后两个录波装置的历史数据，取到的第一对数据的时间点定为时刻T，所述第一对数据是指区段P的前后两个录波装置在时刻T同时出现故障录波数据。

随后，读取区段P的前后两个录波装置在时刻T起的n天内的历史录波数据，以m小时为时间长度依次截取上述n天内的历史录波数据，共截取得到(24*n/m)+1对数据，每对数据中均包含前后两个录波装置的各一组故障录波数据。

如果在m小时时间长度内，前后两个录波装置仅其一在m小时内具有故障录波数据，则该组故障录波数据设置为零。

如果在m小时时间长度内，前后两个录波装置的历史录波数据中出现多对录波数据，则需在该多对录波数据中进行筛选，筛选方法为对所有录波数据求最大电流一次差分绝对值，如果存在某一录波数据的最大电流一次差分绝对值大于设定阈值，则选最大电流一次差分绝对值最大的录波数据所对应的录波数据对，如果最大电流一次差分绝对值均小于设定阈值，则选取最大电场二次差分绝对值最大的录波数据所属的录波数据对。

根据所述(24*n/m)+1对录波数据，其中每对录波数据需要转换为4项数据，分别为：

距前时间，是指该对录波数据距上一次录波装置启动录波并获得上一对录波数据的时间。

数据密度，是指在m小时内区段P的前后两个录波装置所记录的录波数据个数。

降采样波形，是指对录波数据中的异常波形以s步长降采样得到的波形。

局部波形，是指录波数据中的异常波形中突变最剧烈的一个周期波形。

该监督学习型故障预测模型中的输出函数为裁剪函数，即：

y＝clip(x，0，T_p)

该剪裁函数输出的结果在0到Tp之间。如果输出为y＝Tp则表示近期不会有严重故障的风险。若y∈[0，T_p)则代表会严重故障，且y值即表示将要发生严重故障的时间间隔。y表示的是T时刻的预测结果，T时刻是任意查询时刻T_s之前的录波装置最后一次进行故障录波的时刻，则针对T_s的预测结果为y_s＝max(0，y-T-T_s)。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的配电网拓扑结构示意图；

图2是本发明的故障预测模型结构示意图；

图3是本发明的深度卷积神经网络结构示意图；

图4a至4c是本发明卷积块具体结构示意图；

图5是本发明的预测模型训练流程图；

图6是监督学习型故障预测模型结构示意图；

图7是根据本发明一实施例的故障预测流程示意图；

图8是强化学习型故障预测模型的深度卷积神经网络一具体实施方式结构示意图；

图9是评估模型的深度卷积神经网络一具体实施方式结构示意图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明作进一步地详细说明。

图7是根据本发明一实施例的故障预测流程示意图，图8是本发明的强化学习型故障预测模型中的深度卷积神经网络一具体实施方式结构示意图；图9是本发明的强化学习型故障预测模型在进行模型训练时所使用的评估模型的深度卷积神经网络一具体实施方式结构示意图；下面结合图7、8和9对本方法进行说明。

首先，利用训练数据集、测试数据集根据本发明的模型训练方法获得最优预测模型，所述训练数据集包括300000条数据，测试数据集包括10000条数据。全部数据均已经过打分反馈值R的处理，其中a＝2，b＝5，c＝10，d＝10，e＝15。在进行训练时设定每收集到128条数据后进行一次模型参数优化，每优化10轮后θ，τ的值更新一次。

经过训练得到如图8所示的深度卷积神经网络结构。输入卷积层中的卷积核的宽和长为6×5，个数为8。

卷积块Ⅰ为单通道的双层卷积层，其中第一卷积层的卷积核的宽和长为6×3，个数为8，第二卷积层的卷积核的宽和长为3×3，个数为16。

卷积块Ⅱ设置为具有三通道的卷积层，其通道a为双层卷积层，其中第一卷积层的卷积核的宽和长为1×5，个数为16，第二卷积层的卷积核的宽和长为1×5，个数为32。通道b为双层卷积层，其中第一卷积层的卷积核的宽和长为1×5，个数为16，第二卷积层的卷积核的宽和长为1×5，个数为32。通道c为三层卷积层，其中第一卷积层的卷积核的宽和长为1×3，个数为16，第二卷积层的卷积核的宽和长为1×4，个数为16，第三卷积层的卷积核的宽和长为1×3，个数为32，将卷积块Ⅱ三个通道的结果取和输入卷积块Ⅲ。

卷积块Ⅲ设置为具有三通道的卷积层，其通道a为双层卷积层，其中第一卷积层的卷积核的宽和长为1×2，个数为32，第二卷积层的卷积核的宽和长为1×3，个数为64。通道b为双层卷积层，其中第一卷积层的卷积核的宽和长为1×3，个数为32，第二卷积层的卷积核的宽和长为1×3，个数为64。通道c为三层卷积层，其中第一卷积层的卷积核的宽和长为1×3，个数为32，第二卷积层的卷积核的宽和长为1×3，个数为32，第三卷积层的卷积核的宽和长为1×3，个数为64，将卷积块Ⅲ三个通道的结果取和输入下一层。

本实施例中，在卷积块Ⅰ、卷积块Ⅱ和卷积块Ⅲ之间设置了残量连接，即输入卷积层输出结果与卷积块Ⅰ输出结果取和输入卷积块Ⅱ，卷积块Ⅰ输出结果与卷积块Ⅱ输出结果取和输入卷积块Ⅲ，卷积块Ⅱ输出结果与卷积块Ⅲ输出结果取和输入平均池化层。通过设置残量连接可以加强卷积块Ⅰ、卷积块Ⅱ、卷积块Ⅲ参数训练。经平均池化层输出后进入两层全连接层，第一层全连接层的神经元个数为24，第二层全连接层的的神经元个数为8。

得到的评估模型中的深度卷积神经网络如图9所示，输入卷积层中的卷积核的宽和长为6×5，个数为8。

卷积块Ⅰ为单通道的双层卷积层，其中第一卷积层的卷积核的宽和长为6×3，个数为8，第二卷积层的卷积核的宽和长为3×3，个数为16。

卷积块Ⅱ设置为具有三通道的卷积层，其通道a为双层卷积层，其中第一卷积层的卷积核的宽和长为1×5，个数为16，第二卷积层的卷积核的宽和长为1×5，个数为32。通道b为双层卷积层，其中第一卷积层的卷积核的宽和长为1×5，个数为16，第二卷积层的卷积核的宽和长为1×5，个数为32。通道c为三层卷积层，其中第一卷积层的卷积核的宽和长为1×3，个数为16，第二卷积层的卷积核的宽和长为1×4，个数为16，第三卷积层的卷积核的宽和长为1×3，个数为32，将卷积块Ⅱ三个通道的结果取和输入下一层。

本实施例中，在卷积块Ⅰ、卷积块Ⅱ之间设置了残量连接，即输入卷积层输出结果与卷积块Ⅰ输出结果取和输入卷积块Ⅱ，卷积块Ⅰ输出结果与卷积块Ⅱ输出结果取和输入平均池化层。通过设置残量连接可以加强卷积块Ⅰ、卷积块Ⅱ的参数训练。经平均池化层输出后进入两层全连接层，第一层全连接层的神经元个数为24，第二层全连接层的的神经元个数为8。

当对某一区段P进行故障预测时，取N为30，即对区段P的历史故障录波数据提取30对故障录波数据，随后将该30对故障录波数据转换为距前时间、降采样波形和局部波形，其中进行降采样处理时，降采样步长设置为5。将30对距前时间、降采样波形、局部波形数据按照时序依次输入到上述故障预测模型中得到故障预测结果，从而得到区段P需要检修的概率。

以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。

Claims (10)

1.一种基于强化学习的配电网故障预测方法，所述配电网中配置有故障录波装置，其特征在于，所述方法包括：对所需预测的配电网区段内的故障录波数据提取距前时间、降采样波形和局部波形；将距前时间、降采样波形和局部波形输入故障预测模型获得预测结果，所述故障预测模型包括深度卷积神经网络及长短时期记忆网络单元。

2.根据权利要求1所述的配电网故障预测方法，其特征在于，距前时间是指该对录波数据距上一次录波装置启动录波并获得上一对录波数据的时间；所述降采样波形是指对录波数据中的异常波形以s步长降采样得到的波形；所述局部波形是指录波数据中的异常波形中突变最剧烈的一个周期波形。

3.根据权利要求1所述的配电网故障预测方法，其特征在于，所述深度神经网络包括卷积层区域和全连接层区域，在卷积层区域包括输入卷积层、卷积块和平均池化层。

4.根据权利要求1所述的配电网故障预测方法，其特征在于，所述所述故障预测模型中还包含输出函数，所述输出函数使用sigmoid函数。

5.根据权利要求1所述的配电网故障预测方法，其特征在于，所述故障预测模型是使用adam优化器，通过最小化预测模型和评估模型的损失函数均值来优化参数，进而获得的最优化故障预测模型。

6.一种配电网故障预测设备，该设备包括：

处理器，用于加载并运行各指令；

存储器，用于存储多条指令，所述指令适用于被处理器加载并执行；

奇特在于，所述指令包括：

对所需预测的配电网区段内的故障录波数据提取距前时间、降采样波形和局部波形；

将距前时间、降采样波形和局部波形输入故障预测模型获得预测结果，所述故障预测模型包括深度卷积神经网络及长短时期记忆网络单元。

7.根据权利要求6所述的配电网故障预测方法，其特征在于，距前时间是指该对录波数据距上一次录波装置启动录波并获得上一对录波数据的时间；所述降采样波形是指对录波数据中的异常波形以s步长降采样得到的波形；所述局部波形是指录波数据中的异常波形中突变最剧烈的一个周期波形。

8.根据权利要求6所述的配电网故障预测方法，其特征在于，所述深度神经网络包括卷积层区域和全连接层区域，在卷积层区域包括输入卷积层、卷积块和平均池化层。

9.根据权利要求6所述的配电网故障预测方法，其特征在于，所述所述故障预测模型中还包含输出函数，所述输出函数使用sigmoid函数。

10.根据权利要求6所述的配电网故障预测方法，其特征在于，所述故障预测模型是使用adam优化器，通过最小化预测模型和评估模型的损失函数均值来优化参数，进而获得的最优化故障预测模型。

Images