CN114330500A - 基于storm平台的电网电力设备在线并行诊断方法及系统 - Google Patents
基于storm平台的电网电力设备在线并行诊断方法及系统 Download PDFInfo
- Publication number
- CN114330500A CN114330500A CN202111442990.0A CN202111442990A CN114330500A CN 114330500 A CN114330500 A CN 114330500A CN 202111442990 A CN202111442990 A CN 202111442990A CN 114330500 A CN114330500 A CN 114330500A
- Authority
- CN
- China
- Prior art keywords
- data
- power grid
- tuple
- fault diagnosis
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 230000000712 assembly Effects 0.000 claims description 8
- 238000000429 assembly Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000005538 encapsulation Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 229940126655 NDI-034858 Drugs 0.000 description 3
- 241000290929 Nimbus Species 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000011208 chromatographic data Methods 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
- Y04S10/52—Outage or fault management, e.g. fault detection or location
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于storm平台的电网电力设备在线并行诊断方法及系统,目的是为了实现电力行业多元数据的监测诊断,应对电力系统的实时处理需求。其包括:根据历史电网数据自适应配置storm平台中各个组件的并行度和相关进程数;将实时电网数据接入到storm平台的Spout源组件中,形成待处理数据流;按照时间顺序将待处理数据流封装到多个Tuple元组中;利用PreBolt组件通过标准分数法对Tuple元组中的数据集进行预处理,得到标准化样本;利用训练好的故障诊断模型处理标准化样本,获得电力设备的故障诊断结果。本发明既能够满足电网监测的实时性要求,又可以提高电网数据流分类准确率和效率。
Description
技术领域
本发明涉及一种基于storm平台的电网电力设备在线并行诊断方法及系统,属于电网电力设备多元数据监测技术领域。
背景技术
随着电力系统的发展,电力设备推广到了人们生活的方方面面,如果电力设备发生故障,会对人们生活造成重大影响和损失,因此亟需对电力设备的状态进行持续监测。在电力系统中,传感器技术和通信技术不断进步,导致电网数据以指数级增长,同时这些数据呈现实时性、易失性和无限性,属于需要持续监测的流式数据。原有电网监测平台Hadoop虽然可以处理批量数据,但是其实时性较差,无法满足现阶段电网的监测需求,而Storm平台采用开源的分布式实时计算架构,可以快速处理海量数据流,弥补了Hadoop实时性处理的不足。
当前,Storm平台在电力行业领域出现一些应用成果。在Storm上实现基于时间的滑动窗口处理方法,并通过阈值判断实现电网数据流的异常检测,对电网设备中报警数据进行快速处理,通过聚类算法实现相关数据流的处理。现有的分类和聚类算法虽然也可以实现实时电网数据流检测,但是其准确性较低,主体算法有待加强。
发明内容
为了解决现有技术中存在的问题,本发明提出了一种基于storm平台的电网电力设备在线并行诊断方法及系统,在Storm平台上部署深度学习混合网络结构,通过神经网络进行电力设备在线并行诊断,既能够满足电网监测的实时性要求,又可以提高电网数据流分类准确率和效率。
为解决上述技术问题,本发明采用了如下技术手段:
第一方面,本发明提出了一种基于storm平台的电网电力设备在线并行诊断方法,包括如下步骤:
根据历史电网数据自适应配置storm平台中各个组件的并行度和相关进程数;
通过IRichSpout接口将实时电网数据接入到storm平台的Spout源组件中,形成待处理数据流;
按照时间顺序将待处理数据流封装到多个Tuple元组中,并为每个Tuple元组生成唯一的ID;
利用PreBolt组件接收Tuple元组,并通过标准分数法对Tuple元组中的数据集进行预处理,得到标准化样本;
利用训练好的故障诊断模型处理标准化样本,获得电力设备的故障诊断结果。
结合第一方面,进一步的,自适应配置storm平台中各个组件的并行度和相关进程数的方法为:
利用历史电网数据模拟实时电网数据流,其中,历史电网数据的流量大于实时电网数据的预期流量;
根据历史电网数据计算storm平台中各个组件在不同并行度和不同进程数下的数据吞吐量;
在数据吞吐量满足预期吞吐量的情况下,自适应配置开销最低的组件并行度和进程数。
结合第一方面,进一步的,故障诊断模型的构建方法为:
将去噪自动编码器、受限玻尔兹曼机和Softmax分类器分别部署在storm平台的不同Bolt组件中,获得DAEBolt组件、RBMBolt组件和SoftmaxBolt组件;
依次将DAEBolt组件、RBMBolt组件和SoftmaxBolt组件连接起来,得到部署于storm平台的故障诊断模型。
结合第一方面,进一步的,故障诊断模型的训练方法包括:
通过IRichSpout接口将历史电网数据接入到storm平台的Spout源组件中,并将历史电网数据封装到多个Tuple元组中,每个Tuple元组配置有唯一的ID;
利用PreBolt组件接收Tuple元组,并通过标准分数法对Tuple元组中的数据集进行预处理,得到模型训练样本;
将模型训练样本输入故障诊断模型,利用无标签样本对故障诊断模型中的DAEBolt组件和RBMBolt组件进行无监督预训练;
将RBMBolt组件的输出传递到SoftmaxBolt组件中,利用SoftmaxBolt组件进行故障分类,获得故障诊断结果;
根据有标签样本和故障诊断结果对整个故障诊断模型进行有监督微调。
结合第一方面,进一步的,根据无标签样本,利用随机梯度下降算法训练DAEBolt组件,并利用平均重构误差最小化作为DAEBolt组件的训练目标,交叉熵损失函数的表达式如下:
其中,C表示平均重构误差,n是故障诊断模型中DAEBolt组件的个数,x为DAEBolt组件的输入,y为DAEBolt组件中编码器的输出,a为DAEBolt组件中解码器的输出。
结合第一方面,进一步的,根据无标签样本,利用对比散度算法算法训练RBMBolt组件。
结合第一方面,进一步的,根据有标签样本和故障诊断结果,利用BP算法对整个故障诊断模型进行有监督微调。
第二方面,本发明提出了一种基于storm平台的电网电力设备在线并行诊断系统,包括:
平台部署模块,用于搭建storm平台,并在storm平台部署深度学习网络结构,得到故障诊断模型;
自适应配置模块,用于根据历史电网数据自适应配置storm平台中各个组件的并行度和相关进程数;
数据接入模块,用于通过IRichSpout接口将实时电网数据接入到storm平台的Spout源组件中,形成待处理数据流;
数据封装模块,用于按照时间顺序将待处理数据流封装到多个Tuple元组中,并为每个Tuple元组生成唯一的ID;
预处理模块,用于利用PreBolt组件接收Tuple元组,并通过标准分数法对Tuple元组中的数据集进行预处理,得到标准化样本;
故障诊断模块,用于利用训练好的故障诊断模型处理标准化样本,获得电力设备的故障诊断结果。
采用以上技术手段后可以获得以下优势:
本发明提出了一种基于storm平台的电网电力设备在线并行诊断方法及系统,在storm框架下进行电网电力设备诊断处理,可以快速处理海量数据流,从而弥补了常规hadoop实时性处理的不足。另外,为了解决常规分类和聚类算法对电网设备电力数据故障处理时准确性低的问题,本发明将去噪自动编码器、受限玻尔兹曼机和Softmax分类器部署于storm平台上,形成故障诊断模型,并利用电网设备大量无标签样本数据进行预训练和利用少量有标签样本数据进行参数优化实现模型微调,获得训练后的故障诊断模型,可以有效提高故障监测的准确率和效率。
本发明方法能够实时的完成相应流式数据的并行诊断,能够较为准确的给出电力设备的故障类型。此外,还可以在storm平台中通过设置任务数、集群节点数、源组件和处理组件的个数,来实现流式数据的高吞吐量和低延时处理,能够实时监测电网电力设备数据,及时发现电力设备的故障,避免灾难性事故发生。
附图说明
图1为本发明故障诊断模型的网络结构示意图;
图2为本发明基于storm平台的电网电力设备在线并行诊断方法的步骤流程图;
图3为本发明实施例中数据接入的流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明:
本发明提出了一种基于storm平台的电网电力设备在线并行诊断方法,在电网电力设备在线诊断领域引入storm分布式实时计算平台,对电网电力设备产生的流式数据进行处理。
Storm是分布式数据流实时处理平台,可以处理海量数据流。Storm集群可以根据需要动态扩展,容错性高,可以通过ack机制成功处理每一条数据。Storm为主从结构,由Nimbus和Supervisor两种节点构成,其中,主控节点nimbus在整个集群中只有一个,工作节点Supervisor可以有若干个;Nimbus负责在集群中分发代码,工作节点是运行supervisor守护进程的节点。在Storm中,拓扑结构Topology由数据源组件Spout和处理组件Bolt以及组件之间的流构成。
为了提高电力设备故障监测的准确性,本发明在Storm平台上部署了一个深度学习网络结构作为故障诊断模型,故障诊断模型由n层去噪自动编码器和m层受限玻尔兹曼机RBM堆叠而成,顶层采用Softmax分类器进行分类,具体结构如图1示。
故障诊断模型的构建方法包括如下步骤:
(1)将n层去噪自动编码器、m层受限玻尔兹曼机和Softmax分类器分别部署在不同的处理组件Bolt中,获得n个DAEBolt组件、m个RBMBolt组件和SoftmaxBolt组件。
(2)将n个DAEBolt组件依次连接在一起,将m个RBMBolt组件也依次连接在一个,然后用最后一个DAEBolt组件连接第一个RBMBolt组件,用最后一个RBMBolt组件连接SoftmaxBolt组件,得到部署于storm平台的故障诊断模型。
得到故障诊断模型后,通过无监督预训练和有监督微调来训练故障诊断模型,预训练可以对整个深度学习网络进行系统性的参数优化,微调则利用有标签数据进一步优化深度学习网络的参数,提高分类的准确率。
故障诊断模型的训练方法包括如下步骤:
S1、将海量历史电网数据接入到storm平台,通过IRichSpout接口将海量历史电网数据接入到Spout源组件中,读取这些元数据到缓存区,当元数据个数满足tuple要求时(当个数满足1000)时,封装这些元数据为1个tuple,并发送tuple到待处理队列,以便进行后续处理。一个Tuple元组配置一个独一无二的ID。
在数据选取中,为了防止数据集偏斜,在采集数据时通常选取多个工程现场的相同型号变压器发生故障前后的油色谱检测数据。这些数据包含正常数据以及故障类数据,是无标签样本,作为预训练样本。
S2、将步骤(1)封装的Tuple元组依次发送给PreBolt组件,并在PreBolt组件中通过标准分数(standard score)法对接收到的Tuple元组中的数据集进行预处理,最后将预处理后的数据集及其编号ID重新封装为一个Tuple元组,记为标准化样本。将预处理后得到的多个标准化样本分为训练样本和测试样本。
S3、将训练样本输入到故障诊断模型中,对故障诊断模型中的DAEBolt组件和RBMBolt组件进行预训练,具体操作如下:
S301、初始化DAEBolt组件中DAE算法和RBMBolt组件中RBM算法的深度学习网络层数、每层的神经元个数和学习率等参数。
S302、将训练样本依次输入第一层DAEBolt组件中,并将每一层DAEBolt组件的输出作为下一层DAEBolt组件的输入。
在每一层DAEBolt组件中,利用去噪自动编码器的编码器将输入数据变换成一个激活值,再利用去噪自动编码器的解码器将激活值变换成输入数据的重构数据,重构数据即为该层DAEBolt组件的输出。
编码器和解码器的函数如下:
y=fθ(x)=s(Wx+b) (2)
a=fθ′(y)=s(W′y+b) (3)
其中,x表示输入数据,在第一层DAEBolt组件中x为标准化样本,在其他层DAEBolt组件中x为上一层DAEBolt组件的输出,y表示输入数据的激活值,a表示输入数据的重构数据,fθ(x)表示编码器函数,fθ'(y)表示解码器函数,s()表示非线性函数,在本发明实施例中s()指sigmoid函数,θ={W,b},θ′={W′,b′},W为编码器的权重矩阵,b为编码器的偏置项,W′为解码器的权重矩阵,W′=WT,b′为解码器的偏置项。
S303、利用随机梯度下降算法逐层训练整个去噪自动编码器层,更新每一层DAEBolt组件去噪自动编码器的权重矩阵和偏置项,令解码器的输出a尽可能重构原始输入的标准化样本。
在本发明实施例中,利用平均重构误差最小化作为训练目标,交叉熵损失函数定义为:
其中,C表示平均重构误差,n是DAEBolt组件(去噪自动编码器)的个数。
去噪自编码能够弥补传统自编码存在的一些缺陷,使隐层学习出更加鲁棒的表达,防止简单地学习出一个等价的表示,提高了系统的鲁棒性和泛化能力。
S304、将最后一层DAEBolt组件的输出与其对应的ID编号组成一个新的元组后传递给第一层RBMBolt组件,并将每一层RBMBolt组件的输出作为下一层RBMBolt组件的输入。
在每一层RBMBolt组件中进行进一步特征提取,通过极大化似然估计逼近真实的联合概率分布,拟合给定的输入数据,然后将拟合后的数据与其对应的ID组成一个新的元组,记为待分类样本。
受限玻尔兹曼机由可见层v和隐藏层h两部分组成,层内节点之间没有连接,层间全连接。对于一组给定的状态(v,h),受限玻尔兹曼机作为一个系统所具备的能量为:
Eσ(v,h)=αTv+βTh+hTW"v (5)
其中,Eσ(v,h)表示受限玻尔兹曼机所具备的能量,σ={Wij,α,β},Wij表示隐藏层第i个神经元与可见层第j个神经元的连接权值,α,β分别是可见层v和隐藏层h的偏向向量,W"表示受限玻尔兹曼机的权重矩阵。
基于上述能力函数,可以给出(v,h)的联合概率分布:
其中,Zσ为归一化因子,也称为配分函数。
受限玻尔兹曼机通过极大化似然估计来逼近真实的联合概率分布,它的训练目的是通过更新权重和偏向,以拟合给定的训练数据。由于层间是独立的,单节点的激活概率如下:
其中,P(hi=1|v)表示hi取1的概率,hi表示隐藏层的第i个隐藏向量,bi表示hi的偏置,vj表示可见层的第j个可见向量,P(vj=1|h)表示vj取1的概率,cj表示vj的偏置,函数f()为sigmoid函数,即σ(z)=1/(1+e-z)。
S305、利用对比散度算法(Contrastive Divergence,CD)算法对RBMBolt组件受限玻尔兹曼机进行快速训练。
CD算法使用k(通常k=1)步Gibbs采样,首先利用公式(8)计算出所以隐藏层单元的二值状态,然后利用公式(9)确定可见层vj取1的概率,进而产生可见层的一个重构。
受限玻尔兹曼机中参数的更新准则如下:
α=α+η(v0-v1) (11)
β=β+ηP(h0=1|v0)-P(h1=1|v1) (12)
其中,η为学习率。
S4、预处理后,将RBMBolt组件输出的待分类样本传递到SoftmaxBolt组件中,利用SoftmaxBolt组件进行故障分类,获得故障诊断结果。
SoftmaxBolt组件可以利用部分有标签样本数据,通过BP算法对整个故障诊断模型的参数进行优化,实现模型的微调。SoftmaxBolt组件的隐含层到输出层通过Softmax分类器进行概率判别分类,实现接入数据的最终故障诊断。
S5、循环步骤S3、S4,对故障诊断模型进行训练,提高故障诊断模型的准确率,并对训练过程中的参数变化和计算结果进行保存和汇总,得到训练完成的故障诊断模型。
Storm框架本身不负责计算结果的保存,本发明可以通过实现Bolt来完成计算结果的存储和汇总,即可以直接利用Bolt组件将接入Storm平台的数据、Storm平台计算的结果写入数据文件中,或持久化存储到数据库中。根据需要,故障诊断模型的结果处理方式有DatabaseBolt和FileBolt,DatabaseBolt组件实现将故障诊断结果存储到数据库的操作,从而便于电力及相关行业对诊断结果的查询与检索;而FileBolt组件实现将故障诊断结果存储到数据文件的操作,数据文件可以是Excel文件或其他格式文件,数据文件可以进行灵活的复制和迁移。
如图2所示,基于训练好的故障诊断模型,本发明方法具体包括如下步骤:
步骤A、搭建storm平台并进行自适应配置。
在正式进行电网电力设备流式数据处理之前,首先搭建storm云平台,分别为一个主节点和若干个从节点。在本发明实施例中,用五台服务器组成物理集群,服务器之间用千兆交换机连接。将上述故障诊断模型部署到storm平台上。
通过合理设置集群节点数、进程数、源组件和处理组件的个数、组件的并行度等,实现故障诊断模型对数据流的高吞吐和低延迟处理,提高数据流的处理效率,实现数据流的实时故障诊断。
在本发明实施例中,集群节点数是固定的,相关进程数和各个处理组件的并行度个数可以通过历史电网数据自适应设置。具体操作为:
在电网数据流正式处理过程开始前,通过数据源向下游组件发送大于预期流量的历史数据流,根据历史数据流计算各个处理组件在不同并行度下和不同进程数下的数据吞吐量,从而通过吞吐量计算自适应配置出最优的进程数、源组件和逻辑处理组件的并发度,即在满足预期吞吐量的情况下自动配置最节省开销的组件并行度和进程数。本发明方法中的自适应配置可以最大限度的处理后续正式电网流式数据。
步骤B、将电网数据接入到storm平台,步骤A中的组件并行度和进程数配置完后,数据源再将实时电网数据发送给下游组件处理,进入正式的数据处理流程,如图3所示。
步骤B01、实时采集电网电力设备数据,将采集到的数据转化成电网特征向量数据,然后接入通过IRichSpout接口将电网特征向量数据接入到Spout源组件中,实现数据接入功能。Spout组件是storm平台的数据源组件,是整个拓扑的源头;电网特征向量数据是没有间隔的数据流,这些特征向量数据会被不断的发送到Spout源组件中,形成了待处理的数据流,即为待诊断的样本。
步骤B02、利用Spout组件将接入的数据流封装到Tuple元组中,并将Tuple元组发送到下游组件。
Tuple是storm平台各个组件之间数据流的元组,每一个Tuple元组可以封装适当数量的数据,在本发明实施例中,一个Tuple元组封装1000个数据,称为一个数据集,即每一个Tuple元组中封装一个数据集,然后将此Tuple元组发送到待处理队列,以便下游组件处理。
在后续处理过程中,为了便于处理诊断结果,保证处理元组的顺序性,本发明给每一个Tuple元组(即一个数据集)标记一个唯一的ID,该ID可以表明Tuple元组或Tuple元组中数据集在数据流中的位置。
步骤C、利用预处理组件PreBolt对接收到的Tuple元组中的数据集进行预处理,并将预处理后的数据集及其编号ID重新封装为一个元组,记为标准化样本。
在本发明实施例中,通过标准分数法对数据集进行处理,标准分数方法可以降低样本数据的偏斜。
以变压器故障诊断油色谱数据为例,选取H2、CH4、C2H6、C2H2、C2H4、CO和CO2七种气体含量作为输入数据接入storm平台,封装成多个数据集后,再通过PreBolt组件进行数据预处理,预处理公式如下:
其中,xnew表示预处理后的气体含量值,x为气体原始含量值,μ为数据集中气体含量的平均值,σ为数据集中气体含量的标准差值。
步骤D、将标准化样本输入训练好的故障诊断模型,并通过故障诊断模型获得标准化样本的故障诊断结果。
标准化样本首先输入故障诊断模型的DAEBolt组件中,经DAEBolt组件多次编码和解码后重构为新样本数据,新样本数据再输入到RBMBolt组件,经RBMBolt组件拟合后得到待分类样本,待分类样本输入到SoftmaxBolt组件中,SoftmaxBolt组件对待分类样本进行故障分类,获得故障诊断结果,即电网数据对应的电力设备的具体故障类型、故障描述等。
步骤E、通过DatabaseBolt和FileBolt组件存储故障诊断结果。
与现有技术相比,本发明方法主要具有如下优势:
(1)当电力设备处于极端恶劣环境下,如大雾、冰雨、风暴和雷暴等,电力设备由于监测值越限而频繁的向监测中心发送报警数据,从而在监测中心出现监测数据的井喷现象,现有的监测平台无法满足数据的接收和处理要求,实时性不足,容易导致数据的丢失和覆盖。本发明方法基于storm平台进行在线并行诊断,可以将井喷数据封装到多个Tuple元组,并通过下游处理组件对封装的数据流进行及时处理,提高电网数据监测的效率。
(2)本发明方法引入深度学习网络,利用训练好的故障诊断模型进行电网电力设备故障类型监测,与现有技术相比,监测效率更高的同时,分类准确性大大提升,能够及时给出准确可靠的电力设备故障类型,避免灾难性事故发生,保证电力设备的安全运行,减少对居民生产和生活所造成的损失。
(3)在电力系统大数据中,各种电力设备监测数据隐含着巨大的商业价值和社会价值,本发明方法可以对这些高价值数据进行分类挖掘,配合其他算法得到更多有价值的东西。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于storm平台的电网电力设备在线并行诊断方法,其特征在于,包括如下步骤:
根据历史电网数据自适应配置storm平台中各个组件的并行度和相关进程数;
通过IRichSpout接口将实时电网数据接入到storm平台的Spout源组件中,形成待处理数据流;
按照时间顺序将待处理数据流封装到多个Tuple元组中,并为每个Tuple元组生成唯一的ID;
利用PreBolt组件接收Tuple元组,并通过标准分数法对Tuple元组中的数据集进行预处理,得到标准化样本;
利用训练好的故障诊断模型处理标准化样本,获得电力设备的故障诊断结果。
2.根据权利要求1所述的一种基于storm平台的电网电力设备在线并行诊断方法,其特征在于,自适应配置storm平台中各个组件的并行度和相关进程数的方法为:
利用历史电网数据模拟实时电网数据流,其中,历史电网数据的流量大于实时电网数据的预期流量;
根据历史电网数据计算storm平台中各个组件在不同并行度和不同进程数下的数据吞吐量;
在数据吞吐量满足预期吞吐量的情况下,自适应配置开销最低的组件并行度和进程数。
3.根据权利要求1所述的一种基于storm平台的电网电力设备在线并行诊断方法,其特征在于,故障诊断模型的构建方法为:
将去噪自动编码器、受限玻尔兹曼机和Softmax分类器分别部署在storm平台的不同Bolt组件中,获得DAEBolt组件、RBMBolt组件和SoftmaxBolt组件;
依次将DAEBolt组件、RBMBolt组件和SoftmaxBolt组件连接起来,得到部署于storm平台的故障诊断模型。
4.根据权利要求3所述的一种基于storm平台的电网电力设备在线并行诊断方法,其特征在于,故障诊断模型的训练方法包括:
通过IRichSpout接口将历史电网数据接入到storm平台的Spout源组件中,并将历史电网数据封装到多个Tuple元组中,每个Tuple元组配置有唯一的ID;
利用PreBolt组件接收Tuple元组,并通过标准分数法对Tuple元组中的数据集进行预处理,得到模型训练样本;
将模型训练样本输入故障诊断模型,利用无标签样本对故障诊断模型中的DAEBolt组件和RBMBolt组件进行无监督预训练;
将RBMBolt组件的输出传递到SoftmaxBolt组件中,利用SoftmaxBolt组件进行故障分类,获得故障诊断结果;
根据有标签样本和故障诊断结果对整个故障诊断模型进行有监督微调。
6.根据权利要求4所述的一种基于storm平台的电网电力设备在线并行诊断方法,其特征在于,根据无标签样本,利用对比散度算法算法训练RBMBolt组件。
7.根据权利要求4所述的一种基于storm平台的电网电力设备在线并行诊断方法,其特征在于,根据有标签样本和故障诊断结果,利用BP算法对整个故障诊断模型进行有监督微调。
8.一种基于storm平台的电网电力设备在线并行诊断系统,其特征在于,包括:
平台部署模块,用于搭建storm平台,并在storm平台部署深度学习网络结构,得到故障诊断模型;
自适应配置模块,用于根据历史电网数据自适应配置storm平台中各个组件的并行度和相关进程数;
数据接入模块,用于通过IRichSpout接口将实时电网数据接入到storm平台的Spout源组件中,形成待处理数据流;
数据封装模块,用于按照时间顺序将待处理数据流封装到多个Tuple元组中,并为每个Tuple元组生成唯一的ID;
预处理模块,用于利用PreBolt组件接收Tuple元组,并通过标准分数法对Tuple元组中的数据集进行预处理,得到标准化样本;
故障诊断模块,用于利用训练好的故障诊断模型处理标准化样本,获得电力设备的故障诊断结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111442990.0A CN114330500B (zh) | 2021-11-30 | 2021-11-30 | 基于storm平台的电网电力设备在线并行诊断方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111442990.0A CN114330500B (zh) | 2021-11-30 | 2021-11-30 | 基于storm平台的电网电力设备在线并行诊断方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114330500A true CN114330500A (zh) | 2022-04-12 |
CN114330500B CN114330500B (zh) | 2024-04-26 |
Family
ID=81049197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111442990.0A Active CN114330500B (zh) | 2021-11-30 | 2021-11-30 | 基于storm平台的电网电力设备在线并行诊断方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114330500B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024007580A1 (zh) * | 2022-07-07 | 2024-01-11 | 南京国电南自电网自动化有限公司 | 一种基于混合聚类的电力设备并行故障诊断方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038071A (zh) * | 2017-05-26 | 2017-08-11 | 重庆邮电大学 | 一种基于数据流预测的Storm任务伸缩调度算法 |
CN107861022A (zh) * | 2017-10-20 | 2018-03-30 | 邓永忠 | 基于配电网ftu的故障判断方法 |
CN110347116A (zh) * | 2019-07-17 | 2019-10-18 | 重庆大学 | 一种基于运行数据流的机床状态监测系统与监测方法 |
CN113256019A (zh) * | 2021-06-15 | 2021-08-13 | 浙江中海达空间信息技术有限公司 | 一种基于无监督表征学习的地质灾害隐患敏感性预测方法 |
US20210365342A1 (en) * | 2020-05-25 | 2021-11-25 | Wuhan University | Method and system for power equipment diagnosis based on windowed feature and hilbert visualization |
-
2021
- 2021-11-30 CN CN202111442990.0A patent/CN114330500B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107038071A (zh) * | 2017-05-26 | 2017-08-11 | 重庆邮电大学 | 一种基于数据流预测的Storm任务伸缩调度算法 |
CN107861022A (zh) * | 2017-10-20 | 2018-03-30 | 邓永忠 | 基于配电网ftu的故障判断方法 |
CN110347116A (zh) * | 2019-07-17 | 2019-10-18 | 重庆大学 | 一种基于运行数据流的机床状态监测系统与监测方法 |
US20210365342A1 (en) * | 2020-05-25 | 2021-11-25 | Wuhan University | Method and system for power equipment diagnosis based on windowed feature and hilbert visualization |
CN113256019A (zh) * | 2021-06-15 | 2021-08-13 | 浙江中海达空间信息技术有限公司 | 一种基于无监督表征学习的地质灾害隐患敏感性预测方法 |
Non-Patent Citations (2)
Title |
---|
康瑞;齐林海;王红;潘爱强;周健;: "基于流式计算的暂态电压扰动并行实时监测技术", 电力系统保护与控制, no. 02, 16 January 2020 (2020-01-16) * |
张少敏;毛冬;王保义;: "大数据处理技术在风电机组齿轮箱故障诊断与预警中的应用", 电力系统自动化, no. 14, 25 July 2016 (2016-07-25) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024007580A1 (zh) * | 2022-07-07 | 2024-01-11 | 南京国电南自电网自动化有限公司 | 一种基于混合聚类的电力设备并行故障诊断方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114330500B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022160902A1 (zh) | 面向云环境下大规模多元时间序列数据异常检测方法 | |
CN111914644B (zh) | 一种基于双模态协同的弱监督时序动作定位方法及系统 | |
Wan et al. | An efficient rolling bearing fault diagnosis method based on spark and improved random forest algorithm | |
CN110231156B (zh) | 基于时序特征的服务机器人运动系统故障诊断方法及装置 | |
KR20180069877A (ko) | 머신 러닝 기반 네트워크 모델 구축 방법 및 장치 | |
CN109784692B (zh) | 一种基于深度学习的快速安全约束经济调度方法 | |
CN111737911A (zh) | 一种深度置信网络与极限学习机的轴承衰退趋势预测方法 | |
CN113361559B (zh) | 基于深宽度联合神经网络的多模态数据知识信息提取方法 | |
CN112947385B (zh) | 一种基于改进Transformer模型的飞行器故障诊断方法和系统 | |
US20220198213A1 (en) | Method for determining optimal anomaly detection model for processing input data | |
CN113268370A (zh) | 一种根因告警分析方法、系统、设备及存储介质 | |
CN114330500B (zh) | 基于storm平台的电网电力设备在线并行诊断方法及系统 | |
CN116502162A (zh) | 边缘算力网络中的异常算力联邦检测方法、系统及介质 | |
CN116795977A (zh) | 数据处理方法、装置、设备和计算机可读存储介质 | |
Zhang et al. | An intrusion detection method based on stacked sparse autoencoder and improved gaussian mixture model | |
CN111767324B (zh) | 一种智能关联的自适应数据分析方法及装置 | |
WO2024007580A1 (zh) | 一种基于混合聚类的电力设备并行故障诊断方法及装置 | |
CN117458453A (zh) | 电力系统暂态稳定性的预测方法、系统、设备及存储介质 | |
CN114841212B (zh) | 基于胶囊网络的智能电网时间序列异常检测方法及系统 | |
CN114626426A (zh) | 基于K-means优化算法的工业设备行为检测方法 | |
KR20210050412A (ko) | 입력 데이터의 처리를 위한 최적의 어노말리 감지 모델 결정 방법 | |
CN116501444A (zh) | 智能网联汽车域控制器虚拟机异常云边协同监测和恢复系统及方法 | |
Chen et al. | Machine learning-based anomaly detection of ganglia monitoring data in HEP Data Center | |
CN113821401A (zh) | 基于wt-ga-gru模型的云服务器故障诊断方法 | |
Zhang et al. | Compressing knowledge graph embedding with relational graph auto-encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |