CN110569925A - 应用于电力设备运检的基于lstm的时序异常检测方法 - Google Patents

应用于电力设备运检的基于lstm的时序异常检测方法 Download PDF

Info

Publication number
CN110569925A
CN110569925A CN201910883224.4A CN201910883224A CN110569925A CN 110569925 A CN110569925 A CN 110569925A CN 201910883224 A CN201910883224 A CN 201910883224A CN 110569925 A CN110569925 A CN 110569925A
Authority
CN
China
Prior art keywords
lstm
power equipment
data
algorithm
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910883224.4A
Other languages
English (en)
Other versions
CN110569925B (zh
Inventor
徐晓飞
张伯雷
毕文亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Lingzhi Data Technology Co Ltd
Original Assignee
Nanjing Lingzhi Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Lingzhi Data Technology Co Ltd filed Critical Nanjing Lingzhi Data Technology Co Ltd
Priority to CN201910883224.4A priority Critical patent/CN110569925B/zh
Publication of CN110569925A publication Critical patent/CN110569925A/zh
Application granted granted Critical
Publication of CN110569925B publication Critical patent/CN110569925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Marketing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了电力设备运检技术领域的应用于电力设备运检的基于LSTM的时序异常检测方法，包括LSTM算法和聚类，先寻找多变量最大化主簇，接着基于LSTM算法对多变量的时序数据进行结构最小化重构，最后源数据在重构时序上结合电力设备的异常标注方法，采取多数投票制标注异常，再一次利用LSTM算法对多变量的时序数据进行异常检测训练建模，投入生产；本发明通过将多变量时序特点和电力设备数据的功能性结合，创新性的根据电力设备数据的特点提出基于LSTM算法的多变量时序异常检测方法，契合的改进方法提高了电力设备检查质量，同时兼顾了智能检修机制和人为可控性，充分体现了智能性和实用性，能行之有效的完善电力设备的日常检修系统，合理实用。

Description

应用于电力设备运检的基于LSTM的时序异常检测方法
技术领域
本发明涉及电力设备运检技术领域，具体涉及应用于电力设备运检的基于LSTM的时序异常检测方法。
背景技术
电力系统中电力设备大多采用的计划检修体制存在着严重缺陷，如临时性维修频繁、维修不足或维修过剩、盲目维修等，这使世界各国每年在设备维修方面耗资巨大。怎样合理安排电力设备的检修，节省检修费用、降低检修成本，同时保证系统有较高的可靠性，对系统运行人员来说是一个重要课题。
目前的电力设备检修方案仍是一套传统的人为巡查方式，这种检修方案有其优势，但存在其下两点主要不足，其一，实时性不足，设备巡查不能做到长期实时的设备监测检查，周检修或者月检修间隔时间太长缺乏实时性，间隔短耗费大量资源。其二，存在潜在危险性，目前的设备巡查工作基于设备外部检测和测试，如果存在潜在的隐患只能等其从隐性转为显性才能被发现。
随着人工智能落地技术越来越趋于成熟，如何结合电力设备检修工作的特点运用人工智能提高效能迫在眉睫。基于此，本发明设计了应用于电力设备运检的基于LSTM的时序异常检测方法，以解决上述问题。
发明内容
本发明的目的在于提供应用于电力设备运检的基于LSTM的时序异常检测方法，以作为解决上述背景技术中提出问题的核心技术。
为实现上述目的，本发明提供如下技术方案：应用于电力设备运检的基于LSTM的时序异常检测方法，包括LSTM算法和聚类，具体步骤如下：
第一步，寻找多变量最大化主簇
聚类是无监督学习的典型算法，不需要标记结果，试图探索和发现一定的模式，用于发现共同的群体，按照内在相似性将数据划分为多个类别使得内内相似性大，内间相似性小；
聚类算法为k-means，算法接受输入量k，然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小；聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”来进行计算的；
已知观测集(x1,x2,…,xn)，其中每个观测都是一个D维实向量，k-平均聚类要把这n个观测划分到k个集合中，k≤n，使得组内平方和最小，换句话说，它的目标是找到使得下式满足的聚类Si；
首先从n个数据对象任意选择k个对象作为初始聚类中心，而对于所剩下其它对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的聚类，最相似的为聚类中心所代表的；然后再计算每个所获新聚类的聚类中心，最后不断重复这一过程直到标准测度函数开始收敛为止；
第二步，基于LSTM对多变量的时序进行结构最小化重构
数据输入是源数据经过第一步聚类后的最大化主簇，通过聚类其实已经做了一次简单的异常剔除，对减少了明显异常值后的主簇进行重构能使得其重构结果更接近于理想的标准化输出；
LSTM算法是RNN算法的一种优化变种形式，RNN是深度学习中处理与时间强相关的数据的最有效基础算法，包括以下两个计算步骤
a＜t＞＝g1(Wa[a＜t-1＞,x＜t＞]+ba)
对于一层LSTM细胞来说，当前时刻的输入值与上一时刻的中间结果值a＜t-1＞经中间层权重多项式分配结果通过激活函数g1得到该时刻的中间结果值a＜t＞，a＜t＞经输出层权重多项式分配后结果通过激活函数g2得到该时刻的预期结果值其中g1常用tanh和Relu激活函数，g2常用sigmoid或者softmax；
LSTM算法是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式，在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层，LSTM算法同样是这样的结构，但是重复的模块拥有一个不同的结构，LSTM算法通过三个门来实现信息的保护和控制，这三个门分别是输入门、遗忘门和输出门；
ft＝δ(Wf[ht-1,xt]+bf)
在LSTM算法中的第一步决定会从细胞状态中丢弃什么信息，这个决定通过一个称为忘记门层完成，该门会读取ht-1和xt，输出一个在0到1之间的数值给每个在细胞状态Ct-1中的数字，1表示“完全保留”，0表示“完全舍弃”；
it＝δ(Wi[ht-1,xt]+bi)
接着是决定让多少新的信息加入到细胞状态中来，包括两个步骤，首先，一个叫做“inputgatelayer”的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，也就是备选的用来更新的内容Ct，接下来把这两部分联合起来，对细胞状态进行一个更新；
Ct-1更新为Ct，把旧状态与ft相乘，丢弃掉确定需要丢弃的信息，接着加上这就是新的候选值，根据决定更新每个状态的程度进行变化；
ot＝δ(Wo[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
最终，需要确定输出什么值，输出将会基于细胞状态，但是也是一个过滤后的版本，首先，运行一个sigmoid层来确定细胞状态的哪个部分将输出出去，接着，把细胞状态通过tanh进行处理，得到一个在-1到1之间的值，并将它和sigmoid门的输出相乘，最终输出确定输出的部分；
第三步，通过源数据在重构时序上异常标注后，基于LSTM算法对多变量的标签时序进行异常检测建模，最后投入生产部署
首先进行异常标注，受LSTM算法启示，对某一个时刻的值域做基于距离的异常检测，采用欧式距离，3δ原则标注该点的异常标签，并将此结果按一定权重和下一时刻的源数据值作为下一时刻的输入，输出下一时刻的异常标签，以此方法标注全时序的标签，这里“0”标签标识正常数据，“1”标签标识异常数据；
接着进行异常训练建立LSTM模型，以标注完标签的数据作为模型训练的输入，A，B，C三相电流值作为LSTM算法的特征向量输入，对标注标签预测建模训练；
最后将训练的最优模型投入到生产中生成电力设备时序异常警告，通过深度学习实现电力设备的智能化异常警告工作，同现有的人工巡查方案一起完善电力设备的日常检修系统。
优选的，所述第一步中k个聚类各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。
优选的，所述第一步中聚类中心为该聚类中所有对象的均值。
优选的，所述第三步中通过源数据在重构时序上异常标注采取多数投票制标注异常。
优选的，所述电力设备为极Ⅰ高端换流变进线。
优选的，所述源数据为极Ⅰ高端换流变8111B铁芯的接地电流，从8111B铁芯三相电流数据中通过人工智能挖掘出其器件的运作情况，进一步实时监测变电站极Ⅰ高端换流变进线周围运行状况，做到异常警告的及时反馈。
与现有技术相比，本发明的有益效果是：本发明通过将多变量时序特点和电力设备数据的功能性结合，创新性的根据电力设备数据的特点提出基于LSTM算法的多变量时序异常检测方法，契合的改进方法提高了电力设备检查质量，同时兼顾了智能检修机制和人为可控性，充分体现了智能性和实用性，能行之有效的完善电力设备的日常检修系统，合理实用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明技术路线图。
图2为本发明输入数据智能检查结果示意图。
图3为本发明LSTM细胞示意图。
图4为本发明实施例111B铁芯A相电流重构时序对比图。
图5为本发明极Ⅰ高端换流变进线异常警告图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-5，本发明提供一种技术方案：应用于电力设备运检的基于LSTM的时序异常检测方法，包括LSTM算法和聚类，具体步骤如下：
第一步，寻找多变量最大化主簇
聚类是无监督学习的典型算法，不需要标记结果，试图探索和发现一定的模式，用于发现共同的群体，按照内在相似性将数据划分为多个类别使得内内相似性大，内间相似性小；
聚类算法为k-means，算法接受输入量k，然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小；聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”来进行计算的；
已知观测集(x1,x2,…,xn)，其中每个观测都是一个D维实向量，k-平均聚类要把这n个观测划分到k个集合中，k≤n，使得组内平方和最小，换句话说，它的目标是找到使得下式满足的聚类Si；
首先从n个数据对象任意选择k个对象作为初始聚类中心，而对于所剩下其它对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的聚类，最相似的为聚类中心所代表的；然后再计算每个所获新聚类的聚类中心，最后不断重复这一过程直到标准测度函数开始收敛为止；
第二步，基于LSTM对多变量的时序进行结构最小化重构
数据输入是源数据经过第一步聚类后的最大化主簇，通过聚类其实已经做了一次简单的异常剔除，对减少了明显异常值后的主簇进行重构能使得其重构结果更接近于理想的标准化输出；
LSTM算法是RNN算法的一种优化变种形式，RNN是深度学习中处理与时间强相关的数据的最有效基础算法，包括以下两个计算步骤
a＜t＞＝g1(Wa[a＜t-1＞,x＜t＞]+ba)
对于一层LSTM细胞来说，当前时刻的输入值与上一时刻的中间结果值a＜t-1＞经中间层权重多项式分配结果通过激活函数g1得到该时刻的中间结果值a＜t＞，a＜t＞经输出层权重多项式分配后结果通过激活函数g2得到该时刻的预期结果值其中g1常用tanh和Relu激活函数，g2常用sigmoid或者softmax；
LSTM算法是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式，在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层，LSTM算法同样是这样的结构，但是重复的模块拥有一个不同的结构，LSTM算法通过三个门来实现信息的保护和控制，这三个门分别是输入门、遗忘门和输出门；
ft＝δ(Wf[ht-1,xt]+bf)
在LSTM算法中的第一步决定会从细胞状态中丢弃什么信息，这个决定通过一个称为忘记门层完成，该门会读取ht-1和xt，输出一个在0到1之间的数值给每个在细胞状态Ct-1中的数字，1表示“完全保留”，0表示“完全舍弃”；
it＝δ(Wi[ht-1,xt]+bi)
接着是决定让多少新的信息加入到细胞状态中来，包括两个步骤，首先，一个叫做“inputgatelayer”的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，也就是备选的用来更新的内容Ct，接下来把这两部分联合起来，对细胞状态进行一个更新；
Ct-1更新为Ct，把旧状态与ft相乘，丢弃掉确定需要丢弃的信息，接着加上这就是新的候选值，根据决定更新每个状态的程度进行变化；
ot＝δ(Wo[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
最终，需要确定输出什么值，输出将会基于细胞状态，但是也是一个过滤后的版本，首先，运行一个sigmoid层来确定细胞状态的哪个部分将输出出去，接着，把细胞状态通过tanh进行处理，得到一个在-1到1之间的值，并将它和sigmoid门的输出相乘，最终输出确定输出的部分；
第三步，通过源数据在重构时序上异常标注后，基于LSTM算法对多变量的标签时序进行异常检测建模，最后投入生产部署
首先进行异常标注，受LSTM算法启示，对某一个时刻的值域做基于距离的异常检测，采用欧式距离，3δ原则标注该点的异常标签，并将此结果按一定权重和下一时刻的源数据值作为下一时刻的输入，输出下一时刻的异常标签，以此方法标注全时序的标签，这里“0”标签标识正常数据，“1”标签标识异常数据；
接着进行异常训练建立LSTM模型，以标注完标签的数据作为模型训练的输入，A，B，C三相电流值作为LSTM算法的特征向量输入，对标注标签预测建模训练；
最后将训练的最优模型投入到生产中生成电力设备时序异常警告，通过深度学习实现电力设备的智能化异常警告工作，同现有的人工巡查方案一起完善电力设备的日常检修系统。
其中，第一步中k个聚类各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。
第一步中聚类中心为该聚类中所有对象的均值。
第三步中通过源数据在重构时序上异常标注采取多数投票制标注异常。
电力设备为极Ⅰ高端换流变进线。
源数据为极Ⅰ高端换流变8111B铁芯的接地电流，从8111B铁芯三相电流数据中通过人工智能挖掘出其器件的运作情况，进一步实时监测变电站极Ⅰ高端换流变进线周围运行状况，做到异常警告的及时反馈。
本实施例的一个具体应用为：源数据为极Ⅰ高端换流变8111B铁芯的接地电流，从8111B铁芯三相电流数据中通过人工智能挖掘出其器件的运作情况，进一步实时监测变电站极Ⅰ高端换流变进线周围运行状况，做到异常警告的及时反馈。
主要的技术路线分为三段式，第一步寻找多变量最大化主簇；第二步基于LSTM算法对多变量的时序数据进行结构最小化重构；第三步，原数据在重构时序上结合电力设备(极Ⅰ高端换流变进线)的异常标注方法，采取多数投票制标注异常，再一次利用LSTM算法对多变量的时序数据进行异常检测训练建模，投入生产。
第一步找变量最大化主簇，在本次实施例中源数据极Ⅰ高端换流变8111B铁芯的三相电流，大致为每小时对8111B铁芯电流采样，其实际工作中可能有部分数据采样丢失，需经过简单的清洗预处理。
本例A，B，C三相电流变量间明显存在相关关系，不能简单得假定各相电流为相对独立同分布，在此对三相电流做联合变量分析，如图2所示，建立A、B、C三变量的三维观测图，图2展示了8111B在2018年2-3月三相电流值经过无监督的聚类方法分成了最大化主簇(图中蓝色点)和其他簇(图中红色点)。
聚类是无监督学习的典型算法，不需要标记结果。试图探索和发现一定的模式，用于发现共同的群体，按照内在相似性将数据划分为多个类别使得内内相似性大，内间相似性小。该阶段使用聚类的关键指标是聚类出的主簇最大化，以使得第二步的时序数据重构能拟合源数据同时确保自身的标准化输出。
该阶段使用聚类算法为k-means，该算法接受输入量k；然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”(引力中心)来进行计算的。
K-means算法是使用最普遍，最重要的聚类算法之一。
已知观测集(x1,x2,…,xn)，其中每个观测都是一个D维实向量，k-平均聚类要把这n个观测划分到k个集合中(k≤n)，使得组内平方和最小。换句话说，它的目标是找到使得下式满足的聚类Si。
k-means算法的工作过程说明如下：
首先从n个数据对象任意选择k个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度(距离)，分别将它们分配给与其最相似的(聚类中心所代表的)聚类；然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值)；不断重复这一过程直到标准测度函数开始收敛为止。
k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。根据对源数据可视化分析结果设k等于2输入，分为主体簇和奇异簇，其中主体簇经过处理输入到第二阶段重构目标时序。
第二步和第三步的重要算法为LSTM，LSTM算法是RNN算法的一种优化变种形式。RNN是深度学习中处理与时间强相关的数据的最有效基础算法，包括以下两个计算步骤：
a＜t＞＝g1(Wa[a＜t-1＞,x＜t＞]+ba)
对于一层LSTM细胞来说，当前时刻的输入值与上一时刻的中间结果值a＜t-1＞经中间层权重多项式分配结果通过激活函数g1得到该时刻的中间结果值a＜t＞，a＜t＞经输出层权重多项式分配后结果通过激活函数g2得到该时刻的预期结果值其中g1常用tanh和Relu激活函数，g2常用sigmoid或者softmax。
longshorttermmemory，即我们所称呼的LSTM，是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。LSTM同样是这样的结构，但是重复的模块拥有一个不同的结构。如图3所示，不同于单一神经网络层，这里是有四个，以一种非常特殊的方式进行交互。LSTM通过三个这样的基本结构来实现信息的保护和控制。这三个门分别输入门、遗忘门和输出门。
ft＝δ(Wf[ht-1,xt]+bf)
在LSTM中的第一步是决定我们会从细胞状态中丢弃什么信息。这个决定通过一个称为忘记门层完成。该门会读取ht-1和xt，输出一个在0到1之间的数值给每个在细胞状态Ct-1中的数字。1表示“完全保留”，0表示“完全舍弃”。
it＝δ(Wi[ht-1,xt]+bi)
下一步是决定让多少新的信息加入到细胞状态中来。实现这个需要包括两个步骤：首先，一个叫做“inputgatelayer”的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，也就是备选的用来更新的内容Ct。在下一步，把这两部分联合起来，对细胞的状态进行一个更新。
现在是更新旧细胞状态的时间了，Ct-1更新为Ct。前面的步骤已经决定了将会做什么，现在就是实际去完成。把旧状态与ft相乘，丢弃掉确定需要丢弃的信息。接着加上这就是新的候选值，根据决定更新每个状态的程度进行变化。
ot＝δ(Wo[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
最终，我们需要确定输出什么值。这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个sigmoid层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过tanh进行处理(得到一个在-1到1之间的值)并将它和sigmoid门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。
第二步基于LSTM算法对多变量的时序数据进行结构最小化重构，这一步是该算法的第一个重要关键点，我们的目的是对源数据最小化重构得到我们想要的“标准化数据”，供第三步做异常检测分析用。数据输入是源数据经过第一阶段聚类后的最大化主簇，通过聚类其实已经做了一次简单的异常剔除，对减少了明显异常值后的主簇进行重构能使得其重构结果更接近于理想的标准化输出。
这里需要对三相A，B，C分别做标准化重构，因此以A相为例具体说明处理方式。首先对8111B三相电流时序数据转化为有监督学习，预测A相当前时刻的标准化电流值需要A相的历史数据，因为A,B,C之间存在影响关系，因此B，C的电流值同样需要作为特征输入。由此在模型训练中将下一时刻的A相电流值作为当前时刻的输出，当前时刻的A，B，C三相电流值为特征向量，历史时刻的特征对当前时刻输出的影响在LSTM层会由LSTM细胞的遗忘门决定。
对A，B，C三相电流重构模型的网络拓扑结构采取人工试取法，参数调优结果显示采用两层LSTM层结构，20％的神经元dropout表现性能最佳，A相电流重构LSTM1采用40个LSTMcell，LSTM2采用10个LSTMcell，40+10的结构表现性能最优，B相电流重构采用6+4结构最优，C相电流重构采用20+10结构最优。损失函数采用的平均绝对误差(MeanAbsoluteError,MAE)在训练集和测试集均低于0.1。以A相电流为例，图4为A相电流的重构时序和源数据的对比图。
第三步使用源数据在重构时序上结合电力设备(极Ⅰ高端换流变进线)的异常标注方法，采取多数投票制标注异常，利用LSTM算法对多变量的时序数据进行异常检测训练建模，投入生产。
该阶段主要分为两步：
首先进行异常标注，第二步异常训练建模，异常检测算法采取的是基于LSTM的异常检测算法，所以这里的异常标注是为了给第二步的有监督学习打标签。从电力设备的监测数据反映设备运行状况的实际情况考虑，异常标注工作除了在值域的异常检测，在时域上数据对标签结果的影响也是必须考虑的，因此本案例提出了一种结合三相电流“时值域”异常标注方法。受LSTM算法启示，对某一个时刻的值域做基于距离的异常检测，本案例采用欧式距离，3δ原则标注该点的异常标签，并将此结果按一定权重和下一时刻的源数据值作为下一时刻的输入，输出下一时刻的异常标签，以此方法标注全时序的标签，这里“0”标签标识正常数据，“1”标签标识异常数据。
接着进行异常训练建立LSTM模型，以打完标签的数据作为模型训练的输入，A，B，C三相电流值作为LSTM的特征向量输入，对标注标签预测建模训练。该阶段的LSTM仍然采取两层，20％的dropout结构，本案例的建模显示LSTM1采用10个LSTMcell，LSTM2采用5个LSTMcell，10+5的结构表现性能最优。
最后将第三步训练的最优模型投入到生产中生成电力设备时序异常警告，如图5所示，通过深度学习实现电力设备的智能化异常警告工作，同现有的人工巡查方案一起完善电力设备的日常检修系统。
第三步使用源数据在重构时序上结合电力设备的异常标注方法，采取多数投票制标注异常，利用LSTM算法对多变量的时序数据进行异常检测训练建模。中间采取的多数投票制标注异常方法，如果在模型实例中有可靠可信的经验标注法可做替代。
通过人工智能的机器学习对电力设备的多种运检数据挖掘出相关设备的运行状况，达到在线及时异常警告，搭配现有的电力设备人工监测以转换到实时的、智能化的运检工作模式，进一步完善电力设备运检系统。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.应用于电力设备运检的基于LSTM的时序异常检测方法，包括LSTM算法和聚类，其特征在于，具体步骤如下：
第一步，寻找多变量最大化主簇
聚类是无监督学习的典型算法，不需要标记结果，试图探索和发现一定的模式，用于发现共同的群体，按照内在相似性将数据划分为多个类别使得内内相似性大，内间相似性小；
聚类算法为k-means，算法接受输入量k，然后将n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小；聚类相似度是利用各聚类中对象的均值所获得一个“中心对象”来进行计算的；
已知观测集(x1,x2,…,xn)，其中每个观测都是一个D维实向量，k-平均聚类要把这n个观测划分到k个集合中，k≤n，使得组内平方和最小，换句话说，它的目标是找到使得下式满足的聚类Si；
首先从n个数据对象任意选择k个对象作为初始聚类中心，而对于所剩下其它对象，则根据它们与这些聚类中心的相似度，分别将它们分配给与其最相似的聚类，最相似的为聚类中心所代表的；然后再计算每个所获新聚类的聚类中心，最后不断重复这一过程直到标准测度函数开始收敛为止；
第二步，基于LSTM对多变量的时序进行结构最小化重构
数据输入是源数据经过第一步聚类后的最大化主簇，通过聚类其实已经做了一次简单的异常剔除，对减少了明显异常值后的主簇进行重构能使得其重构结果更接近于理想的标准化输出；
LSTM算法是RNN算法的一种优化变种形式，RNN是深度学习中处理与时间强相关的数据的最有效基础算法，包括以下两个计算步骤
a＜t＞＝g1(Wa[a＜t-1＞,x＜t＞]+ba)
对于一层LSTM细胞来说，当前时刻的输入值与上一时刻的中间结果值a＜t-1＞经中间层权重多项式分配结果通过激活函数g1得到该时刻的中间结果值a＜t＞，a＜t＞经输出层权重多项式分配后结果通过激活函数g2得到该时刻的预期结果值其中g1常用tanh和Relu激活函数，g2常用sigmoid或者softmax；
LSTM算法是为了解决长期以来问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式，在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层，LSTM算法同样是这样的结构，但是重复的模块拥有一个不同的结构，LSTM算法通过三个门来实现信息的保护和控制，这三个门分别是输入门、遗忘门和输出门；
ft＝δ(Wf[ht-1,xt]+bf)
在LSTM算法中的第一步决定会从细胞状态中丢弃什么信息，这个决定通过一个称为忘记门层完成，该门会读取ht-1和xt，输出一个在0到1之间的数值给每个在细胞状态Ct-1中的数字，1表示“完全保留”，0表示“完全舍弃”；
it＝δ(Wi[ht-1,xt]+bi)
接着是决定让多少新的信息加入到细胞状态中来，包括两个步骤，首先，一个叫做“inputgatelayer”的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，也就是备选的用来更新的内容Ct，接下来把这两部分联合起来，对细胞状态进行一个更新；
Ct-1更新为Ct，把旧状态与ft相乘，丢弃掉确定需要丢弃的信息，接着加上这就是新的候选值，根据决定更新每个状态的程度进行变化；
ot＝δ(Wo[ht-1,xt]+bo)
ht＝ot*tanh(Ct)
最终，需要确定输出什么值，输出将会基于细胞状态，但是也是一个过滤后的版本，首先，运行一个sigmoid层来确定细胞状态的哪个部分将输出出去，接着，把细胞状态通过tanh进行处理，得到一个在-1到1之间的值，并将它和sigmoid门的输出相乘，最终输出确定输出的部分；
第三步，通过源数据在重构时序上异常标注后，基于LSTM算法对多变量的标签时序进行异常检测建模，最后投入生产部署
首先进行异常标注，受LSTM算法启示，对某一个时刻的值域做基于距离的异常检测，采用欧式距离，3δ原则标注该点的异常标签，并将此结果按一定权重和下一时刻的源数据值作为下一时刻的输入，输出下一时刻的异常标签，以此方法标注全时序的标签，这里“0”标签标识正常数据，“1”标签标识异常数据；
接着进行异常训练建立LSTM模型，以标注完标签的数据作为模型训练的输入，A，B，C三相电流值作为LSTM算法的特征向量输入，对标注标签预测建模训练；
最后将训练的最优模型投入到生产中生成电力设备时序异常警告，通过深度学习实现电力设备的智能化异常警告工作，同现有的人工巡查方案一起完善电力设备的日常检修系统。
2.根据权利要求1所述的应用于电力设备运检的基于LSTM的时序异常检测方法，其特征在于：所述第一步中k个聚类各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。
3.根据权利要求1所述的应用于电力设备运检的基于LSTM的时序异常检测方法，其特征在于：所述第一步中聚类中心为该聚类中所有对象的均值。
4.根据权利要求1所述的应用于电力设备运检的基于LSTM的时序异常检测方法，其特征在于：所述第三步中通过源数据在重构时序上异常标注采取多数投票制标注异常。
5.根据权利要求1所述的应用于电力设备运检的基于LSTM的时序异常检测方法，其特征在于：所述电力设备为极Ⅰ高端换流变进线。
6.根据权利要求5所述的应用于电力设备运检的基于LSTM的时序异常检测方法，其特征在于：所述源数据为极Ⅰ高端换流变8111B铁芯的接地电流，从8111B铁芯三相电流数据中通过人工智能挖掘出其器件的运作情况，进一步实时监测变电站极Ⅰ高端换流变进线周围运行状况，做到异常警告的及时反馈。
CN201910883224.4A 2019-09-18 2019-09-18 应用于电力设备运检的基于lstm的时序异常检测方法 Active CN110569925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910883224.4A CN110569925B (zh) 2019-09-18 2019-09-18 应用于电力设备运检的基于lstm的时序异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883224.4A CN110569925B (zh) 2019-09-18 2019-09-18 应用于电力设备运检的基于lstm的时序异常检测方法

Publications (2)

Publication Number Publication Date
CN110569925A true CN110569925A (zh) 2019-12-13
CN110569925B CN110569925B (zh) 2023-05-26

Family

ID=68780933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883224.4A Active CN110569925B (zh) 2019-09-18 2019-09-18 应用于电力设备运检的基于lstm的时序异常检测方法

Country Status (1)

Country Link
CN (1) CN110569925B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991674A (zh) * 2019-12-13 2020-04-10 安徽飞凯电子技术有限公司 一种基于大数据的高压输电设备智能监管系统
CN111784533A (zh) * 2020-06-16 2020-10-16 洪江川 基于人工智能和大数据的信息分析方法及云计算平台
CN112733446A (zh) * 2021-01-07 2021-04-30 复旦大学 一种数据驱动的自适应异常检测方法
CN113010504A (zh) * 2021-03-04 2021-06-22 江苏方天电力技术有限公司 基于LSTM和改进K-means算法的电力数据异常检测方法及系统
CN113127705A (zh) * 2021-04-02 2021-07-16 西华大学 一种异构双向生成对抗网络模型及时间序列异常检测方法
CN113533875A (zh) * 2020-04-22 2021-10-22 杭州释普科技有限公司 智能化判断实验室设备运行状态及计算设备利用率的方法
CN113657628A (zh) * 2021-08-20 2021-11-16 武汉霖汐科技有限公司 工业设备监控方法、系统、电子设备及存储介质
CN117034157A (zh) * 2023-10-08 2023-11-10 广州健新科技有限责任公司 一种结合多模态运行数据的水电设备故障识别方法与系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980829A (zh) * 2017-03-17 2017-07-25 苏州大学 基于视频分析的打架斗殴异常行为自动检测方法
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN108960303A (zh) * 2018-06-20 2018-12-07 哈尔滨工业大学 一种基于lstm的无人机飞行数据异常检测方法
CN109343990A (zh) * 2018-09-25 2019-02-15 江苏润和软件股份有限公司 一种基于深度学习的云计算系统异常检测方法
US20190095301A1 (en) * 2017-09-22 2019-03-28 Penta Security Systems Inc. Method for detecting abnormal session
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN109639659A (zh) * 2018-12-05 2019-04-16 四川长虹电器股份有限公司 一种基于机器学习的web应用防火墙的实现方法
CN109754113A (zh) * 2018-11-29 2019-05-14 南京邮电大学 基于动态时间规整与长短时间记忆的负荷预测方法
CN110163261A (zh) * 2019-04-28 2019-08-23 平安科技（深圳）有限公司 不平衡数据分类模型训练方法、装置、设备及存储介质
CN110232082A (zh) * 2019-06-13 2019-09-13 中国科学院新疆理化技术研究所 面向连续时空加油数据的异常检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980829A (zh) * 2017-03-17 2017-07-25 苏州大学 基于视频分析的打架斗殴异常行为自动检测方法
US20190095301A1 (en) * 2017-09-22 2019-03-28 Penta Security Systems Inc. Method for detecting abnormal session
CN108597539A (zh) * 2018-02-09 2018-09-28 桂林电子科技大学 基于参数迁移和语谱图的语音情感识别方法
CN108960303A (zh) * 2018-06-20 2018-12-07 哈尔滨工业大学 一种基于lstm的无人机飞行数据异常检测方法
CN109343990A (zh) * 2018-09-25 2019-02-15 江苏润和软件股份有限公司 一种基于深度学习的云计算系统异常检测方法
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN109754113A (zh) * 2018-11-29 2019-05-14 南京邮电大学 基于动态时间规整与长短时间记忆的负荷预测方法
CN109639659A (zh) * 2018-12-05 2019-04-16 四川长虹电器股份有限公司 一种基于机器学习的web应用防火墙的实现方法
CN110163261A (zh) * 2019-04-28 2019-08-23 平安科技（深圳）有限公司 不平衡数据分类模型训练方法、装置、设备及存储介质
CN110232082A (zh) * 2019-06-13 2019-09-13 中国科学院新疆理化技术研究所 面向连续时空加油数据的异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOHUI WANG; TING ZHAO; HE LIU; RONG HE: ""Power Consumption Predicting and Anomaly Detection Based on Long Short-Term Memory Neural Network"", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND BIG DATA ANALYSIS (ICCCBDA)》 *
代杰杰，宋辉，盛戈皞等: ""采用LSTM网络的电力变压器运行状态预测方法研究"", 《高电压技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991674A (zh) * 2019-12-13 2020-04-10 安徽飞凯电子技术有限公司 一种基于大数据的高压输电设备智能监管系统
CN110991674B (zh) * 2019-12-13 2020-08-11 安徽飞凯电子技术有限公司 一种基于大数据的高压输电设备智能监管系统
CN113533875A (zh) * 2020-04-22 2021-10-22 杭州释普科技有限公司 智能化判断实验室设备运行状态及计算设备利用率的方法
CN113533875B (zh) * 2020-04-22 2024-02-23 释普信息科技（上海）有限公司 智能化判断实验室设备运行状态及计算设备利用率的方法
CN111784533A (zh) * 2020-06-16 2020-10-16 洪江川 基于人工智能和大数据的信息分析方法及云计算平台
CN112733446A (zh) * 2021-01-07 2021-04-30 复旦大学 一种数据驱动的自适应异常检测方法
CN113010504A (zh) * 2021-03-04 2021-06-22 江苏方天电力技术有限公司 基于LSTM和改进K-means算法的电力数据异常检测方法及系统
CN113010504B (zh) * 2021-03-04 2022-06-10 江苏方天电力技术有限公司 基于LSTM和改进K-means算法的电力数据异常检测方法及系统
CN113127705A (zh) * 2021-04-02 2021-07-16 西华大学 一种异构双向生成对抗网络模型及时间序列异常检测方法
CN113657628A (zh) * 2021-08-20 2021-11-16 武汉霖汐科技有限公司 工业设备监控方法、系统、电子设备及存储介质
CN117034157A (zh) * 2023-10-08 2023-11-10 广州健新科技有限责任公司 一种结合多模态运行数据的水电设备故障识别方法与系统
CN117034157B (zh) * 2023-10-08 2024-01-12 广州健新科技有限责任公司 一种结合多模态运行数据的水电设备故障识别方法与系统

Also Published As

Publication number Publication date
CN110569925B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110569925B (zh) 应用于电力设备运检的基于lstm的时序异常检测方法
Yi et al. A novel framework for fault diagnosis using kernel partial least squares based on an optimal preference matrix
Liu et al. Fault diagnosis of water quality monitoring devices based on multiclass support vector machines and rule-based decision trees
CN110866604A (zh) 一种电力变压器状态监测数据的清洗方法
Zurita et al. Industrial time series modelling by means of the neo-fuzzy neuron
Sahoo et al. Comparative analysis of multi-step time-series forecasting for network load dataset
CN111160626A (zh) 一种基于分解融合的电力负荷时间序列控制方法
CN112947385A (zh) 一种基于改进Transformer模型的飞行器故障诊断方法和系统
Xiao et al. Online sequential extreme learning machine algorithm for better predispatch electricity price forecasting grids
CN113159113A (zh) 信息恶意篡改下可修复遥测量的智能电网故障诊断方法
CN115221233A (zh) 基于深度学习的变电站多类带电检测数据异常检测方法
CN113344283B (zh) 基于边缘智能的能源互联网新能源消纳能力评估方法
Zhu et al. Robust representation learning for power system short-term voltage stability assessment under diverse data loss conditions
Sobajic et al. On-line monitoring and diagnosis of powersystem operating conditions using artificial neural networks
Bayram et al. Anomaly detection of multivariate image time series based on Gramian angular field using convolutional autoencoder
CN115217534A (zh) 一种汽轮机服役质量状态监测方法及系统
CN110441725A (zh) 基于自适应神经模糊推理的智能电表故障诊断方法及装置
Bento et al. An Overview Of The Latest Machine Learning Trends In Short-Term Load Forecasting
Xu et al. Short-term gas load forecast based on tcn-bigru
Wu et al. Overview of day-ahead solar power forecasts based on weather classifications
Qian et al. Improved Attention-based AE-LSTM for Short-term Power Load Forecasting
Benítez Sánchez et al. Classification of customers based on temporal load profile patterns
Zhang et al. Research on transformer fault diagnosis method based on rough set optimization BP neural network
Zhou et al. A Stacked Autoencoder for Operation Mode Classification of Complicated Industrial Process
CN110572286A (zh) 一种网络设备预警原型系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant