CN111614489A - 基于稀疏自编码的暂态录波故障数据清洗方法和系统 - Google Patents
基于稀疏自编码的暂态录波故障数据清洗方法和系统 Download PDFInfo
- Publication number
- CN111614489A CN111614489A CN202010344297.9A CN202010344297A CN111614489A CN 111614489 A CN111614489 A CN 111614489A CN 202010344297 A CN202010344297 A CN 202010344297A CN 111614489 A CN111614489 A CN 111614489A
- Authority
- CN
- China
- Prior art keywords
- fault data
- data
- coding
- sparse self
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本发明提出了基于稀疏自编码的暂态录波故障数据清洗方法和系统,首先把数据库中的故障数据分批导入稀疏自编码故障数据清洗模型,计算出故障的皮尔逊相关性的相似度,后进行重复数据清洗;清洗后模型进行稀疏自编码故障数据特征量提取,提取后的二维特征量数据进行第三模块的密度峰值快速搜寻聚类完成故障数据类簇分析,识别错误类簇后进行错误数据隔离,从而完成基于稀疏自编码的暂态录波故障数据清洗训练。本发明还提出了数据清洗系统,本发明基于训练好的故障数据清洗模型导入主站进行数据分析,进行实测故障数据清洗测试,完成对实测数据中的重复数据、扰动数据、抖动数据的剔除。建立清洁、高效的暂态录波故障数据库。
Description
技术领域
本发明属于电力系统配电自动化领域,特别涉及基于稀疏自编码的暂态录波故障数据清洗方法和系统。
背景技术
近年来随着智能电网的发展,更多的故障指示器应用于电网中,故障指示器逐渐从功能单一化、种类单一化发展到多功能、多类型。现阶段故障指示器种类繁多型号复杂,通信功能方式利用了光纤通信、GPRS技术、3G\4G宽带等技术。其中录波型故障指示器普遍应用于电网中能够精确检测负荷线路的电压、电流以及相电场强度信息,并通过通信装置将负荷数据、故障数据上传至主站。但是出于对精度的追求,使故障指示器的动作阈值设置的更低,从而在获取故障真实波形的同时会收集到更多的由于恶劣环境、电磁干扰所产生的故障指示器扰动数据、抖动数据以及重复数据对故障数据的判别和分类识别造成困扰,严重影响了配电操作和电网运行的效率。
我国自上世纪90年代开始陆续使用故障指示器以来,由于通信技术不断加强,故障指示器不断由就地型转向远传型。对于早期的故障数据主要采用专家系统直接进行故障诊断。随后,有学者提出利用配电网本身拓扑模型建立内存拓扑然后根据故障电流和场强变化进行逻辑判断;近年来,随着人工智能神经网络技术的发展,有学者提出基于离散Hopfield神经网络的遥信数据清洗算法对遥信数组进行清洗以及错误数据、丢失数据的修正。现有针对故障数据清洗方法研究中,多数利用提取故障特征直接进行真实故障数据判别和分类,以完成干扰数据清洗的目的,其特征提取不完善,对真正的故障指示器的干扰、抖动、重复数据达不到更好的清洗。
发明内容
本发明提出了基于稀疏自编码的暂态录波故障数据清洗方法和系统,该方法首先剔除重复故障数据,对去重后的故障数据进行完整的特征子提取以及实现特征量聚类和干扰数据隔离清除,建立清洁的数据库。
为了实现上述目的,本发明提出基于稀疏自编码的暂态录波故障数据清洗方法,该方法包括以下步骤:S1:对故障数据进行皮尔逊相关性的相似度计算,去除故障数据中的重复数据;
S2:对去重后的故障数据通过稀疏自编码模型对故障数据的特征自提取得到二维特征量;
S3:对提取后的二维特征量根据密度峰值快速搜寻的聚类算法进行故障数据清洗。
进一步的,稀疏自编码模型包括输入层、中间隐含层和输出层。
进一步的,步骤S2包括:
对去重后的m组故障数据X={x1,x2,x3,…,xm},xi∈R(n)作为输入层进行入网特征提取,中间隐含层激活函数为a(x)=f(w1x+b1);增加模型的非线性因素,其中其中,w1为输入层与中间隐含层之间的权重系数;b1为输入层的偏差向量;a(x)为激活后的函数值;
进一步的,在步骤S3中,局部密集的计算公式为:
本发明还提出了基于稀疏自编码的暂态录波故障数据清洗系统,包括去重模块、提取模块和清洗模块;
去重模块用于对故障数据进行皮尔逊相关性的相似度计算,去除故障数据中的重复数据;
提取模块用于对去重后的故障数据通过稀疏自编码模型对故障数据的特征自提取得到二维特征量;
清洗模块用于对提取后的二维特征量根据密度峰值快速搜寻的聚类算法进行故障数据清洗。
其中,提取模块包括构建模型模块和计算模块;
构建模型模块用于构建稀疏自编码模型;
计算模块用于对去重后的m组故障数据X={x1,x2,x3,…,xm},xi∈R(n)作为输入层进行入网特征提取,中间隐含层激活函数为a(x)=f(w1x+b1);增加模型的非线性因素,其中输出层得到输出变量
发明内容中提供的效果仅仅是实施例的效果,而不是发明所有的全部效果,上述技术方案中的一个技术方案具有如下优点或有益效果:
本发明实施例提出了基于稀疏自编码的暂态录波故障数据清洗方法和系统,首先把数据库中的故障数据按照Δt时间分批导入稀疏自编码故障数据清洗模型,清洗的第一步中,模型计算出故障的皮尔逊相关性的相似度,后进行重复数据清洗;清洗后模型进行稀疏自编码故障数据特征量提取,提取后的二维特征量数据进行第三模块的密度峰值快速搜寻聚类完成故障数据类簇分析,识别错误类簇后进行错误数据隔离,从而完成基于稀疏自编码的暂态录波故障数据清洗训练。本发明还提出了基于稀疏自编码的暂态录波故障数据清洗系统,本发明基于训练好的故障数据清洗模型导入主站进行数据分析,进行实测故障数据清洗测试,完成对实测数据中的重复数据、扰动数据、抖动数据的剔除。建立清洁、高效的暂态录波故障数据库。
附图说明
如图1给出了基于本发明实施例1提出的基于稀疏自编码的暂态录波故障数据清洗方法流程图;
如图2给出了基于本发明实施例1提出的小电流接地选线装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
本发明提出了基于稀疏自编码的暂态录波故障数据清洗方法,如图1所示给出基于稀疏自编码的暂态录波故障数据清洗方法流程图。
在步骤S101中,故障指示器发生故障时故障数据由汇集单元打包整理上传至主站,主站接收到数据Δt时间内的n组故障数据:
X={x1,x2,x3,…,xn},xi∈R(n)。
在步骤S104中,提取价值波形。求出子故障类别中数据相似度平均值A作为xi的相似度,然后提取子类别中相似度大于预设定价值波形阈值ρk的数据作为故障数据,去除每个子类别中相似度小于预设定价值波形阈值ρk的重复数据,以达到去重复目的。
在步骤S106中,对去重后的故障数据通过稀疏自编码模型对故障数据的特征自提取得到二维特征量。针对去除重复数据后的不同类型价值故障数据进行无人工特征值自提取,采用稀疏自编码网络模型。稀疏自编码模型包括输入层、中间隐含层、和输出层。其利用机器学习通过稀疏性限制和最小化损失函数相互结合使网络的输出结果逼近数据样本自身,从而实现中间隐含层对输入层信息的有效提取。
对去重后的m组故障数据X={x1,x2,x3,…,xm},xi∈R(n)作为输入层进行入网特征提取,中间隐含层激活函数为
a(x)=f(w1x+b1);
通过稀疏自编码初始训练后的损失函数JSAE不断被优化,引入误差反向传播算法对损失函数JSAE其权值、偏差进行处理,再经过一定数量的迭代优化可以使损失函数JSAE降至一个相对理想的较小值,从而实现稀疏自编码对故障数据的特征自提取。
在步骤S107中,对提取后的二维特征量根据密度峰值快速搜寻的聚类算法进行故障数据清洗。通过稀疏自编码特征自提取模型对去重数据处理后,得到价值波形的特征量。根据密度峰值快速搜寻的聚类算法(Clustering by fast search and find of densitypeaks,CFDP)模型对二维特征量进行故障数据清洗。
首先在基于假设:聚类中心周围都是密度比其低的点,同时这些点距离该聚类中心的距离相比于其他聚类中心来说是最近的CFDP算法下,计算两两特征量之间的局部密度与该特征量到具有更高局部密度的特征量的距离。
其中局部密度计算为:
在步骤S108中,完成对实测数据中的重复数据、扰动数据、抖动数据的剔除。
在步骤S109中,建立清洁、高效的暂态录波故障数据库。
基于本发明提出的基于稀疏自编码的暂态录波故障数据清洗方法,还提出了基于稀疏自编码的暂态录波故障数据清洗系统,如图2给出了基于稀疏自编码的暂态录波故障数据清洗系统示意图,该系统包括去重模块、提取模块和清洗模块;
去重模块用于对故障数据进行皮尔逊相关性的相似度计算,去除故障数据中的重复数据;
提取模块用于对去重后的故障数据通过稀疏自编码模型对故障数据的特征自提取得到二维特征量;
清洗模块用于对提取后的二维特征量根据密度峰值快速搜寻的聚类算法进行故障数据清洗。
其中,提取模块包括构建模型模块和计算模块;
构建模型模块用于构建稀疏自编码模型;
计算模块用于对去重后的m组故障数据X={x1,x2,x3,…,xm},xi∈R(n)作为输入层进行入网特征提取,中间隐含层激活函数为a(x)=f(w1x+b1);增加模型的非线性因素,其中输出层得到输出变量
以上内容仅仅是对本发明的结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
Claims (7)
1.基于稀疏自编码的暂态录波故障数据清洗方法,其特征在于,包括以下步骤:
S1:对故障数据进行皮尔逊相关性的相似度计算,去除故障数据中的重复数据;
S2:对去重后的故障数据通过稀疏自编码模型对故障数据的特征自提取得到二维特征量;
S3:对提取后的二维特征量根据密度峰值快速搜寻的聚类算法进行故障数据清洗。
3.根据权利要求1所述的基于稀疏自编码的暂态录波故障数据清洗方法,其特征在于,稀疏自编码模型包括输入层、中间隐含层和输出层。
6.基于稀疏自编码的暂态录波故障数据清洗系统,其特征在于,包括去重模块、提取模块和清洗模块;
所述去重模块用于对故障数据进行皮尔逊相关性的相似度计算,去除故障数据中的重复数据;
所述提取模块用于对去重后的故障数据通过稀疏自编码模型对故障数据的特征自提取得到二维特征量;
所述清洗模块用于对提取后的二维特征量根据密度峰值快速搜寻的聚类算法进行故障数据清洗。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010344297.9A CN111614489A (zh) | 2020-04-27 | 2020-04-27 | 基于稀疏自编码的暂态录波故障数据清洗方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010344297.9A CN111614489A (zh) | 2020-04-27 | 2020-04-27 | 基于稀疏自编码的暂态录波故障数据清洗方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111614489A true CN111614489A (zh) | 2020-09-01 |
Family
ID=72201186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010344297.9A Pending CN111614489A (zh) | 2020-04-27 | 2020-04-27 | 基于稀疏自编码的暂态录波故障数据清洗方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111614489A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699921A (zh) * | 2020-12-16 | 2021-04-23 | 重庆邮电大学 | 一种基于堆栈降噪自编码的电网暂态故障数据聚类清洗方法 |
CN113986903A (zh) * | 2021-10-28 | 2022-01-28 | 国网电力科学研究院武汉南瑞有限责任公司 | 基于t-sne算法的故障数据聚类清洗方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550700A (zh) * | 2015-12-08 | 2016-05-04 | 国网山东省电力公司电力科学研究院 | 一种基于关联分析和主成分分析的时间序列数据清洗方法 |
CN105787561A (zh) * | 2016-03-22 | 2016-07-20 | 新疆金风科技股份有限公司 | 循环神经网络模型构建方法、齿轮箱故障检测方法和装置 |
CN107248740A (zh) * | 2017-06-15 | 2017-10-13 | 贵州电网有限责任公司电力科学研究院 | 一种家庭用电设备负荷预测方法 |
-
2020
- 2020-04-27 CN CN202010344297.9A patent/CN111614489A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550700A (zh) * | 2015-12-08 | 2016-05-04 | 国网山东省电力公司电力科学研究院 | 一种基于关联分析和主成分分析的时间序列数据清洗方法 |
CN105787561A (zh) * | 2016-03-22 | 2016-07-20 | 新疆金风科技股份有限公司 | 循环神经网络模型构建方法、齿轮箱故障检测方法和装置 |
CN107248740A (zh) * | 2017-06-15 | 2017-10-13 | 贵州电网有限责任公司电力科学研究院 | 一种家庭用电设备负荷预测方法 |
Non-Patent Citations (2)
Title |
---|
张涵: "实测过电压数据清洗与特征自提取方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
赵雪婷: "基于稀疏自编码与组合分类器的异常流量识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699921A (zh) * | 2020-12-16 | 2021-04-23 | 重庆邮电大学 | 一种基于堆栈降噪自编码的电网暂态故障数据聚类清洗方法 |
CN112699921B (zh) * | 2020-12-16 | 2022-07-15 | 重庆邮电大学 | 一种基于堆栈降噪自编码的电网暂态故障数据聚类清洗方法 |
CN113986903A (zh) * | 2021-10-28 | 2022-01-28 | 国网电力科学研究院武汉南瑞有限责任公司 | 基于t-sne算法的故障数据聚类清洗方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109873610B (zh) | 基于iv特性和深度残差网络的光伏阵列故障诊断方法 | |
CN109635928A (zh) | 一种基于深度学习模型融合的电压暂降原因识别方法 | |
CN110458230A (zh) | 一种基于多判据融合的配变用采数据异常甄别方法 | |
CN111444615B (zh) | 一种基于k近邻和iv曲线的光伏阵列故障诊断方法 | |
CN109766952B (zh) | 基于偏最小二乘法和极限学习机的光伏阵列故障检测方法 | |
CN109376960A (zh) | 基于lstm神经网络的电网负荷预测方法 | |
CN108333468B (zh) | 一种有源配电网下不良数据的识别方法及装置 | |
CN112149873A (zh) | 一种基于深度学习的低压台区线损合理区间预测方法 | |
CN113189418B (zh) | 一种基于电压数据的拓扑关系识别方法 | |
CN110794254B (zh) | 一种基于强化学习的配电网故障预测方法及系统 | |
LU500551B1 (en) | Virtual load dominant parameter identification method based on incremental learning | |
CN111614489A (zh) | 基于稀疏自编码的暂态录波故障数据清洗方法和系统 | |
CN113379116A (zh) | 基于聚类和卷积神经网络的台区线损预测方法 | |
CN113554361A (zh) | 一种综合能源系统数据处理计算方法及处理系统 | |
CN112085108A (zh) | 基于自动编码器及k均值聚类的光伏电站故障诊断算法 | |
CN111626559A (zh) | 一种基于主因子分析法的中压配电网线损关键特征指标提取方法及系统 | |
CN113177357B (zh) | 一种电力系统暂态稳定评估方法 | |
CN112054557B (zh) | 一种基于随机矩阵理论的配电网络拓扑变化类型识别方法 | |
CN113705695A (zh) | 一种基于卷积神经网络的配电网故障数据辨识方法 | |
CN113033898A (zh) | 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统 | |
CN116933201A (zh) | 低压充电桩违约用电行为识别的方法和系统 | |
CN115392710A (zh) | 一种基于数据过滤的风电机组运行决策方法及系统 | |
CN115169654A (zh) | 基于无监督聚类和支持向量机的短期电力负荷预测方法 | |
CN114781507A (zh) | 一种基于1dcnn-ds的冷水机组故障诊断方法 | |
CN115598459A (zh) | 一种配电网10kV馈线故障停电预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200901 |
|
RJ01 | Rejection of invention patent application after publication |