CN109582657A - 基于机器学习与大数据分析的电容器故障预测方法 - Google Patents
基于机器学习与大数据分析的电容器故障预测方法 Download PDFInfo
- Publication number
- CN109582657A CN109582657A CN201811437396.0A CN201811437396A CN109582657A CN 109582657 A CN109582657 A CN 109582657A CN 201811437396 A CN201811437396 A CN 201811437396A CN 109582657 A CN109582657 A CN 109582657A
- Authority
- CN
- China
- Prior art keywords
- data
- capacitor
- mapper
- normalized
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003990 capacitor Substances 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000007405 data analysis Methods 0.000 title claims abstract description 12
- 238000010801 machine learning Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 239000003638 chemical reducing agent Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000009413 insulation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Test And Diagnosis Of Digital Computers (AREA)
Abstract
本发明提供的一种基于机器学习与大数据分析的电容器故障预测方法，包括如下步骤：S1.获取电容器的历史数据，并通过Hadoop集群算法将电容器的历史数据存储在分布式服务器中；S2.对电容器的历史数据进行预处理，然后将预处理后的电容器的历史数据进行特征量提取；S3.对提取的特征量进行归一化处理；S4.将归一化处理后的特征量输入到深层神经网络中进行指导性训练，并对电容器故障进行预测；能够对电容器的故障进行准确预测，从而利于电力系统的稳定运行。
Description
技术领域
本发明设计电力设备故障分析领域，尤其涉及一种基于机器学习与大数据分析的电容器故障预测方法。
背景技术
电容器组在电力系统中是最常用的改善功率因数的方法。电容器组的运行经济且可靠，故障率低。安装电容器可以补偿无功功率，满足感性负载的需求，从而提高电气系统的功率因数。但是电力系统的运行状况可能会影响电容器的正常运行，并造成电容器的故障。
常规的电容器故障的预测方法有如下三种：1.通过监测电容器内部的局部放电，来判断放电的严重程度，从而分析并预测绝缘劣化的状况和其发展趋势；2.通过电容器的极间绝缘检测技术，对电容器做耐压实验，但这种方法是一种离线实验，不能及时有效的发现电容器运行时的状态变化，具有很大的局限性；3.监测电容器内部的温度变化，考察电容器在不同工作状况下的温度变化，建立电容器工况和温度变化的模型，从而能够预测电容器的故障发生；上述几种方式没有对电容器故障的历史数据进行充分的利用，也没有对影响电容器故障的参数进行综合的考虑，这几个参数包括电力电容器故障的地理信息，设备厂商，运行状况，故障原因，寿命以及检测方法等，因此，现有技术无法准确的对电容器的故障进行准确预测。
发明内容
有鉴于此，本发明的目的是提供一种基于机器学习与大数据分析的电容器故障预测方法，能够对电容器的故障进行准确预测，从而利于电力系统的稳定运行。
本发明提供的一种基于机器学习与大数据分析的电容器故障预测方法，包括如下步骤：
S1.获取电容器的历史数据，并通过Hadoop集群算法将电容器的历史数据存储在分布式服务器中；
S2.对电容器的历史数据进行预处理，然后将预处理后的电容器的历史数据进行特征量提取；
S3.对提取的特征量进行归一化处理；
S4.将归一化处理后的特征量输入到深层神经网络中进行指导性训练，并对电容器故障进行预测。
进一步，步骤S2中，对电容器的历史数据进行预处理如下：
S21.Hadoop框架中的Mapper首先将输入数据分解为具有相同数据大小的N个块，然后将其分别储存在Hadoop集群中；
S22.Hadoop集群的主节点将寻找M个空闲工作节点并将N个数据块的工作任务分配给他们，当Mapper的分类任务完成后，会产生中间输出结果；
S23.执行Mapper任务的工作节点解析数据块并发送给用户定义的Mapper函数每对(Key，Value)作为输入，Mapper函数处理后的中间输出结果也以(Key，Value)对的形式，并由执行它们的工作节点提供内存空间进行存储，Mapper工作任务完成；
S24.主服务器寻找相应数量的空闲节点作为Reducer，并向它们通知上述Mapper任务完成后的存储位置，Reducer将远程调用并读取Mapper工作节点所存储的数据，读取所有中间输出结果数据后，Reducer节点对数据进行格式化、排序和分组操作，并对中间输出结果数据进行分类；其中，分类数据依据包括故障类型、故障时间、故障地点或者故障发生时的工作环境。
进一步，步骤S3中，通过如下算法对特征量进行归一化处理：
Vnor＝Vvalue·NF
NF＝Vmax/F；
其中，Vnor是归一化的结果，Vvalue是需要归一化处理的数值，NF为归一化因子，Vmax为分类数据中的最大值，F为归一化常数。
进一步，步骤S4中通过深层神经网络进行故障预测，包括以下步骤：
S41.将分布式文件系统中的归一化数据分成两个子集，并提取出来进行人工神经网络的指导性训练，第一个子集包含了90％的数据量。该子集被当作已知数据，用来训练人工神经网络，第二个子集包含了10％的数据量。该子集被当作未知数据，用来校验人工神经网络的误差；
S42.设置目标误差；
S43.初始化并对深层神经网络进行训练；
S44.将每一次的误差加入到总误差中，并评估总误差的大小；
S45.结束训练后判断总误差是否小于目标误差，若不小于，则返回步骤S41，重新设置目标误差；若小于，结束训练。
本发明的有益效果：通过本发明能够实现如下有益效果：
对电容器故障的历史数据进行充分的利用，也对影响电容器故障的参数进行了综合考虑，这几个参数包括电力电容器故障的地理信息，设备厂商，运行状况，故障原因，寿命以及检测方法等；
对海量数据中的冗余信息，数据格式和结构不统一等问题进行处理，有效的解决了原始数据的复杂性问题；
将处理后的数据以分布式的方式存储在Hadoop集群内的分布式文件系统中，采用分布式算法进行数据处理，大大提升了数据处理的速度和准确度；
采用深层神经网络对电容器故障进行预测,综合考虑了影响电容器故障的各种参数，大大提升了故障预测的准确性。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本发明所述基于机器学习与大数据分析的电容器故障预测方法的框图；
图2为本发明所述MapReduce的算法流程图；
图3位本发明所述深层神经网络进行故障预测的方法流程图。
具体实施方式
以下结合说明书附图对本发明做出进一步的详细说明，如图所示：
本发明提供的一种基于机器学习与大数据分析的电容器故障预测方法，包括如下步骤：
S1.获取电容器的历史数据，并通过Hadoop集群算法将电容器的历史数据存储在分布式服务器中；
S2.对电容器的历史数据进行预处理，然后将预处理后的电容器的历史数据进行特征量提取；
S3.对提取的特征量进行归一化处理；
S4.将归一化处理后的特征量输入到深层神经网络中进行指导性训练，并对电容器故障进行预测，通过上述方法能够实现如下有益效果：
对电容器故障的历史数据进行充分的利用，也对影响电容器故障的参数进行了综合考虑，这几个参数包括电力电容器故障的地理信息，设备厂商，运行状况，故障原因，寿命以及检测方法等；
对海量数据中的冗余信息，数据格式和结构不统一等问题进行处理，有效的解决了原始数据的复杂性问题；
将处理后的数据以分布式的方式存储在Hadoop集群内的分布式文件系统中，采用分布式算法进行数据处理，大大提升了数据处理的速度和准确度；
采用深层神经网络对电容器故障进行预测,综合考虑了影响电容器故障的各种参数，大大提升了故障预测的准确性。
本实施例中，步骤S2中，通过低级机器语言MapReduce从分布式存储在Hadoop集群分布式文件系统中的原始数据提取需要的特征量，首先通过Mapper将原始数据在Hadoop集群中归类，然后通过Reducer将归类后的数据聚合并格式化以及分类，具体过程如下：
S21.Hadoop框架中的Mapper首先将输入数据分解为具有相同数据大小的N个块，然后将其分别储存在Hadoop集群中；
S22.Hadoop集群的主节点将寻找M个空闲工作节点并将N个数据块的工作任务分配给他们，当Mapper的分类任务完成后，会产生中间输出结果；
S23.执行Mapper任务的工作节点解析数据块并发送给用户定义的Mapper函数每对(Key，Value)作为输入，Mapper函数处理后的中间输出结果也以(Key，Value)对的形式，并由执行它们的工作节点提供内存空间进行存储，Mapper工作任务完成；
S24.主服务器寻找相应数量的空闲节点作为Reducer，并向它们通知上述Mapper任务完成后的存储位置，Reducer将远程调用并读取Mapper工作节点所存储的数据，读取所有中间输出结果数据后，Reducer节点对数据进行格式化、排序和分组操作，并对中间输出结果数据进行分类；其中，分类数据依据包括故障类型、故障时间、故障地点或者故障发生时的工作环境。
本实施例中，步骤S3中，通过如下算法对特征量进行归一化处理：
Vnor＝Vvalue·NF
NF＝Vmax/F；
其中，Vnor是归一化的结果，Vvalue是需要归一化处理的数值，NF为归一化因子，Vmax为分类数据中的最大值，F为归一化常数，通过上述方法对特征量进行归一化处理，从而能够确保深层神经网络进行学习、预测的稳定性和准确性。
本实施例中，步骤S4中通过深层神经网络进行故障预测，包括以下步骤：
S41.将分布式文件系统中的归一化数据分成两个子集，并提取出来进行人工神经网络的指导性训练，第一个子集包含了90％的数据量。该子集被当作已知数据，用来训练人工神经网络，第二个子集包含了10％的数据量。该子集被当作未知数据，用来校验人工神经网络的误差；
S42.设置目标误差；
S43.初始化并对深层神经网络进行训练；
S44.将每一次的误差加入到总误差中，并评估总误差的大小；
S45.结束训练后判断总误差是否小于目标误差，若不小于，则返回步骤S41，重新设置目标误差；若小于，结束训练。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于机器学习与大数据分析的电容器故障预测方法，其特征在于：包括如下步骤：
S1.获取电容器的历史数据，并通过Hadoop集群算法将电容器的历史数据存储在分布式服务器中；
S2.对电容器的历史数据进行预处理，然后将预处理后的电容器的历史数据进行特征量提取；
S3.对提取的特征量进行归一化处理；
S4.将归一化处理后的特征量输入到深层神经网络中进行指导性训练，并对电容器故障进行预测。
2.根据权利要求1所述基于机器学习与大数据分析的电容器故障预测方法，其特征在于：步骤S2中，对电容器的历史数据进行预处理如下：
S21.Hadoop框架中的Mapper首先将输入数据分解为具有相同数据大小的N个块，然后将其分别储存在Hadoop集群中；
S22.Hadoop集群的主节点将寻找M个空闲工作节点并将N个数据块的工作任务分配给他们，当Mapper的分类任务完成后，会产生中间输出结果；
S23.执行Mapper任务的工作节点解析数据块并发送给用户定义的Mapper函数每对(Key，Value)作为输入，Mapper函数处理后的中间输出结果也以(Key，Value)对的形式，并由执行它们的工作节点提供内存空间进行存储，Mapper工作任务完成；
S24.主服务器寻找相应数量的空闲节点作为Reducer，并向它们通知上述Mapper任务完成后的存储位置，Reducer将远程调用并读取Mapper工作节点所存储的数据，读取所有中间输出结果数据后，Reducer节点对数据进行格式化、排序和分组操作，并对中间输出结果数据进行分类；其中，分类数据依据包括故障类型、故障时间、故障地点或者故障发生时的工作环境。
3.根据权利要求2所述基于机器学习与大数据分析的电容器故障预测方法，其特征在于：步骤S3中，通过如下算法对特征量进行归一化处理：
Vnor＝Vvalue·NF
NF＝Vmax/F；
其中，Vnor是归一化的结果，Vvalue是需要归一化处理的数值，NF为归一化因子，Vmax为分类数据中的最大值，F为归一化常数。
4.根据权利要求3所述基于机器学习与大数据分析的电容器故障预测方法，步骤S4中通过深层神经网络进行故障预测，包括以下步骤：
S41.将分布式文件系统中的归一化数据分成两个子集，并提取出来进行人工神经网络的指导性训练，第一个子集包含了90％的数据量。该子集被当作已知数据，用来训练人工神经网络，第二个子集包含了10％的数据量。该子集被当作未知数据，用来校验人工神经网络的误差；
S42.设置目标误差；
S43.初始化并对深层神经网络进行训练；
S44.将每一次的误差加入到总误差中，并评估总误差的大小；
S45.结束训练后判断总误差是否小于目标误差，若不小于，则返回步骤S41，重新设置目标误差；若小于，结束训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811437396.0A CN109582657A (zh) | 2018-11-28 | 2018-11-28 | 基于机器学习与大数据分析的电容器故障预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811437396.0A CN109582657A (zh) | 2018-11-28 | 2018-11-28 | 基于机器学习与大数据分析的电容器故障预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109582657A true CN109582657A (zh) | 2019-04-05 |
Family
ID=65924971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811437396.0A Pending CN109582657A (zh) | 2018-11-28 | 2018-11-28 | 基于机器学习与大数据分析的电容器故障预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109582657A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961171A (zh) * | 2018-12-19 | 2019-07-02 | 兰州大学 | 一种基于机器学习与大数据分析的电容器故障预测方法 |
| CN111814976A (zh) * | 2020-07-14 | 2020-10-23 | 西安建筑科技大学 | 一种空调系统传感器故障误差再学习方法及系统 |
| CN113159087A (zh) * | 2020-12-30 | 2021-07-23 | 国网河南省电力公司南阳供电公司 | 基于海量负荷数据的居民用电行为辨识分析和管理方法 |
| CN113203924A (zh) * | 2021-04-29 | 2021-08-03 | 国网四川省电力公司电力科学研究院 | 一种基于局部放电检测的电容器冲击老化程度预测方法 |
| CN113702780A (zh) * | 2021-08-20 | 2021-11-26 | 中国南方电网有限责任公司超高压输电公司大理局 | 基于bp神经网络的高压电容在线监测方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116525A (zh) * | 2013-01-24 | 2013-05-22 | 贺海武 | 一种Internet环境下MapReduce计算方法 |
| CN106682781A (zh) * | 2016-12-30 | 2017-05-17 | 山东鲁能软件技术有限公司 | 一种电力设备多指标预测方法 |
| CN106952028A (zh) * | 2017-03-13 | 2017-07-14 | 杭州安脉盛智能技术有限公司 | 机电装备故障预诊与健康管理方法及系统 |
| US20170351948A1 (en) * | 2016-06-01 | 2017-12-07 | Seoul National University R&Db Foundation | Apparatus and method for generating prediction model based on artificial neural network |
| CN107817787A (zh) * | 2017-11-29 | 2018-03-20 | 华南理工大学 | 一种基于机器学习的智能产线机械手故障诊断方法 |
-
2018
- 2018-11-28 CN CN201811437396.0A patent/CN109582657A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116525A (zh) * | 2013-01-24 | 2013-05-22 | 贺海武 | 一种Internet环境下MapReduce计算方法 |
| US20170351948A1 (en) * | 2016-06-01 | 2017-12-07 | Seoul National University R&Db Foundation | Apparatus and method for generating prediction model based on artificial neural network |
| CN106682781A (zh) * | 2016-12-30 | 2017-05-17 | 山东鲁能软件技术有限公司 | 一种电力设备多指标预测方法 |
| CN106952028A (zh) * | 2017-03-13 | 2017-07-14 | 杭州安脉盛智能技术有限公司 | 机电装备故障预诊与健康管理方法及系统 |
| CN107817787A (zh) * | 2017-11-29 | 2018-03-20 | 华南理工大学 | 一种基于机器学习的智能产线机械手故障诊断方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961171A (zh) * | 2018-12-19 | 2019-07-02 | 兰州大学 | 一种基于机器学习与大数据分析的电容器故障预测方法 |
| CN111814976A (zh) * | 2020-07-14 | 2020-10-23 | 西安建筑科技大学 | 一种空调系统传感器故障误差再学习方法及系统 |
| CN111814976B (zh) * | 2020-07-14 | 2024-04-09 | 西安建筑科技大学 | 一种空调系统传感器故障误差再学习方法及系统 |
| CN113159087A (zh) * | 2020-12-30 | 2021-07-23 | 国网河南省电力公司南阳供电公司 | 基于海量负荷数据的居民用电行为辨识分析和管理方法 |
| CN113203924A (zh) * | 2021-04-29 | 2021-08-03 | 国网四川省电力公司电力科学研究院 | 一种基于局部放电检测的电容器冲击老化程度预测方法 |
| CN113702780A (zh) * | 2021-08-20 | 2021-11-26 | 中国南方电网有限责任公司超高压输电公司大理局 | 基于bp神经网络的高压电容在线监测方法和装置 |
| CN113702780B (zh) * | 2021-08-20 | 2024-01-19 | 中国南方电网有限责任公司超高压输电公司大理局 | 基于bp神经网络的高压电容在线监测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582657A (zh) | 基于机器学习与大数据分析的电容器故障预测方法 | |
| CN111047082B (zh) | 设备的预警方法及装置、存储介质和电子装置 | |
| CN111368890A (zh) | 故障检测方法及装置、信息物理融合系统 | |
| CN115048591B (zh) | 一种基于人工智能的配电网全息数据可视化智能展示分析系统 | |
| CN109409444B (zh) | 一种基于先验概率的多元电网故障类型的判别方法 | |
| CN109501834A (zh) | 一种道岔转辙机故障预测方法及装置 | |
| CN111222696B (zh) | 电压暂降治理优化方法、装置、计算机设备和存储介质 | |
| CN105703481A (zh) | 一种换流阀均压状态一致性统计方法 | |
| CN103926490A (zh) | 一种具有自学习功能的电力变压器综合诊断方法 | |
| CN108020781A (zh) | 一种断路器故障诊断方法 | |
| US11258659B2 (en) | Management and control for IP and fixed networking | |
| CN117332215B (zh) | 一种高低压配电柜异常故障信息远程监测系统 | |
| Gajic et al. | An improved anomaly detection in mobile networks by using incremental time-aware clustering | |
| CN114156901A (zh) | 一种低压配变无功补偿装置状态异常检测方法 | |
| CN117669176A (zh) | 一种基于网络简化法的配电网可靠性评估方法及装置 | |
| CN117113135A (zh) | 一种可对异常数据整理分类的碳排放异常监测分析系统 | |
| CN112241812B (zh) | 基于单边优化与遗传算法协作的低压配电网拓扑识别方法 | |
| CN115146739A (zh) | 基于堆叠时间序列网络的电力变压器故障诊断方法 | |
| CN113570473B (zh) | 设备故障监测方法、装置、计算机设备和存储介质 | |
| CN115146727A (zh) | 一种智能用电系统故障检测方法及系统 | |
| CN109492913B (zh) | 一种配电终端的模块化风险预测方法、装置及可存储介质 | |
| CN114626433A (zh) | 一种智能电能表故障预测并分类方法、装置及系统 | |
| CN112465358A (zh) | 基于支持向量机的电压质量分类方法及装置 | |
| Zhao et al. | Operation and Maintenance Management and Decision Analysis in Distribution Network Based on Big Data Mining | |
| CN116626540B (zh) | 断线故障区间判定方法、系统、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190405 |
|
| RJ01 | Rejection of invention patent application after publication |