CN105958652A - 基于大数据分析的无人值守变电站预警系统及方法 - Google Patents
基于大数据分析的无人值守变电站预警系统及方法 Download PDFInfo
- Publication number
- CN105958652A CN105958652A CN201610462290.0A CN201610462290A CN105958652A CN 105958652 A CN105958652 A CN 105958652A CN 201610462290 A CN201610462290 A CN 201610462290A CN 105958652 A CN105958652 A CN 105958652A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- data analysis
- electric power
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 12
- 238000012423 maintenance Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000013499 data model Methods 0.000 claims abstract description 8
- 238000011161 development Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 4
- 230000008439 repair process Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 6
- 238000013480 data collection Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract 2
- 230000015556 catabolic process Effects 0.000 abstract 1
- 239000012634 fragment Substances 0.000 abstract 1
- 230000018109 developmental process Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000032683 aging Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 244000097202 Rathbunia alamosensis Species 0.000 description 1
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Classifications
-
- H02J13/0006—
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E60/00—Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/16—Electric power substations
Abstract
本发明公开了一种基于大数据分析的无人值守的变电站预警系统及方法，包括数据采集模块、数据分析模块和应用模块，本发明是基于Hadoop架构，采用数据分片技术，并行数据处理模式以及基于数据模型察觉异常数据的方法，来实现电力设施的监控与预警。本发明可以使电力公司从庞杂的电力维护工作中解脱出来，实现机器替代人工进行电力设施的检查与监控，并在设施欲出现故障的时候进行预警，从而实现生产效率的提高，减少因电力故障而出现的人财损失。
Description
技术领域
本发明涉及大规模数据的采集挖掘在变电站的应用，尤其是针对突发情况预测及预警的基于大数据分析的无人值守变电站预警系统。
背景技术
随着我国互联网的迅猛发展，数据规模的爆炸性发展，大数据里面的价值正在越来越受到人们的重视。人们对于海量数据的挖掘与利用，预示着新一波生产率增长与消费者盈余浪潮的到来。如今，客户在互联网上的行为，均能被服务器以二进制的形式记录下来，如新浪微博，一亿多的活跃用户，每天产生的数据是海量的。2013年3月，中国电机工程学会针对目前电力企业和电力行业数据的状况，发布了《中国电力大数据发展白皮书》。2015年8月31日，国务院以国发〔2015〕50号印发《促进大数据发展行动纲要》。国家政策的大力扶持，给了电力行业注入了新鲜的血液，电力行业正处于关键转折点，智能化变电站、即时预警系统、测控一体化系统、现场移动检修系统等的建设，使得原本数据类型较为单一、增长较为缓慢的情况发生转变，将逐渐步入转为分析基于多个变量因子和大批量的各类异构数据源的新型电力大数据时代。
各种电压等级的变电站在运行过程中，靠操作人员的正常巡视难以实现安全问题的全面检查和提前预警，因变电站的特殊性，如果能够无人值守即可监控变电设施，并能提早发现设施老化或异常能避免很大的损失，因此通过分析大量的电路设施的实时数据流，通过数据挖掘等一系列手段，寻找电力事故在数据具现上的一般性，对于保护电工人员安全，减少国家损失，具有积极意义。
发明内容
发明目的：针对上述现有技术存在的缺陷，防止电力设施损坏，保障电力工作人员安全，本发明旨在提供一种采用Hadoop架构，部署服务器集群并行处理电力数据的基于大数据分析的无人值守变电站预警系统。
技术方案：一种基于大数据分析的无人值守变电站预警系统，包括：
数据采集模块，用于采集各类电力设施的实时状态数据并以JSON格式传递到数据分析模块；
数据分析模块，用于将数据采集模块采集的数据进行预处理和分析；
和应用模块，用于获取数据分析模块的数据并提供给电力维护人员，实时监察各设施的运营情况。
进一步的，所述数据分析模块内设有Hadoop架构、Memcached通道和历史数据库。
进一步的，所述应用模块内设有应用子系统，是利用PhoneGap框架开发的手机应用或者WEB。
进一步的，所述应用子系统包括用户申报故障反馈模块、维保信息推送模块、短信推送模块、实时信息推送模块、预警信息推送模块和报表信息推送模块。
一种基于大数据分析的无人值守变电站预警方法，包括如下步骤：
(1)数据采集模块通过电力数据采集设备采集各类电力设施的实时状态数据并以JSON格式传递到数据分析模块；
(2)后台部署以MongoDB为数据库的服务器集群，为数据分析模块提供硬件平台；
(3)在服务器集群上部署Hadoop架构，为数据分析模块提供软件平台；
(4)数据分析模块接收到JSON数据，在Hadoop架构上进行Map操作与Reduce操作，判断数据是否异常；
(5)若数据异常，则将异常数据通过Memcached通道缓存，并传输至应用模块进行预警，通知电力维护人员；否则，便将正常数据录入历史数据库中，构建数据模型，优化预警算法。
进一步的，步骤(4)中所述的Map操作即，将进入Hadoop架构中的数据使用split命令分割成n份。
有益效果：本发明采用Hadoop架构的Map-Reduce并行处理机制进行数据分析，处理数据速度快，实时性高，能实现及时预警；将异构数据源进行处理，得到的数据模型复用性强，并且可移植；将数据采集层，数据分析层，应用层连贯在一起，层层优化筛选数据，并将正常数据不停的用于优化数据模型，提高预警的正确率，大大节省了人力成本，使工人从繁复的电力设施检查工作中脱离出来，提高生产效率；通过固定电力设施的参数数值走向预测电力设施的老化程度，自动化程度高，能够避免人员和财产的损失，具有很大的经济与社会价值。
附图说明
图1是本发明的系统层次图；
图2是MAPREDUCE数据分片图；
图3是本发明的系统主流程图。
具体实施方式
下面通过一个最佳实施例并结合附图对本技术方案进行详细说明。
如图1所示，一种基于大数据分析的无人值守变电站预警系统，包括数据采集模块、数据分析模块和应用模块；
数据采集模块用于采集各类电力设施的实时状态数据并以JSON(JavaScript Object Notation，JavaScript对象表示法)格式传递到数据分析模块；这些数据庞杂无序，甚至会有缺失，因此需要数据分析模块将数据采集模块采集的数据进行预处理和分析；数据分析模块内设有Hadoop架构(即HadoopDistributed File System，分布式文件系统)、Memcached通道(Memcached是一套分布式内存对象缓存系统)和历史数据库。
当大量的数据从数据采集端涌入Hadoop架构时，将这些数据split(分割)成n份，这个过程是Map过程，Map之后便需要将这些已经分好的数据交予服务器集群来并行处理。如图2所示，数据如何分片，需要根据建立的数据模型。Reduce是处理已经经过Map的信息，每个设备都部署有相应的算法。保证并发性与准确性同时也提高了数据分析的效率，以便于即时察觉出异常信息。
当然处理后的数据流向也需要经过处理，如图3所示，数据分析完之后，一些正常的信息流需要存入历史数据库。正常数据的存留是为了进一步的完善数据模型，如一个电力设施从正常到老化过程中它电力的变化趋势图，一个完善预测模型需要海量数据的支撑，因此这些数据需要保留，以便后面可以进行更准确的预警。异常数据经过Memcached通道传给应用模块，告知工作人员预警。
应用模块用于获取数据分析模块的数据并提供给电力维护人员，实时监察各设施的运营情况，实现高度自动化。图中的信息推送平台即应用模块，如图所示，应用模块内设有应用子系统，是利用PhoneGap框架(PhoneGap是一个用基于HTML，CSS和JavaScript的，创建移动跨平台移动应用程序的快速开发平台)开发的手机应用或者WEB；应用子系统包括用户申报故障反馈模块、维保信息推送模块、短信推送模块、实时信息推送模块、预警信息推送模块和报表信息推送模块。
一种基于大数据分析的无人值守变电站预警方法，包括如下步骤：
(1)数据采集模块通过电力数据采集设备采集各类电力设施的实时状态数据并以JSON格式传递到数据分析模块；
(2)后台部署以MongoDB(非结构化数据库)为数据库的服务器集群，为数据分析模块提供硬件平台；
(3)在服务器集群上部署Hadoop架构，为数据分析模块提供软件平台；
(4)数据分析模块接收到JSON数据，在Hadoop架构上进行Map操作与Reduce操作，判断数据是否异常；Map操作即，将进入Hadoop架构中的数据使用split命令分割成n份。
(5)若数据异常，则将异常数据通过Memcached通道缓存，并传输至应用模块进行预警，通知电力维护人员；否则，便将正常数据录入历史数据库中，构建数据模型，优化预警算法。
以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种基于大数据分析的无人值守变电站预警系统，其特征在于，包括：
数据采集模块，用于采集各类电力设施的实时状态数据并以JSON格式传递到数据分析模块；
数据分析模块，用于将数据采集模块采集的数据进行预处理和分析；
和应用模块，用于获取数据分析模块的数据并提供给电力维护人员，实时监察各设施的运营情况。
2.根据权利要求1所述的基于大数据分析的无人值守变电站预警系统，其特征在于，所述数据分析模块内设有Hadoop架构、Memcached通道和历史数据库。
3.根据权利要求1所述的基于大数据分析的无人值守变电站预警系统，其特征在于，所述应用模块内设有应用子系统，是利用PhoneGap框架开发的手机应用或者WEB。
4.根据权利要求3所述的基于大数据分析的无人值守变电站预警系统，其特征在于，所述应用子系统包括用户申报故障反馈模块、维保信息推送模块、短信推送模块、实时信息推送模块、预警信息推送模块和报表信息推送模块。
5.一种基于大数据分析的无人值守变电站预警方法，其特征在于，包括如下步骤：
(1)数据采集模块通过电力数据采集设备采集各类电力设施的实时状态数据并以JSON格式传递到数据分析模块；
(2)后台部署以MongoDB为数据库的服务器集群，为数据分析模块提供硬件平台；
(3)在服务器集群上部署Hadoop架构，为数据分析模块提供软件平台；
(4)数据分析模块接收到JSON数据，在Hadoop架构上进行Map操作与Reduce操作，判断数据是否异常；
(5)若数据异常，则将异常数据通过Memcached通道缓存，并传输至应用模块进行预警，通知电力维护人员；否则，便将正常数据录入历史数据库中，构建数据模型，优化预警算法。
6.根据权利要求5所述的基于大数据分析的无人值守变电站预警方法，其特征在于，步骤(4)中所述的Map操作即，将进入Hadoop架构中的数据使用split命令分割成n份。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610462290.0A CN105958652A (zh) | 2016-06-23 | 2016-06-23 | 基于大数据分析的无人值守变电站预警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610462290.0A CN105958652A (zh) | 2016-06-23 | 2016-06-23 | 基于大数据分析的无人值守变电站预警系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105958652A true CN105958652A (zh) | 2016-09-21 |
Family
ID=56904524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610462290.0A Pending CN105958652A (zh) | 2016-06-23 | 2016-06-23 | 基于大数据分析的无人值守变电站预警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105958652A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570613A (zh) * | 2016-10-12 | 2017-04-19 | 中国南方电网有限责任公司 | 一种基于状态监测的二次设备检修策略生成方法 |
| CN106571687A (zh) * | 2016-11-03 | 2017-04-19 | 合肥华义电气科技有限公司 | 一种变电站调控方法 |
| CN109067837A (zh) * | 2018-07-03 | 2018-12-21 | 沈阳电电科技有限公司 | 配电设备物联与信息采集平台 |
| CN109783201A (zh) * | 2017-11-13 | 2019-05-21 | 北京京东尚科信息技术有限公司 | 数据交换方法及其系统 |
| CN110571932A (zh) * | 2019-09-13 | 2019-12-13 | 国家电网有限公司 | 一种基于大数据的变电站设备运行状态预警装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426609A (zh) * | 2011-12-28 | 2012-04-25 | 厦门市美亚柏科信息股份有限公司 | 一种基于MapReduce编程架构的索引生成方法和装置 |
| CN102799622A (zh) * | 2012-06-19 | 2012-11-28 | 北京大学 | 基于MapReduce扩展框架的分布式SQL查询方法 |
| CN104468220A (zh) * | 2014-12-11 | 2015-03-25 | 汤亿则 | 电力通信网预警管控平台 |
| CN104699985A (zh) * | 2015-03-26 | 2015-06-10 | 西安电子科技大学 | 一种医疗大数据采集分析系统及方法 |
| CN105608187A (zh) * | 2015-12-23 | 2016-05-25 | 中国石油天然气股份有限公司 | 一种基于Hadoop的油气生产物联网大数据的处理方法及系统 |
-
2016
- 2016-06-23 CN CN201610462290.0A patent/CN105958652A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426609A (zh) * | 2011-12-28 | 2012-04-25 | 厦门市美亚柏科信息股份有限公司 | 一种基于MapReduce编程架构的索引生成方法和装置 |
| CN102799622A (zh) * | 2012-06-19 | 2012-11-28 | 北京大学 | 基于MapReduce扩展框架的分布式SQL查询方法 |
| CN104468220A (zh) * | 2014-12-11 | 2015-03-25 | 汤亿则 | 电力通信网预警管控平台 |
| CN104699985A (zh) * | 2015-03-26 | 2015-06-10 | 西安电子科技大学 | 一种医疗大数据采集分析系统及方法 |
| CN105608187A (zh) * | 2015-12-23 | 2016-05-25 | 中国石油天然气股份有限公司 | 一种基于Hadoop的油气生产物联网大数据的处理方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570613A (zh) * | 2016-10-12 | 2017-04-19 | 中国南方电网有限责任公司 | 一种基于状态监测的二次设备检修策略生成方法 |
| CN106571687A (zh) * | 2016-11-03 | 2017-04-19 | 合肥华义电气科技有限公司 | 一种变电站调控方法 |
| CN109783201A (zh) * | 2017-11-13 | 2019-05-21 | 北京京东尚科信息技术有限公司 | 数据交换方法及其系统 |
| CN109067837A (zh) * | 2018-07-03 | 2018-12-21 | 沈阳电电科技有限公司 | 配电设备物联与信息采集平台 |
| CN110571932A (zh) * | 2019-09-13 | 2019-12-13 | 国家电网有限公司 | 一种基于大数据的变电站设备运行状态预警装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111985561B (zh) | 一种智能电表的故障诊断方法、系统及电子装置 | |
| CN105958652A (zh) | 基于大数据分析的无人值守变电站预警系统及方法 | |
| CN104363106B (zh) | 一种基于大数据技术的电力信息通信故障预警分析方法 | |
| CN107133255B (zh) | 一种大电网全景安全防御方法和系统 | |
| CN105608144B (zh) | 一种基于多层模型迭代的大数据分析平台装置及方法 | |
| CN108564254A (zh) | 基于大数据的配电设备状态可视化平台 | |
| CN110674189B (zh) | 一种智能变电站二次状态监测与故障定位的方法 | |
| CN106324428A (zh) | 基于大数据的电力电缆监测系统及监测方法 | |
| CN105868075A (zh) | 一种实时监控分析大量日志的系统及方法 | |
| CN109501834A (zh) | 一种道岔转辙机故障预测方法及装置 | |
| CN202837985U (zh) | 基于gprs通信的污水处理设备远程在线监控系统 | |
| CN110233877A (zh) | 一种智能光伏发电故障综合预警系统 | |
| CN105967063B (zh) | 维保平台故障分析处理系统及方法 | |
| CN104468220A (zh) | 电力通信网预警管控平台 | |
| CN116308304B (zh) | 基于元学习概念漂移检测的新能源智慧运维方法及系统 | |
| CN115529595A (zh) | 一种日志数据的异常检测方法、装置、设备及介质 | |
| CN105373620A (zh) | 大规模电池储能电站海量电池数据异常检测方法及系统 | |
| CN110932405A (zh) | 基于大数据的变电设备智能监控分析系统 | |
| CN113723773A (zh) | 一种基于大数据分析的电能决策系统 | |
| CN115733762A (zh) | 具有大数据分析能力的监控系统 | |
| Jiang et al. | Real-time intelligent elevator monitoring and diagnosis: Case studies and solutions with applications using artificial intelligence | |
| CN113778064A (zh) | 一种智能设备远程检测诊断系统 | |
| CN116881958A (zh) | 电网大数据安全防护方法、系统、电子设备及存储介质 | |
| CN111768113A (zh) | 一种基于公有云的水利工程管理系统和方法 | |
| CN116094174A (zh) | 基于知识图谱的电网运维监控方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Qinghua Inventor after: Ma Huan Inventor before: Liu Qinghua |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160921 |