CN105761164A - 一种基于Hadoop的电力系统事故追忆的方法 - Google Patents
一种基于Hadoop的电力系统事故追忆的方法 Download PDFInfo
- Publication number
- CN105761164A CN105761164A CN201610103086.XA CN201610103086A CN105761164A CN 105761164 A CN105761164 A CN 105761164A CN 201610103086 A CN201610103086 A CN 201610103086A CN 105761164 A CN105761164 A CN 105761164A
- Authority
- CN
- China
- Prior art keywords
- accident
- hadoop
- data
- node
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012552 review Methods 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims description 2
- 238000012913 prioritisation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Supply And Distribution Of Alternating Current (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于Hadoop的电力系统事故追忆的方法，①在调度自动化系统硬件平台部署Hadoop分布式文件系统，为用户提供了系统底层细节透明的分布式基础架构。②事故记录服务根据事故记录配置定义，把事故前后所有的本机缓冲文件，写入到Hadoop的HDFS中，写入成功后，清除本机缓冲文件，同时把事故信息和文件信息写入到调度自动化的数据库软件中，并且以告警的方式传送给运行调度人员。③采用Hadoop分布式文件系统，事故记录服务部署任何需要进行事故记录的节点。④运行调度人员根据事故追忆信息列表，来反演事故。Hadoop客户端根据以上运行参数获取从Hadoop中获取事故文件，直接加载进行反演。同时运行调度人员根据需要把事故相关文件进行本地整理保存。
Description
技术领域
本发明涉及电力系统调度自动化领域，特别是一种基于Hadoop的电力系统事故追忆的方法。
背景技术
事故追忆是电力调度自动化系统中的重要应用模块。主要包括事故记录和事故反演两大功能。事故记录是根据各类触发事件如：事故跳闸、保护动作、遥测差异等信息，记录事故前和事故后电力系统发生的所有事件和系统运行的环境，形成事故记录文件。运行分析人员通过事故反演，来分析事故的原因，调整运行方式，恢复电网运行。随着电网规模的不断发展，目前投运事故追忆应用出现以下不足：
（1）事故追忆主要采用碎片化文件存储。事故追忆服务器存储的文件主要包括数据库断面文件、前置机采集的实时数据文件、模型文件、画面文件、告警文件、历史数据文件等相关文件，文件数量多，单个文件尺寸大，容易出现文件故障，无法进行事故的反演。
（2）由于事故记录文件存储在故追忆服务器，需要进行事故反演的工作站，必须从服务器获取文件，存储在本地，才能进行事故的反演，导致事故反演需要长时间的准备工作，反演效率低。
（3）灵活性差。事故记录只能部署在一台服务器，事故反演不能多机同时反演。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于Hadoop的电力系统事故追忆的方法，本发明采用Hadoop分布式文件系统，数据可以形成多个副本，数据丢失或错误时快速恢复，数据读取速度快；数据存储可伸缩，事故记录服务部署灵活方便，事故反演服务部署灵活方便。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种基于Hadoop的电力系统事故追忆的方法，包括以下步骤：
步骤一、在调度自动化系统硬件平台部署Hadoop分布式文件系统，Hadoop为用户提供了系统底层细节透明的分布式基础架构；分布式基础架构包括Hadoop集群和Hadoop客户端，Hadoop集群包括Namenode节点、备用Namenode节点和多个用来管理存储数据的Datanodes节点，所述Namenode节点作为主服务器，所述备用Namenode节点作为备用服务器，Namenode节点是用来管理文件系统的命名空间和客户端对文件系统的访问操作，Hadoop客户端通过RPC协议读写数据；
步骤二、事故记录服务全时记录数据，记录的数据类型包括前置机数据、通讯服务器数据、SCADA数据、告警数据、数据库模式、图形画面、历史数据、曲线报表、操作记录；在Hadoop客户端，对以上数据类型进行本地缓存，当缓存尺寸达到配置限值时，根据不同的数据类型，生成以时间戳和文件类型扩展名的本地文件；当触发事故追忆的条件满足后，触发条件包括：事故跳闸、保护动作、遥测差异、数据质量变化、人工启动以及逻辑判断；事故记录服务根据事故记录配置定义，把事故前后所有的本机缓冲文件，写入到Hadoop的HDFS中，写入成功后，清除本机缓冲文件，同时把事故信息和文件信息写入到调度自动化的数据库软件中，并且以告警的方式传送给运行调度人员；
步骤三、采用Hadoop分布式文件系统，事故记录服务部署任何需要进行事故记录的节点；
步骤四、事故记录文件的名称规则为：触发条件+时间为文件名，数据类型为文件扩展名；
步骤五、事故反演服务：运行调度人员根据事故追忆信息列表，来反演事故；运行人员配置反演的运行参数，Hadoop客户端根据运行参数从Hadoop中获取事故文件，直接加载进行反演；同时运行调度人员根据需要把事故相关文件进行本地整理保存。
作为本发明所述的一种基于Hadoop的电力系统事故追忆的方法进一步优化方案，Namenode节点、Datanodes节点是根据业务需要部署在调度自动化系统的服务器和工作站。
作为本发明所述的一种基于Hadoop的电力系统事故追忆的方法进一步优化方案，所述Hadoop客户端，根据数据采集资源的需求和事故反演的需求，部署在Namenode节点和Datanodes节点。
作为本发明所述的一种基于Hadoop的电力系统事故追忆的方法进一步优化方案，步骤四中采用SCADA数据作为文件扩展名。
作为本发明所述的一种基于Hadoop的电力系统事故追忆的方法进一步优化方案，所述步骤五中的运行参数包括速度、数据类型、显内容。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
（1）记录文件可靠、高效；采用Hadoop分布式文件系统，数据可以形成多个副本，数据丢失或错误时快速恢复，数据读取速度快；
（2）数据存储可伸缩，根据事故文件规模可以动态增加数据节点；
（3）事故记录服务部署灵活方便；可根据应用需求部署在任意节点，不同节点记录不同的数据类型；
（4）事故反演服务部署灵活方便；可根据应用需求部署在任意节点，并且可以多节点同时反演，根据反演配置进行反演内容的选择。
附图说明
图1是本发明的系统架构图。
图2是事故记录流程图。
图3是事故反演流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示是本系统架构图，具体如下：
（1）、建立Hadoop集群。HDFS用于存储超大文件。一个HDFS是由一个名字节点(Namenode)作为主节点、一个备用名字节点(Namenode)作为副本、多个数据节点(Datanodes)组成。Namenode是中心服务器，负责管理文件系统的名字空间以及客户端对文件的访问，管理HDFS元数据，同时保证HDFS中元数据的安全。Datanodes用于存储块并提供访问接口。
（2）、Namenode、Datanodes，充分利用现有计算机硬件资源，根据业务需要部署在调度自动化系统的服务器和工作站。
（3）、Hadoop客户端，根据数据采集资源的需求和事故反演的需求，部署在Namenode和Datanodes，同一节点可以运行多个数据采集客户端。
如图2是事故记录流程图，具体如下：
（1）、事故记录服务加载事故触发条件。主要包括：事故跳闸、保护动作、遥测差异、数据质量变化、人工启动以及逻辑判断等。
（2）、根据数据采集的配置，全时记录数据，根据触发名称、时间和数据类型，形成文件名称，生成本机缓存文件。
（3）、当触发条件发生后，触发条件判断逻辑，根据实际事故记录得配置信息，把保存在本机的缓存文件，通过Hadoop客户端写入到HDFS文件系统中。
（4）、当所有数据正确写入到HDFS文件系统中，事故记录信息写入调度自动化系统数据库，同时发送告警提示信息，通知运行人员。
（5）、重复运行（2）至（4）。
如图3是事故反演流程图，具体如下：
（1）、读取事故记录信息。
（2）、加载事故反演配置信息。
（3）、根据配置筛选反演内容。
（4）、根据筛选的反演内容，通过Hadoop客户端读取数据文件。包括：前置数据、SCADA数据、历史书、画面数据、模式数据等等。
（5）、运行人员通过人工操作，进行图形反演的展示和分析。主要包括：前置机报文、厂站SCADA接线图、事故曲线、事故报表、事故告警等。
（6）、根据分析结果，恢复正确的运行方式。运行人员根据需要把事故和分析报告本地保存。
（7）、反演结束。
以上所述的具体实施方案，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，所应理解的是，以上所述仅为本发明的具体实施方案而已，并非用以限定本发明的范围，任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。
Claims (5)
1.一种基于Hadoop的电力系统事故追忆的方法，其特征在于，包括以下步骤：
步骤一、在调度自动化系统硬件平台部署Hadoop分布式文件系统，Hadoop为用户提供了系统底层细节透明的分布式基础架构；分布式基础架构包括Hadoop集群和Hadoop客户端，Hadoop集群包括Namenode节点、备用Namenode节点和多个用来管理存储数据的Datanodes节点，所述Namenode节点作为主服务器，所述备用Namenode节点作为备用服务器，Namenode节点是用来管理文件系统的命名空间和客户端对文件系统的访问操作，Hadoop客户端通过RPC协议读写数据；
步骤二、事故记录服务全时记录数据，记录的数据类型包括前置机数据、通讯服务器数据、SCADA数据、告警数据、数据库模式、图形画面、历史数据、曲线报表、操作记录；在Hadoop客户端，对以上数据类型进行本地缓存，当缓存尺寸达到配置限值时，根据不同的数据类型，生成以时间戳和文件类型扩展名的本地文件；当触发事故追忆的条件满足后，触发条件包括：事故跳闸、保护动作、遥测差异、数据质量变化、人工启动以及逻辑判断；事故记录服务根据事故记录配置定义，把事故前后所有的本机缓冲文件，写入到Hadoop的HDFS中，写入成功后，清除本机缓冲文件，同时把事故信息和文件信息写入到调度自动化的数据库软件中，并且以告警的方式传送给运行调度人员；
步骤三、采用Hadoop分布式文件系统，事故记录服务部署任何需要进行事故记录的节点；
步骤四、事故记录文件的名称规则为：触发条件+时间为文件名，数据类型为文件扩展名；
步骤五、事故反演服务：运行调度人员根据事故追忆信息列表，来反演事故；运行人员配置反演的运行参数，Hadoop客户端根据运行参数从Hadoop中获取事故文件，直接加载进行反演；同时运行调度人员根据需要把事故相关文件进行本地整理保存。
2.根据权利要求1所述的一种基于Hadoop的电力系统事故追忆的方法，其特征在于，Namenode节点、Datanodes节点是根据业务需要部署在调度自动化系统的服务器和工作站。
3.根据权利要求1所述的一种基于Hadoop的电力系统事故追忆的方法，其特征在于，所述Hadoop客户端，根据数据采集资源的需求和事故反演的需求，部署在Namenode节点和Datanodes节点。
4.根据权利要求1所述的一种基于Hadoop的电力系统事故追忆的方法，其特征在于，步骤四中采用SCADA数据作为文件扩展名。
5.根据权利要求1所述的一种基于Hadoop的电力系统事故追忆的方法，其特征在于，所述步骤五中的运行参数包括速度、数据类型、显内容。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610103086.XA CN105761164A (zh) | 2016-02-25 | 2016-02-25 | 一种基于Hadoop的电力系统事故追忆的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610103086.XA CN105761164A (zh) | 2016-02-25 | 2016-02-25 | 一种基于Hadoop的电力系统事故追忆的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105761164A true CN105761164A (zh) | 2016-07-13 |
Family
ID=56331227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610103086.XA Pending CN105761164A (zh) | 2016-02-25 | 2016-02-25 | 一种基于Hadoop的电力系统事故追忆的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105761164A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451292A (zh) * | 2017-08-16 | 2017-12-08 | 北京京东尚科信息技术有限公司 | 线上场景特征数据存储方法、系统和数据抽取系统 |
| CN110769074A (zh) * | 2019-11-04 | 2020-02-07 | 南京南瑞继保电气有限公司 | 一种新能源集控系统数据断点续传方法 |
| CN111026792A (zh) * | 2019-11-04 | 2020-04-17 | 南京四方亿能电力自动化有限公司 | 一种消息驱动的关键过程全息追溯方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101588067A (zh) * | 2009-07-10 | 2009-11-25 | 国网电力科学研究院 | 一种电力系统安全事故追忆回放方法 |
| CN103778501A (zh) * | 2013-11-05 | 2014-05-07 | 国电南瑞科技股份有限公司 | 电力调度自动化系统事故反演系统及事故反演方法 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
-
2016
- 2016-02-25 CN CN201610103086.XA patent/CN105761164A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101588067A (zh) * | 2009-07-10 | 2009-11-25 | 国网电力科学研究院 | 一种电力系统安全事故追忆回放方法 |
| CN103778501A (zh) * | 2013-11-05 | 2014-05-07 | 国电南瑞科技股份有限公司 | 电力调度自动化系统事故反演系统及事故反演方法 |
| CN104820670A (zh) * | 2015-03-13 | 2015-08-05 | 国家电网公司 | 一种电力信息大数据的采集和存储方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451292A (zh) * | 2017-08-16 | 2017-12-08 | 北京京东尚科信息技术有限公司 | 线上场景特征数据存储方法、系统和数据抽取系统 |
| CN110769074A (zh) * | 2019-11-04 | 2020-02-07 | 南京南瑞继保电气有限公司 | 一种新能源集控系统数据断点续传方法 |
| CN111026792A (zh) * | 2019-11-04 | 2020-04-17 | 南京四方亿能电力自动化有限公司 | 一种消息驱动的关键过程全息追溯方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8706697B2 (en) | Data retention component and framework | |
| CN106992876A (zh) | 云平台日志管理方法及系统 | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN109308329A (zh) | 一种基于云平台的日志收集方法和装置 | |
| US11494417B2 (en) | Automated email classification in an information management system | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN107800808A (zh) | 一种基于Hadoop架构的数据存储系统 | |
| CN113179173B (zh) | 一种用于高速公路系统的运维监控系统 | |
| CN110837423A (zh) | 一种自动导引运输车数据采集的方法和装置 | |
| CN111427964B (zh) | 一种面向运行时间戳的工业云数据存储模型 | |
| CN102281312B (zh) | 一种数据加载方法、系统和数据处理方法、系统 | |
| CN105761164A (zh) | 一种基于Hadoop的电力系统事故追忆的方法 | |
| CN110598051A (zh) | 一种电力行业监控系统、方法及装置 | |
| CN103345486B (zh) | 应用于远程浏览环境下客户端获取和展示图形文件的方法 | |
| CN107491558B (zh) | 元数据更新方法及装置 | |
| CN113378540A (zh) | 一种飞机的飞行记录系统 | |
| CN113486095A (zh) | 一种民航空管跨网安全数据交换管理平台 | |
| US20230420083A1 (en) | Method and apparatus for acquiring gene information of proprietary cloud container cluster | |
| CN111240936A (zh) | 一种数据完整性校验的方法及设备 | |
| CN110311817B (zh) | 用于Kubernetes集群的容器日志处理系统 | |
| CN116450620B (zh) | 面向多源多域时空基准数据的数据库设计方法及系统 | |
| CN112433888A (zh) | 数据处理方法及装置、存储介质和电子设备 | |
| CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
| Chen et al. | Big data storage architecture design in cloud computing | |
| Ma | Research and implementation of distributed storage system based on big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160713 |