CN103116595B - 面向电网的scada历史数据分布式存储的实现方法 - Google Patents

面向电网的scada历史数据分布式存储的实现方法 Download PDF

Info

Publication number
CN103116595B
CN103116595B CN201210409905.5A CN201210409905A CN103116595B CN 103116595 B CN103116595 B CN 103116595B CN 201210409905 A CN201210409905 A CN 201210409905A CN 103116595 B CN103116595 B CN 103116595B
Authority
CN
China
Prior art keywords
data
distributed
implementation method
real
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210409905.5A
Other languages
English (en)
Other versions
CN103116595A (zh
Inventor
闫湖
李立新
狄方春
袁荣昌
戴娇
文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Institute of Information Engineering of CAS
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, Institute of Information Engineering of CAS filed Critical State Grid Corp of China SGCC
Priority to CN201210409905.5A priority Critical patent/CN103116595B/zh
Publication of CN103116595A publication Critical patent/CN103116595A/zh
Application granted granted Critical
Publication of CN103116595B publication Critical patent/CN103116595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种面向电网的SCADA历史数据分布式存储的实现方法，前置服务器实时采集电力数据，并将数据组装成报文，以消息的形式发放到总线上；各应用服务器读取各自订阅的消息报文，解析得到的数据放入实时库；实时库的数据不断被刷新，不同业务类型的数据以不同的采样频率批量存入开源分布式数据库。本发明采用海量scada历史数据的分布式存储，具有大数据的快速查询分析能力、支持多副本容错、支持分布式计算等优点，并且其还具有良好的扩展性。

Description

面向电网的SCADA历史数据分布式存储的实现方法
技术领域
本发明属于电力系统控制技术领域，具体涉及一种面向电网的SCADA历史数据分布式存储的实现方法。
背景技术
SCADA历史数据来自对SCADA应用实时数据点的采样，在电网逐渐连成一体的趋势下，其电网规模将越来越大，SCADA历史数据将以指数级增长从而达到海量，现有商用关系库将无法满足海量数据存储和高效访问需求。
发明内容
针对现有技术的不足，本发明提供一种面向电网的SCADA历史数据分布式存储的实现方法，支持海量scada历史数据的分布式存储和反向查询，并且具有良好的扩展性。
本发明提供的面向电网的SCADA历史数据分布式存储的实现方法，其改进之处在于，前置服务器实时采集电力数据，并将数据组装成报文，以消息的形式发放到总线上；各应用服务器读取各自订阅的消息报文，解析得到的数据放入实时库；实时库的数据不断被刷新，不同业务类型的数据以不同的采样频率批量存入开源分布式数据库。
其中，数据以不同的采样频率刷入开源分布式数据库时，根据频率不同，对应开源分布式数据库中的表结构不同。
其中，所述采样频率包括分钟级，其对应的表结构形式为：
同一地区的数据放在相邻行，数据按照键值对（Rowkey,value）形式存储；
数据表的行关键字为域号、日期和原id；
数据表的列族内容设置为hisdata；其中hisdata包括manalog data、manalogquality、code和name。
其中，所述采样频率包括秒级，其对应的表结构形式为：
同一地区的数据放在相邻行，数据按照键值对（Rowkey,value）形式存储；
数据表的行关键字为域号、日期和原id；
数据表的列族内容设置为value。
其中，所述批量存储数据，是通过基于开源分布式数据库接口重新封装的批量写接口实现的。
其中，所述反向查询是通过基于开源分布式数据库接口重新封装的反向按地区、按时间查询接口实现的。
与现有技术比，本发明的有益效果为：
1.本发明实现了不同地区、不同日期scada历史数据统一存储；
2.本发明支持海量scada历史数据的分布式存储；
3.本发明大数据的快速查询分析能力；
4.本发明开源分布式数据库底层是分布式文件系统，数据以块为单位，按一定备份数目存储在不同机架上，实现了支持多副本容错功能。
5.本发明支持分布式计算；
6.本发明具有良好的扩展性。
附图说明
图1为本发明提供的Hbase表逻辑视图。
图2为本发明提供的SCADA历史数据存储业务流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
面向大电网的SCADA历史数据分布式存储采用一种分布式的、面向列、高可靠性、高性能、可伸缩、版本化的开源数据库Hbase来存储SCADA历史采样数据。SCADA历史采样数据特征为数据量大、带时标，这和HBase分布式存储、带时间戳不谋而合。HBase表结构与关系库表结构不同，逻辑视图如图1所示，虽然Hbase仍以表的形式存储数据，但列划分为若干个列族(column family)，表的索引是行关键字，列关键字和时间戳。此外，HBase是不支持SQL语言的，也无批量写和查询接口。因此，把SCADA历史采样数据写入分布式数据库HBase以及反向查询必须重新编写接口。
本实施例的面向电网的SCADA历史数据分布式存储的实现方法，是指前置服务器实时采集电力数据，并将数据组装成报文，以消息的形式发放到总线上；各应用服务器读取各自订阅的消息报文，解析得到的数据放入实时库；实时库的数据不断被刷新，不同业务类型的数据以不同的采样频率批量存入开源分布式数据库，如图2所示。
数据以不同的采样频率刷入开源分布式数据库时，根据频率不同，对应开源分布式数据库中的表结构不同。其中：采样频率包括分钟级和秒级；
分钟级采样
在原关系库中，分钟级采样每天会产生三张表：遥测表、遥测质量表、遥信表。每个采样点对应历史库的一行数据，该行数据含1442列（24×60=1440）。
表1分钟级采样表格模式示意-关系库
说明：
Id：行键字，标识了某个数据点，如站点1_电压表示站点1的电压值。
data_hh_mm：表示某个数据点当天hh：mm时刻的数值。
name:厂站设备中文名,name为其英文名。
每个数据点当天的历史数据（分钟级采样）对应表2-2的一行，如站点1的电压值当天的历史值为V11_0，V11_1，V11_2，…V11_1439。
在分布式数据库中，采用大数据表方式整合不同日期，不同地区的同类信息。同一地区的数据放在相邻行，数据按照键值对（Rowkey,value）形式存储，hbase在行扩展性能优于列扩展，故大数据表的行关键字=域号+日期+原id。
分钟级采样数据用Hbase存储后，可以将遥测表，遥测质量表两张表合并成一张，而且不是一天存储一张，可以是一年或若干年存储一张，表设计如下：
表2分钟级采样表设计-hbase
秒级采样
与分钟级采样不同，秒级采样有1秒存储周期的表和5秒存储周期的表。在关系库存储中，每个采样点对应历史库的1440行数据，即每分钟对应一行。1秒级采样的每行数据包含61列，5秒级采样的每行数据包含13列。
（1+60）*1440的行结构
表31秒级采样对应历史库表格模式示意
（1+12）*1440的行结构
表45秒级采样对应历史库表格模式示意
用hbase存储后，1秒级表设计如下：
表51秒级采样表设计-hbase
用hbase存储后，5秒级表设计如下：
表65秒级采样表设计-hbase
在数据以不同的采样频率批量存入开源分布式数据库时，采样程序是根据采样周期将采样数据批量存入Hbase库中的，但Hbase没有这样的接口，因此，必须根据Hbase自带API接口，在此基础上封装批量写入接口。此外，数据存入Hbase后，必须提供反向查询接口，如按地区、按日期查询数据的接口，以支持不同服务，如历史曲线服务等。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.面向电网的SCADA历史数据分布式存储的实现方法，其特征在于，前置服务器实时采集电力数据，并将数据组装成报文，以消息的形式发放到总线上；各应用服务器读取各自订阅的消息报文，解析得到的数据放入实时库；实时库的数据不断被刷新，不同业务类型的数据以不同的采样频率批量存入开源分布式数据库；
数据以不同的采样频率刷入开源分布式数据库时，根据频率不同，对应开源分布式数据库中的表结构不同；
所述采样频率包括分钟级，其对应的表结构形式为：
同一地区的数据放在相邻行，数据按照键值对(Rowkey,value)形式存储；
数据表的行关键字为域号、日期和原id；
数据表的列族内容设置为hisdata；其中hisdata包括manalog data、manalogquality、code和name。
2.如权利要求1所述的实现方法，其特征在于，所述采样频率包括秒级，其对应的表结构形式为：
同一地区的数据放在相邻行，数据按照键值对(Rowkey,value)形式存储；数据表的行关键字为域号、日期和原id；
数据表的列族内容设置为value。
3.如权利要求1所述的实现方法，其特征在于，提供开源分布式数据库不同频率批量写接口，用于不同频率采样数据批量存储于分布式数据库中。
4.如权利要求1所述的实现方法，其特征在于，提供开源分布式数据库反向按地区、按时间查询接口，用于支持不同服务。
CN201210409905.5A 2012-10-24 2012-10-24 面向电网的scada历史数据分布式存储的实现方法 Active CN103116595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210409905.5A CN103116595B (zh) 2012-10-24 2012-10-24 面向电网的scada历史数据分布式存储的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210409905.5A CN103116595B (zh) 2012-10-24 2012-10-24 面向电网的scada历史数据分布式存储的实现方法

Publications (2)

Publication Number Publication Date
CN103116595A CN103116595A (zh) 2013-05-22
CN103116595B true CN103116595B (zh) 2016-08-10

Family

ID=48414971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210409905.5A Active CN103116595B (zh) 2012-10-24 2012-10-24 面向电网的scada历史数据分布式存储的实现方法

Country Status (1)

Country Link
CN (1) CN103116595B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279566A (zh) * 2013-06-18 2013-09-04 国家电网公司 电网规划海量数据处理方法
CN105119951B (zh) * 2014-01-16 2016-08-17 国网山东省电力公司青岛供电公司 一种数据分布服务通信方法
CN104239447A (zh) * 2014-09-01 2014-12-24 江苏瑞中数据股份有限公司 电网时序大数据存储方法
CN106445991B (zh) * 2016-06-30 2019-03-08 中国石化销售有限公司 加气站scada系统海量数据处理方法
CN107562790B (zh) * 2017-07-31 2020-05-01 北京北信源软件股份有限公司 一种实现数据处理批量入库的方法和系统
CN108833494A (zh) * 2018-05-24 2018-11-16 国家电网有限公司 一种分布式数据存储方法和系统
CN108844622B (zh) * 2018-07-11 2019-08-06 中国科学院地质与地球物理研究所 一种多采样率振动数据记录方法及装置
CN109492052B (zh) * 2018-10-23 2021-10-12 中冶南方（武汉）自动化有限公司 一种scada分布式历史数据存储方法及系统
CN110502517B (zh) * 2019-08-23 2022-01-28 中国南方电网有限责任公司 一种用于存储电网实时运行数据的分布式存储系统
CN111913933B (zh) * 2020-06-28 2022-10-14 国电南瑞科技股份有限公司 基于统一支撑平台的电网历史数据管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214228A (zh) * 2011-06-24 2011-10-12 国电南瑞科技股份有限公司 大电网分布式实时数据库系统及其数据管理方法
CN102215253A (zh) * 2011-05-18 2011-10-12 中国电力科学研究院 一种电力调度实时监控系统数据的分层交换与控制方法
CN102682051A (zh) * 2011-12-09 2012-09-19 江苏省电力公司苏州供电公司 时间序列数据库与智能电网调度技术支持系统的集成方法
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
CN102708187A (zh) * 2012-05-14 2012-10-03 成都信息工程学院 基于Hbase数据库的倒排索引混合压缩及解压方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102215253A (zh) * 2011-05-18 2011-10-12 中国电力科学研究院 一种电力调度实时监控系统数据的分层交换与控制方法
CN102214228A (zh) * 2011-06-24 2011-10-12 国电南瑞科技股份有限公司 大电网分布式实时数据库系统及其数据管理方法
CN102682051A (zh) * 2011-12-09 2012-09-19 江苏省电力公司苏州供电公司 时间序列数据库与智能电网调度技术支持系统的集成方法
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学（保定） 一种状态监测数据的分布式存储与并行挖掘方法
CN102708187A (zh) * 2012-05-14 2012-10-03 成都信息工程学院 基于Hbase数据库的倒排索引混合压缩及解压方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于云计算的智能电网状态监测数据的处理;白红伟，马志伟，宋亚奇;《华东电力》;20110924(第9期);全文 *

Also Published As

Publication number Publication date
CN103116595A (zh) 2013-05-22

Similar Documents

Publication Publication Date Title
CN103116595B (zh) 面向电网的scada历史数据分布式存储的实现方法
CN107544984B (zh) 一种数据处理的方法和装置
Poorthuis et al. Making big data small: strategies to expand urban and geographical research using social media
CN109189764A (zh) 一种基于Hive的高校数据仓库分层设计方法
CN103678339B (zh) 数据回流、关系型数据库中的数据访问方法及系统
CN104216989A (zh) 一种基于HBase的输电线路综合数据存储方法
CN102682051B (zh) 时间序列数据库与智能电网调度技术支持系统的集成方法
Prasad et al. Smart meter data analytics using OpenTSDB and Hadoop
CN110019072B (zh) 基于实时数据的ab实验方法及系统
CN110647512A (zh) 一种数据存储和分析方法、装置、设备和可读介质
CN103702053A (zh) 录像存储和检索方法及系统、监控系统
CN105389367A (zh) 基于Mongo数据库的电网图形多时态多级分布式存储方法
CN107798062A (zh) 一种变电站历史数据统一存储方法和系统
CN112116790B (zh) 一种基于流式框架的cors预警监控系统
CN105574074A (zh) 一种基于智能电网wams的时序大数据存储方法
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN107341198B (zh) 一种基于主题实例的电力海量数据存储和查询方法
CN110895591A (zh) 一种定位自提点的方法和装置
CN116680315A (zh) 数据离线处理方法、装置、电子设备及存储介质
CN109542960B (zh) 一种数据分析域系统
CN110825744A (zh) 一种基于集群环境的空气质量监测大数据分区存储方法
Zhou et al. Analysis of the interannual variations and influencing factors of wind speed anomalies over the Beijing–Tianjin–Hebei region
CN116881277A (zh) 数据聚合方法、设备及计算机可读介质
CN112905732A (zh) 电表抄读成功率的获取方法、装置
Li et al. Panoramic synchronous measurement system for wide-area power system based on the cloud computing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant