CN101354270B - 一种电力调度海量数据的存储方法 - Google Patents

Abstract

本发明涉及一种海量数据的存储方法，尤其是涉及一种电力调度海量数据的存储方法，其特征在于，对于采样周期大于30分钟所采集的数据采用纵向存储的存储方式；对于采样周期小于等于30分钟所采集的数据采用横向存储的存储方式。本发明通过进一步细分海量数据，并采用最合适存储结构，能够使数据库在存储有较长时间的电力调度历史数据之后，仍具有非常好的数据存取性能，消除了以往海量数据效率低下的问题。

Description

一种电力调度海量数据的存储方法

技术领域

本发明涉及一种海量数据的存储方法，尤其是涉及一种电力调度海量数据的存储方法。

背景技术

电力系统为确保电网安全稳定运行与及时监控管理，需要使用多种业务子系统提供足够的数据支持。为此，各业务系统运行期间均会产生大量能有效反映电网运行状况的监控数据与历史数据。同时，国内各电力企业在信息化领域发展迅速，各类业务子系统，尤其是二次应用系统数量不断增多，产生数据的种类与范围也不断扩展。

经过多年运行，各业务系统逐步积累有大量历史数据，形成丰富的数据信息资源，这些数据资源描述了各级电网长期的运行状况，蕴涵着电力系统运行的历史特性，可以从中总结、挖掘出丰富的经验及规则，值得长期保留。伴随集约化管理的深入和信息化建设的成熟，各电力企业越发重视对数据信息资源，尤其是对电力调度数据的保存与综合使用，并逐步开展了调度数据整合工作。

另一方面，长期保存后的电力调度数据量较大，采用传统方式存储后，将因存储表记录过多而使得数据存取访问性能大大降低，严重影响外部对各类电力调度数据的综合使用效果。

目前，各系统对这些海量数据的存储与处理方式主要分为以下几种：

一、按传统方式存储，但为了确保系统性能而限制数据保存年限。超过保存年限后的历史数据，将被永久性移出至其他备用空间，不再留存于当前运行系统，仅当需要时才临时导回。这种存储与处理方式通过减少海量数据存储时间来换取系统效率，不能满足长期存储并使用的要求。

二、按时间分表存储，将传统模式下的单表按日期拆分为很多张子表。这种存储处理方式可以保存所有历史数据，且单表存取访问性能较高，但拆分破坏了电力调度数据典型的时间连续性特点，使得对数据的组织与使用十分不便。

三、数据点式存储，将各个数据作为孤立的数据点看待，分配编号并依次按顺序存于一组传统结构的数据表的对应编号的数据域中。这种存储处理方式能较好的保存长期的历史数据，且不会在单表形成海量记录，通过数据点与数据表及数据域的映射关系来获取数据，但由于数据点之间彼此无任何关联，因此同样不便于获取有联系的多种批量数据。

其他各种电力调度海量数据的存储处理方法，也因各种原因均未能兼顾海量存储与使用方便的两方面要求。

发明内容

1、发明目的

本发明的目的在于提供一种有效的电力调度海量数据存储实现技术，通过进一步细分海量数据，采用对应的存储结构，使数据库在存储有较长时间的电力调度历史数据时，仍具有非常好的数据存取性能，且各类数据更容易组织与综合使用。

2、技术方案

本发明的存储实现技术首先基于电网拓扑模型建立面向对象的广域动态电网设备管理模型，此模型涵盖与海量数据有关的电网各级组织机构(如：省级电网、地市级电网等)、各种设备类型(如：发电厂、变电站、线路等)等，同时在数据库中建立对应的设备实例存储表，并按实际情况存入具体的各个组织机构与设备实例。

继而在此电网设备管理模型基础上，建立本电网的动态数据模型。对海量数据按照数据采样周期分类，形成：5分钟、15分钟、1小时、1日、1月、1年等多个不同的数据采样周期。同时划分出海量数据中各种数据种类(如：有功、无功、电量等)，按照数据种类与上述设备模型、数据采样周期的关系，建立各个数据类别(如：机组5分钟有功、母线15分钟电压、电厂每日发电量等)，并为各数据类别建立与相应数据存储表/域间的关联，并将此关联关系保存在数据库中，从而形成该电网的动态数据模型。

本发明的存储实现技术综合考虑数据存储性能与电力系统数据特性，对不同采样周期的数据使用不同的存储结构：对于1小时、1日、1月、1年等采样周期的数据使用纵向存储结构，对5分钟、10分钟、15分钟、30分钟等采样周期的数据使用对应的横向存储结构。每种存储结构内的数据记录均能体现各数据所关联的电网组织机构或设备实例、数据采样周期、数据时间等信息，从而将海量数据中原本各个孤立的数据个体，转变为信息含量丰富、多维度相关、非常便于组织的数据对象。

纵向存储结构包含有二个维度域及不定个数的数据域，二个维度域分别用于关联数据对应的设备实例及数据时刻，数据域则用于分别存放与当前设备实例、当前时刻相关的多个数据，该存储结构中每个记录可承载一个设备实例、一个时刻的多种数据，是一种较常见的数据存储结构。

横向存储结构包含有三个维度域及固定个数的数据域，三个维度域分别用于关联数据对应的设备实例、数据时刻及数据种类，数据域个数与该存储结构相适应的采样周期有关，该存储结构中每个记录可承载一个设备实例、一种数据在一天内各时刻的值。

采样周期为时、日、月、年的电力调度数据，由于周期跨度相对较大，多年历史数据对存取性能的影响有限。使用纵向存储结构存储，可以最大限度发挥数据库自身的统计功能优势。

采样周期为各分钟的电力调度数据，周期跨度小，数据量明显增长，多年历史数据对存取性能有显著影响。采用横向存储结构，可使记录总数平均降低至使用传统存储结构的记录数的1/20，从而极大提高数据库存取性能。

由于各种存储结构都包含设备维度和时间维度信息，因此也更容易从多个维度角度组织数据，获取批量或单个同类设备的时段或单时刻的多种数据也变得更加方便。

3、有益效果

本发明的存储实现技术采用电网设备管理模型和电网动态数据模型来划分与关联数据，能明显使各类电力调度数据更容易组织与综合使用，改变了以往只能按厂点取用、数据间较为孤立的状况。

同时，本发明通过进一步细分海量数据，并采用最合适存储结构，能够使数据库在存储有较长时间的电力调度历史数据之后，仍具有非常好的数据存取性能，消除了以往海量数据效率低下的问题。

附图说明

图1是发电机设备实例表；

图2是数据类别定义表；

图3是采用纵向存储结构的发电机5分钟数据表A；

图4是采用横向存储结构的发电机5分钟数据表B；

具体实施方式

以下将举一较佳实施例对本发明的存储技术作进一步描述。

本实施例为：对典型电力调度数据“发电机5分钟有功、无功值”的海量存储性能分析。

1、按照本发明的存储技术，首先建立广域动态设备管理模型，此处建立“发电机”设备类型、发电机设备实例表，存入各发电机记录，至少包括ID、名称，发电机个数按500个计，发电机ID分别为1、2、......、500，发电机名称分别为#1机、#2机、......、#500机，参见图1

2、对海量数据按照采样周期进行分类，得到1个采样周期：5分钟；

3、划分数据种类，得到2个数据种类：有功、无功；

4、建立数据类别，得到2个数据类别：发电机5分钟有功出力、发电机5分钟无功出力，数据类别ID分别为1、2，从而形成数据模型，参见图2

5、建立发电机5分钟数据表A，采用纵向存储结构，参见图3

6、建立发电机5分钟数据表B，采用横向存储结构，参见图4

7、存储8年的发电机5分钟历史数据；

由上述实施例的要求，可以推算出如下结果：

对于发电机5分钟数据表A：

8年总记录量＝500(个发电机记录)×288(5分钟点数/机/天)×365(天/年)×8(年)＝420480000≈4.2亿(条记录)

对于发电机5分钟数据表B：

8年总记录量＝500(个发电机记录)×2(数据类别/机/天)×365(天/年)×8(年)＝2920000＝292万(条记录)

分析结果：采用横向存储结构的B表，记录数明显少于采用纵向存储结构的A表，B表记录数仅为A表的7‰，使得B表的存取时间也明显小于A表，数据库对海量数据的存取性能得到极大改善。

上述实施例仅用于更好的阐述本发明的存储技术，并不对本发明有任何限制，任何基于本发明做出的修改和变化都属于本发明精神的范围内。

Claims (1)

1.一种电力调度海量数据的存储方法，其特征在于，对于采样周期大于30分钟所采集的数据采用纵向存储的存储方式，即纵向存储结构；对于采样周期小于等于30分钟所采集的数据采用横向存储的存储方式，即横向存储结构；

所述纵向存储结构包含有二个维度域及不定个数的数据域，二个维度域分别用于关联数据对应的设备实例及数据时刻，数据域则用于分别存放与当前设备实例、当前时刻相关的数据；

所述横向存储结构包含有三个维度域及固定个数的数据域，三个维度域分别用于关联数据对应的设备实例、数据时刻及数据种类。

Images