CN109726205A - 一种电力系统安全稳定分析数据存储系统及存储方法 - Google Patents

Abstract

本发明公开了一种电力系统安全稳定分析数据存储系统及存储方法，存储系统包括数据存储模块、存储管理模块和数据读服务模块，所述数据存储模块包括多个存储单元，用于分类存储电力系统安全稳定分析数据；所述存储管理模块用于根据电力系统安全稳定分析数据的访问频度对所述数据存储模块中存储单元的数据进行优化调度；还用于得到所述数据读服务模块发送的数据访问请求指向的所述数据存储模块中的存储单元；所述数据读服务模块用于接收数据访问请求，从所述数据存储模块的存储单元中获取请求数据。本发明实现电力系统安全稳定评估分析数据的高效存储，解决电力系统安全稳定评估分析数据访问无法满足应用需求的技术问题。

Description

一种电力系统安全稳定分析数据存储系统及存储方法

技术领域

本发明属于调度自动化系统中电力系统安全稳定评估技术领域，具体涉及一种电力系统安全稳定分析数据存储系统及存储方法。

背景技术

信息和能源始终是世界关注的两大焦点话题。随着电力系统智能化、信息化、集成化程度的不断加深和提高，由此产生的大量数据为电力系统的发展带来了新的挑战和机遇。在电力系统的整个生产过程中，包括发、输、变、配、用、调度、协调等各个环节都伴随着各种各样的信息流。电力系统安全稳定分析在实际运行中会产生种类繁多、数量巨大的各类数据，包括线路自身的属性信息、各种状态监测数据、投运前离线实验数据、电力系统运行数据、地理信息数据、公共安全信息数据、线路自身的运维记录数据等结构化和非结构化数据。同时，随着测量采集点越来越多，电力系统运行和设备检/监测产生的数据量呈指数增长。仅仅依靠传统方法，通过关系型数据库(RDBMS)存储电力系统安全稳定评估分析历史数据存在很多问题，包括：数据体量大，量级可达到TB或PB级，关系型数据库(RDBMS)处理困难；进行数据访问时数据响应速度受到关系型数据库的制约，读取及写入时间长，已经难以满足数据访问的需求，影响数据存储以及处理效率；非结构化数据的处理水平低，难以实现数据的合理利用，造成数据浪费；数据处理的可扩展性差。

发明内容

为解决上述问题，本发明提出一种电力系统安全稳定分析数据存储系统及存储方法，实现电力系统安全稳定评估分析数据的高效存储，解决电力系统安全稳定评估分析数据访问无法满足应用需求的技术问题。

本发明采用如下技术方案，一种电力系统安全稳定分析数据存储系统，包括：数据存储模块、存储管理模块和数据读服务模块，其中，

所述数据存储模块包括多个存储单元，用于分类存储电力系统安全稳定分析数据；

所述存储管理模块用于根据电力系统安全稳定分析数据的访问频度对所述数据存储模块中存储单元的数据进行优化调度；还用于得到所述数据读服务模块发送的数据访问请求指向的所述数据存储模块中的存储单元；

所述数据读服务模块用于接收数据访问请求，从所述数据存储模块的存储单元中获取请求数据。

优选地，还包括数据写服务模块，用于采集电力系统安全稳定分析数据，并根据数据类型分类写入所述数据存储模块相应的存储单元中。

优选地，所述数据存储模块包括分布式文件系统HDFS存储单元、分布式数据库HBase存储单元、关系数据库MySQL存储单元和内存数据库Redis存储单元，其中：

所述分布式文件系统HDFS存储单元，用于存储非结构化数据，按照数据分类合并压缩非结构化数据进行存储，同时在关系数据库MySQL存储单元中对每类非结构化数据建立数据索引表，每类非结构化数据对应一个数据索引表，每个非结构化数据文件在对应的数据索引表中对应存储一条索引记录；

所述分布式数据库HBase存储单元，用于存储结构化海量数据，每类数据分别对应一个HBase数据表；

所述关系数据库MySQL存储单元，用于存储结构化静态数据以及每类存储在分布式文件系统HDFS存储单元内的非结构化数据的数据索引表；

所述内存数据库Redis存储单元，用于响应所述存储管理模块优化调度存储相应结构化数据。

优选地，所述存储管理模块包括结构化数据调度单元、非结构化数据调度单元和数据访问控制单元，其中：

所述结构化数据调度单元用于结构化数据的优化存储调度，具体为统计设定时间段内结构化数据的访问频度并与预设阈值比较，基于比较结果将结构化数据划分为结构化高频访问数据和结构化低频访问数据；在内存数据库Redis存储单元中存储结构化高频访问数据副本，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表；将结构化低频访问数据副本移出内存数据库Redis存储单元，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，所述结构化高频访问数据管理表用于存储结构化高频访问数据的索引信息；

所述非结构化数据调度单元用于非结构化数据的优化存储调度，具体为统计设定时间段内非结构化数据的访问频度并与预设阈值比较，基于比较结果将非结构化数据划分为非结构化高频访问数据和非结构化低频访问数据；对于非结构化高频访问数据，从分布式文件系统HDFS存储单元存储的数据文件结构中解压并分离出非结构化高频访问数据的文件副本，独立存储在HDFS数据节点上，分布式文件系统HDFS存储单元存储的数据文件结构保持不变，并更新存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，同时更新MySQL存储单元对应的数据索引表；对于非结构化低频访问数据，删除独立存储在HDFS数据节点上的解压出的文件副本，更新存储在内存数据库Redis存储单元中的非结构化高频数据管理表，同时更新MySQL存储单元对应的数据索引表；所述非结构化高频访问数据管理表用于存储非结构化高频访问数据的索引信息。

所述数据访问控制单元用于接收数据读服务模块的数据访问请求，判断数据请求类型，若请求数据是结构化数据，则先查找存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，判断是否为结构化高频访问数据，若为结构化高频访问数据，则将访问请求指向内存数据库Redis存储单元，若为结构化低频数据，则根据数据类型将访问请求指向分布式数据库HBase存储单元或关系数据库MySQL存储单元；若请求数据是非结构化数据，则先查找存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，判断是否为非结构化高频访问数据，若为非结构化高频访问数据，则基于非结构化高频访问数据管理表的索引信息得到存储位置；若不是非结构化高频访问数据，则在关系数据库MySQL存储单元的数据索引表中找到请求数据的索引记录，根据索引记录得到数据指向的存储位置。

优选地，所述存储管理模块还包括数据转换映射单元，用于将最新写入所述数据存储模块的预设类别的非结构化数据转换为结构化数据并存储到内存数据库Redis存储单元，覆盖已存储的预设类别的非结构化数据转换的到的结构化数据，在数据控制访问单元中将所述预设类别的非结构化数据的数据访问请求指向内存数据库Redis存储单元。

一种电力系统安全稳定分析数据存储方法，包括以下步骤：

1)数据存储模块在多个存储单元中分类存储电力系统安全稳定分析数据；

2)存储管理模块根据电力系统安全稳定分析数据的访问频度对所述数据存储模块中存储单元的数据进行优化调度；

3)数据读服务模块接收数据访问请求，发送至存储管理模块，所述存储管理模块得到所述数据读服务模块发送的数据访问请求指向的所述数据存储模块中的存储单元，数据读服务模块从所述数据存储模块的存储单元中获取请求数据。

优选地，还包括数据写服务模块采集电力系统安全稳定分析数据，并分类写入所述数据存储模块相应的存储单元中。

优选地，所述数据存储模块包括分布式文件系统HDFS存储单元、分布式数据库HBase存储单元、关系数据库MySQL存储单元和内存数据库Redis存储单元，其中：

所述分布式文件系统HDFS存储单元，用于存储非结构化数据，按照数据分类合并压缩非结构化数据进行存储，同时在关系数据库MySQL存储单元中对每类非结构化数据建立数据索引表，每类非结构化数据对应一个数据索引表，每个非结构化数据文件在对应的数据索引表中对应存储一条索引记录；

所述分布式数据库HBase存储单元，用于存储结构化海量数据，每类数据分别对应一个HBase数据表；

所述关系数据库MySQL存储单元，用于存储结构化静态数据以及每类存储在分布式文件系统HDFS存储单元内的非结构化数据的数据索引表；

所述内存数据库Redis存储单元，用于响应所述存储管理模块优化调度存储相应结构化数据。

优选地，所述所述存储管理模块包括结构化数据调度单元、非结构化数据调度单元和数据访问控制单元，其中：

所述结构化数据调度单元用于结构化数据的优化存储调度，具体为统计设定时间段内结构化数据的访问频度并与预设阈值比较，基于比较结果将结构化数据划分为结构化高频访问数据和结构化低频访问数据；在内存数据库Redis存储单元中存储结构化高频访问数据副本，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表；将结构化低频访问数据副本移出内存数据库Redis存储单元，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，所述结构化高频访问数据管理表用于存储结构化高频访问数据的索引信息；

所述非结构化数据调度单元用于非结构化数据的优化存储调度，具体为统计设定时间段内非结构化数据的访问频度并与预设阈值比较，基于比较结果将非结构化数据划分为非结构化高频访问数据和非结构化低频访问数据；对于非结构化高频访问数据，从分布式文件系统HDFS存储单元存储的数据文件结构中解压并分离出非结构化高频访问数据的文件副本，独立存储在HDFS数据节点上，分布式文件系统HDFS存储单元存储的数据文件结构保持不变，并更新存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，同时更新MySQL存储单元对应的数据索引表；对于非结构化低频访问数据，删除独立存储在HDFS数据节点上的解压出的文件副本，更新存储在内存数据库Redis存储单元中的非结构化高频数据管理表，同时更新MySQL存储单元对应的数据索引表；所述非结构化高频访问数据管理表用于存储非结构化高频访问数据的索引信息。

所述数据访问控制单元用于接收数据读服务模块的数据访问请求，判断数据请求类型，若请求数据是结构化数据，则先查找存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，判断是否为结构化高频访问数据，若为结构化高频访问数据，则将访问请求指向内存数据库Redis存储单元，若为结构化低频数据，则根据数据类型将访问请求指向分布式数据库HBase存储单元或关系数据库MySQL存储单元；若请求数据是非结构化数据，则先查找存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，判断是否为非结构化高频访问数据，若为非结构化高频访问数据，则基于非结构化高频访问数据管理表的索引信息得到存储位置；若不是非结构化高频访问数据，则在关系数据库MySQL存储单元的数据索引表中找到请求数据的索引记录，根据索引记录得到数据指向的存储位置。

优选地，所述步骤3)具体为，

31)数据读服务模块接收数据访问请求，发送至存储管理模块；

32)存储管理模块根据所述数据读服务模块请求的数据类型得到数据访问请求指向的数据存储模块中的存储单元并返回给数据读服务模块；

33)数据读服务模块判断数据访问请求指向的数据存储模块中的存储单元是否为多个存储单元：如果数据访问请求指向的数据存储模块中的存储单元为一个存储单元，则进入步骤34)；如果数据访问请求指向的数据存储模块中的存储单元包括多个存储单元，则将数据访问请求拆分成多个数据访问请求，每个数据访问请求分别进入步骤34)；

34)数据读服务模块从所述数据存储模块的存储单元中获取请求数据，若获取的数据为结构化数据，则进入步骤35)；若获取的数据为非结构化数据，则将获取的非结构化数据转换为结构化数据，进入步骤35)；

35)若数据访问请求在步骤33)中被拆分为多个数据访问请求，则将步骤34)中获取的数据进行合并返回至客户端；若数据访问请求在步骤33)中未被拆分为多个数据访问请求，则直接将步骤34)获取的数据返回至客户端。

发明所达到的有益效果：本发明提出一种电力系统安全稳定分析数据存储系统及存储方法，实现电力系统安全稳定评估分析数据的高效存储，解决电力系统安全稳定评估分析数据访问无法满足应用需求的技术问题。本发明克服了电力系统安全稳定评估分析数据在单一存储方式下存在的成本高企，采用多种存储单元对电力系统安全稳定评估分析数据进行有针对性的分类存储，有效提高电力系统安全稳定分析数据的存储效率和可扩展性，基于存储管理模块对存储单元进行管理，满足不同应用对电力系统安全稳定分析历史数据的访问需求，提升了数据访问性能，节约存储硬件成本。

附图说明

图1是本发明实施例的一种存储系统结构示意图。

具体实施方式

下面根据附图并结合实施例对本发明的技术方案作进一步阐述。

实施例1

一种电力系统安全稳定分析数据存储系统，包括：数据存储模块、存储管理模块和数据读服务模块，其中，

所述数据存储模块包括多个存储单元，用于分类存储电力系统安全稳定分析数据；

所述存储管理模块用于根据电力系统安全稳定分析数据的访问频度对所述数据存储模块中存储单元的数据进行优化调度；还用于得到所述数据读服务模块发送的数据访问请求指向的所述数据存储模块中的存储单元；

所述数据读服务模块用于接收数据访问请求，从所述数据存储模块的存储单元中获取请求数据。

实施例2

在实施例1的技术上，实施例2还包括数据写服务模块，如图1所示，用于采集电力系统安全稳定分析数据，并根据数据类型分类写入所述数据存储模块相应的存储单元中。

数据写服务模块采集的数据格式包括结构化数据和非结构化数据，采集的数据内容包括电力系统安全稳定分析计算数据及电力系统安全稳定分析结果数据，其中，

所述电力系统安全稳定分析计算数据进一步包括全网设备全数E文件数据、稳定计算参数、预想故障集及监视设备集；所述电力系统安全稳定分析结果数据包括静态安全分析结果数据、暂态稳定分析结果数据、电压稳定分析结果数据、小扰动稳定分析结果数据、短路电流分析结果数据、稳定裕度分析结果数据以及安全稳定分析汇总统计结果数据、分析结果报告文件。

作为一种较佳的实施例，所述数据存储模块包括分布式文件系统HDFS存储单元、分布式数据库HBase存储单元、关系数据库MySQL存储单元和内存数据库Redis存储单元，其中：

所述分布式文件系统HDFS存储单元，用于存储非结构化数据，按照数据分类合并压缩非结构化数据进行存储，同时在关系数据库MySQL存储单元中对每类非结构化数据建立数据索引表，每类非结构化数据对应一个数据索引表，每个非结构化数据文件在对应的数据索引表中对应存储一条索引记录；所述非结构化数据包括包括全网设备全数E语言文件和安全稳定分析结果报告文件；

所述分布式数据库HBase存储单元，用于存储结构化海量数据，每类数据分别对应一个HBase数据表；所述结构化海量数据包括静态安全分析结果数据、暂态稳定分析结果数据、电压稳定分析结果数据、小扰动稳定分析结果数据、短路电流分析结果数据、稳定裕度分析结果数据以及安全稳定分析汇总统计结果数据；

HBase数据表的行键RowKey设计为：{安全稳定分析数据的断面时刻+故障编号}；HBase数据表包含两个列族：

第一个列族Summary，用于存储该类安全稳定分析结果的概要信息，由多个列组成；

第二个列族DevInfo，用于存储该类安全稳定分析结果对应的关键设备信息；所述DevInfo列族包含一个count列和多个设备属性列；其中，所述count列用于存储该类评估结果所关联的关键设备数目，所述属性列用于存储设备各类运行参数。

例如，以暂态稳定分析结果为例进行说明。

暂态稳定分析结果的概要信息包含故障组编号，故障元件类型，故障元件名，阻尼比，频率，失稳岛名称，最大功角发电机，最小功角发电机，最大功角差，最低电压母线，最低电压(p.u.)，最低频率发电机，最低频率(Hz)，最高频率发电机，最高频率(Hz)，最低电压持续时间，频率偏移最大持续时间，是否功角安全，是否电压安全，是否频率安全，区域，厂商名称，断面时间，故障描述，功角稳定裕度，电压安全裕度，频率安全裕度，同时还包括故障关联的设备信息。根据本方法设计的暂态稳定分析结果的HBase表结构如表1所示。

表1暂态稳定分析结果的HBase数据表结构

所述关系数据库MySQL存储单元，用于存储结构化静态数据以及每类存储在分布式文件系统HDFS存储单元内的非结构化数据的数据索引表；所述结构化静态数据包括稳定计算参数数据、预想故障集数据及监视设备集数据；

所述内存数据库Redis存储单元，用于响应所述存储管理模块优化调度存储相应结构化数据。

作为一种较佳的实施例，所述存储管理模块包括结构化数据调度单元、非结构化数据调度单元和数据访问控制单元，其中：

所述结构化数据调度单元用于结构化数据的优化存储调度，具体为统计设定时间段内结构化数据的访问频度并与预设阈值比较，基于比较结果将结构化数据划分为结构化高频访问数据和结构化低频访问数据；在内存数据库Redis存储单元中存储结构化高频访问数据副本，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表；将结构化低频访问数据副本使用LRU算法移出内存数据库Redis存储单元，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，所述结构化高频访问数据管理表用于存储结构化高频访问数据的索引信息，包括可唯一标识并检索数据的数据索引，数据类型、数据的访问频度、数据断面时刻、数据的大小，具体如表2所示。

表2结构化高频访问数据管理表数据结构

数据项	类型	描述	备注
				Id	String	数据标识	非空、唯一
Type	Int	数据类型
				Freq	Float	数据访问频度
Timestamp	datetime	数据断面时刻
				Size	Int	数据大小

所述非结构化数据调度单元用于非结构化数据的优化存储调度，具体为统计设定时间段内非结构化数据的访问频度并与预设阈值比较，基于比较结果将非结构化数据划分为非结构化高频访问数据和非结构化低频访问数据；对于非结构化高频访问数据，从分布式文件系统HDFS存储单元存储的数据文件结构中解压并分离出非结构化高频访问数据的文件副本，独立存储在HDFS数据节点上，分布式文件系统HDFS存储单元存储的数据文件结构保持不变，并更新存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，同时更新MySQL存储单元对应的数据索引表；对于非结构化低频访问数据，删除独立存储在HDFS数据节点上的解压出的文件副本，更新存储在内存数据库Redis存储单元中的非结构化高频数据管理表，同时更新MySQL存储单元对应的数据索引表；所述非结构化高频访问数据管理表用于存储非结构化高频访问数据的索引信息，包括可唯一标识并检索数据的数据索引，数据类型、数据的访问频度、数据断面时刻、数据的大小，具体如表3所示。

表3非结构化高频数据管理表数据结构

数据项	类型	描述	备注
				Id	String	数据标识	非空、唯一
Name	String	数据文件名称
				Path	String	数据路径
Size	Int	数据大小
				Freq	Float	数据访问频度
Desc	String	数据描述

所述数据访问控制单元用于接收数据读服务模块的数据访问请求，判断数据请求类型，若请求数据是结构化数据，则先查找存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，判断是否为结构化高频访问数据，若为结构化高频访问数据，则将访问请求指向内存数据库Redis存储单元，若为结构化低频数据，则根据数据类型将访问请求指向分布式数据库HBase存储单元或关系数据库MySQL存储单元；若请求数据是非结构化数据，则先查找存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，判断是否为非结构化高频访问数据，若为非结构化高频访问数据，则基于非结构化高频访问数据管理表的索引信息得到存储位置；若不是非结构化高频访问数据，则在关系数据库MySQL存储单元的数据索引表中找到请求数据的索引记录，根据索引记录得到数据指向的存储位置。

作为一种较佳的实施例，所述存储管理模块还包括数据转换映射单元，用于将最新写入所述数据存储模块的预设类别的非结构化数据转换为结构化数据并存储到内存数据库Redis存储单元，覆盖已存储的预设类别的非结构化数据转换的到的结构化数据，在数据控制访问单元中将所述预设类别的非结构化数据的数据访问请求指向内存数据库Redis存储单元。

本实施例中，数据转换映射单元将所述HDFS存储单元中最新写入的全网状态估计E文件数据转换为结构化数据，存储到Redis存储单元，覆盖Redis中已存储的状态估计数据，用于快速访问。

作为一种较佳的实施例，所述数据读服务模块，用于接收所述客户端的数据访问请求，按照如下步骤获取数据并返回给客户端：

3-1)数据读服务模块接收数据访问请求，发送至存储管理模块；

3-2)数据读服务模块根据得到数据访问请求指向的数据存储模块中的存储单元；

3-3)数据读服务模块判断数据访问请求指向的数据存储模块中的存储单元是否为多个存储单元：如果数据访问请求指向的数据存储模块中的存储单元为一个存储单元，则进入步骤3-4)；如果数据访问请求指向的数据存储模块中的存储单元包括多个存储单元，则将数据访问请求拆分成多个数据访问请求，每个数据访问请求分别进入步骤3-4)；

3-4)数据读服务模块从所述数据存储模块的存储单元中获取请求数据，若获取的数据为结构化数据，则进入步骤3-5)；若获取的数据为非结构化数据，则将获取的非结构化数据转换为结构化数据，进入步骤3-5)；

3-5)若数据访问请求在步骤3－3)中被拆分为多个数据访问请求，则将步骤3-4)中获取的数据进行合并返回至客户端；若数据访问请求在步骤3-3)中未被拆分为多个数据访问请求，则直接将步骤3-4)获取的数据返回至客户端。

实施例3

一种电力系统安全稳定分析数据存储方法，包括以下步骤：

1)数据存储模块在多个存储单元中分类存储电力系统安全稳定分析数据；

2)存储管理模块根据电力系统安全稳定分析数据的访问频度对所述数据存储模块中存储单元的数据进行优化调度；

3)数据读服务模块接收数据访问请求，发送至存储管理模块，所述存储管理模块得到所述数据读服务模块发送的数据访问请求指向的所述数据存储模块中的存储单元，数据读服务模块从所述数据存储模块的存储单元中获取请求数据。

作为一种较佳的实施例，还包括数据写服务模块采集电力系统安全稳定分析数据，并分类写入所述数据存储模块相应的存储单元中。

作为一种较佳的实施例，所述数据存储模块包括分布式文件系统HDFS存储单元、分布式数据库HBase存储单元、关系数据库MySQL存储单元和内存数据库Redis存储单元，其中：

所述分布式文件系统HDFS存储单元，用于存储非结构化数据，按照数据分类合并压缩非结构化数据进行存储，同时在关系数据库MySQL存储单元中对每类非结构化数据建立数据索引表，每类非结构化数据对应一个数据索引表，每个非结构化数据文件在对应的数据索引表中对应存储一条索引记录；

所述分布式数据库HBase存储单元，用于存储结构化海量数据，每类数据分别对应一个HBase数据表；

所述关系数据库MySQL存储单元，用于存储结构化静态数据以及每类存储在分布式文件系统HDFS存储单元内的非结构化数据的数据索引表；

所述内存数据库Redis存储单元，用于响应所述存储管理模块优化调度存储相应结构化数据。

作为一种较佳的实施例，所述所述存储管理模块包括结构化数据调度单元、非结构化数据调度单元和数据访问控制单元，其中：

所述结构化数据调度单元用于结构化数据的优化存储调度，具体为统计设定时间段内结构化数据的访问频度并与预设阈值比较，基于比较结果将结构化数据划分为结构化高频访问数据和结构化低频访问数据；在内存数据库Redis存储单元中存储结构化高频访问数据副本，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表；将结构化低频访问数据副本移出内存数据库Redis存储单元，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，所述结构化高频访问数据管理表用于存储结构化高频访问数据的索引信息；

所述非结构化数据调度单元用于非结构化数据的优化存储调度，具体为统计设定时间段内非结构化数据的访问频度并与预设阈值比较，基于比较结果将非结构化数据划分为非结构化高频访问数据和非结构化低频访问数据；对于非结构化高频访问数据，从分布式文件系统HDFS存储单元存储的数据文件结构中解压并分离出非结构化高频访问数据的文件副本，独立存储在HDFS数据节点上，分布式文件系统HDFS存储单元存储的数据文件结构保持不变，并更新存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，同时更新MySQL存储单元对应的数据索引表；对于非结构化低频访问数据，删除独立存储在HDFS数据节点上的解压出的文件副本，更新存储在内存数据库Redis存储单元中的非结构化高频数据管理表，同时更新MySQL存储单元对应的数据索引表；所述非结构化高频访问数据管理表用于存储非结构化高频访问数据的索引信息。

所述数据访问控制单元用于接收数据读服务模块的数据访问请求，判断数据请求类型，若请求数据是结构化数据，则先查找存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，判断是否为结构化高频访问数据，若为结构化高频访问数据，则将访问请求指向内存数据库Redis存储单元，若为结构化低频数据，则根据数据类型将访问请求指向分布式数据库HBase存储单元或关系数据库MySQL存储单元；若请求数据是非结构化数据，则先查找存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，判断是否为非结构化高频访问数据，若为非结构化高频访问数据，则基于非结构化高频访问数据管理表的索引信息得到存储位置；若不是非结构化高频访问数据，则在关系数据库MySQL存储单元的数据索引表中找到请求数据的索引记录，根据索引记录得到数据指向的存储位置。

作为一种较佳的实施例，所述步骤3)具体为，

31)数据读服务模块接收数据访问请求，发送至存储管理模块；

32)存储管理模块根据所述数据读服务模块请求的数据类型得到数据访问请求指向的数据存储模块中的存储单元并返回给数据读服务模块；

33)数据读服务模块判断数据访问请求指向的数据存储模块中的存储单元是否为多个存储单元：如果数据访问请求指向的数据存储模块中的存储单元为一个存储单元，则进入步骤34)；如果数据访问请求指向的数据存储模块中的存储单元包括多个存储单元，则将数据访问请求拆分成多个数据访问请求，每个数据访问请求分别进入步骤34)；

34)数据读服务模块从所述数据存储模块的存储单元中获取请求数据，若获取的数据为结构化数据，则进入步骤35)；若获取的数据为非结构化数据，则将获取的非结构化数据转换为结构化数据，进入步骤35)；

35)若数据访问请求在步骤33)中被拆分为多个数据访问请求，则将步骤34)中获取的数据进行合并返回至客户端；若数据访问请求在步骤33)中未被拆分为多个数据访问请求，则直接将步骤34)获取的数据返回至客户端。

以上所述仅为本发明的优选实施方式，用以说明本发明的技术方案，而非对其限制；应当指出：对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种电力系统安全稳定分析数据存储系统，其特征在于，包括：数据存储模块、存储管理模块和数据读服务模块，其中，

所述数据存储模块包括多个存储单元，用于分类存储电力系统安全稳定分析数据；

所述存储管理模块用于根据电力系统安全稳定分析数据的访问频度对所述数据存储模块中存储单元的数据进行优化调度；还用于得到所述数据读服务模块发送的数据访问请求指向的所述数据存储模块中的存储单元；

所述数据读服务模块用于接收数据访问请求，从所述数据存储模块的存储单元中获取请求数据。

2.根据权利要求1所述的一种电力系统安全稳定分析数据存储系统，其特征在于，还包括数据写服务模块，用于采集电力系统安全稳定分析数据，并根据数据类型分类写入所述数据存储模块相应的存储单元中。

3.根据权利要求1所述的一种电力系统安全稳定分析数据存储系统，其特征在于，所述数据存储模块包括分布式文件系统HDFS存储单元、分布式数据库HBase存储单元、关系数据库MySQL存储单元和内存数据库Redis存储单元，其中：

所述分布式文件系统HDFS存储单元，用于存储非结构化数据，按照数据分类合并压缩非结构化数据进行存储，同时在关系数据库MySQL存储单元中对每类非结构化数据建立数据索引表，每类非结构化数据对应一个数据索引表，每个非结构化数据文件在对应的数据索引表中对应存储一条索引记录；

所述分布式数据库HBase存储单元，用于存储结构化海量数据，每类数据分别对应一个HBase数据表；

所述关系数据库MySQL存储单元，用于存储结构化静态数据以及每类存储在分布式文件系统HDFS存储单元内的非结构化数据的数据索引表；

所述内存数据库Redis存储单元，用于响应所述存储管理模块优化调度存储相应结构化数据。

4.根据权利要求3所述的一种电力系统安全稳定分析数据存储系统，其特征在于，所述存储管理模块包括结构化数据调度单元、非结构化数据调度单元和数据访问控制单元，其中：

所述结构化数据调度单元用于结构化数据的优化存储调度，具体为统计设定时间段内结构化数据的访问频度并与预设阈值比较，基于比较结果将结构化数据划分为结构化高频访问数据和结构化低频访问数据；在内存数据库Redis存储单元中存储结构化高频访问数据副本，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表；将结构化低频访问数据副本移出内存数据库Redis存储单元，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，所述结构化高频访问数据管理表用于存储结构化高频访问数据的索引信息；

所述非结构化数据调度单元用于非结构化数据的优化存储调度，具体为统计设定时间段内非结构化数据的访问频度并与预设阈值比较，基于比较结果将非结构化数据划分为非结构化高频访问数据和非结构化低频访问数据；对于非结构化高频访问数据，从分布式文件系统HDFS存储单元存储的数据文件结构中解压并分离出非结构化高频访问数据的文件副本，独立存储在HDFS数据节点上，分布式文件系统HDFS存储单元存储的数据文件结构保持不变，并更新存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，同时更新MySQL存储单元对应的数据索引表；对于非结构化低频访问数据，删除独立存储在HDFS数据节点上的解压出的文件副本，更新存储在内存数据库Redis存储单元中的非结构化高频数据管理表，同时更新MySQL存储单元对应的数据索引表；所述非结构化高频访问数据管理表用于存储非结构化高频访问数据的索引信息。

所述数据访问控制单元用于接收数据读服务模块的数据访问请求，判断数据请求类型，若请求数据是结构化数据，则先查找存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，判断是否为结构化高频访问数据，若为结构化高频访问数据，则将访问请求指向内存数据库Redis存储单元，若为结构化低频数据，则根据数据类型将访问请求指向分布式数据库HBase存储单元或关系数据库MySQL存储单元；若请求数据是非结构化数据，则先查找存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，判断是否为非结构化高频访问数据，若为非结构化高频访问数据，则基于非结构化高频访问数据管理表的索引信息得到存储位置；若不是非结构化高频访问数据，则在关系数据库MySQL存储单元的数据索引表中找到请求数据的索引记录，根据索引记录得到数据指向的存储位置。

5.根据权利要求4所述的一种电力系统安全稳定分析数据存储系统，其特征在于，所述存储管理模块还包括数据转换映射单元，用于将最新写入所述数据存储模块的预设类别的非结构化数据转换为结构化数据并存储到内存数据库Redis存储单元，覆盖已存储的预设类别的非结构化数据转换的到的结构化数据，在数据控制访问单元中将所述预设类别的非结构化数据的数据访问请求指向内存数据库Redis存储单元。

6.根据权利要求1所述的一种电力系统安全稳定分析数据存储方法，其特征在于，包括以下步骤：

1)数据存储模块在多个存储单元中分类存储电力系统安全稳定分析数据；

2)存储管理模块根据电力系统安全稳定分析数据的访问频度对所述数据存储模块中存储单元的数据进行优化调度；

3)数据读服务模块接收数据访问请求，发送至存储管理模块，所述存储管理模块得到所述数据读服务模块发送的数据访问请求指向的所述数据存储模块中的存储单元，数据读服务模块从所述数据存储模块的存储单元中获取请求数据。

7.根据权利要求6所述的一种电力系统安全稳定分析数据存储方法，其特征在于，还包括数据写服务模块采集电力系统安全稳定分析数据，并分类写入所述数据存储模块相应的存储单元中。

8.根据权利要求6所述的一种电力系统安全稳定分析数据存储方法，其特征在于，所述数据存储模块包括分布式文件系统HDFS存储单元、分布式数据库HBase存储单元、关系数据库MySQL存储单元和内存数据库Redis存储单元，其中：

所述分布式文件系统HDFS存储单元，用于存储非结构化数据，按照数据分类合并压缩非结构化数据进行存储，同时在关系数据库MySQL存储单元中对每类非结构化数据建立数据索引表，每类非结构化数据对应一个数据索引表，每个非结构化数据文件在对应的数据索引表中对应存储一条索引记录；

所述分布式数据库HBase存储单元，用于存储结构化海量数据，每类数据分别对应一个HBase数据表；

所述关系数据库MySQL存储单元，用于存储结构化静态数据以及每类存储在分布式文件系统HDFS存储单元内的非结构化数据的数据索引表；

所述内存数据库Redis存储单元，用于响应所述存储管理模块优化调度存储相应结构化数据。

9.根据权利要求8所述的一种电力系统安全稳定分析数据存储方法，其特征在于，所述所述存储管理模块包括结构化数据调度单元、非结构化数据调度单元和数据访问控制单元，其中：

所述结构化数据调度单元用于结构化数据的优化存储调度，具体为统计设定时间段内结构化数据的访问频度并与预设阈值比较，基于比较结果将结构化数据划分为结构化高频访问数据和结构化低频访问数据；在内存数据库Redis存储单元中存储结构化高频访问数据副本，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表；将结构化低频访问数据副本移出内存数据库Redis存储单元，并更新存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，所述结构化高频访问数据管理表用于存储结构化高频访问数据的索引信息；

所述非结构化数据调度单元用于非结构化数据的优化存储调度，具体为统计设定时间段内非结构化数据的访问频度并与预设阈值比较，基于比较结果将非结构化数据划分为非结构化高频访问数据和非结构化低频访问数据；对于非结构化高频访问数据，从分布式文件系统HDFS存储单元存储的数据文件结构中解压并分离出非结构化高频访问数据的文件副本，独立存储在HDFS数据节点上，分布式文件系统HDFS存储单元存储的数据文件结构保持不变，并更新存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，同时更新MySQL存储单元对应的数据索引表；对于非结构化低频访问数据，删除独立存储在HDFS数据节点上的解压出的文件副本，更新存储在内存数据库Redis存储单元中的非结构化高频数据管理表，同时更新MySQL存储单元对应的数据索引表；所述非结构化高频访问数据管理表用于存储非结构化高频访问数据的索引信息。

所述数据访问控制单元用于接收数据读服务模块的数据访问请求，判断数据请求类型，若请求数据是结构化数据，则先查找存储在内存数据库Redis存储单元中的结构化高频访问数据管理表，判断是否为结构化高频访问数据，若为结构化高频访问数据，则将访问请求指向内存数据库Redis存储单元，若为结构化低频数据，则根据数据类型将访问请求指向分布式数据库HBase存储单元或关系数据库MySQL存储单元；若请求数据是非结构化数据，则先查找存储在内存数据库Redis存储单元中的非结构化高频访问数据管理表，判断是否为非结构化高频访问数据，若为非结构化高频访问数据，则基于非结构化高频访问数据管理表的索引信息得到存储位置；若不是非结构化高频访问数据，则在关系数据库MySQL存储单元的数据索引表中找到请求数据的索引记录，根据索引记录得到数据指向的存储位置。

10.根据权利要求6所述的一种电力系统安全稳定分析数据存储方法，其特征在于，所述步骤3)具体为，

31)数据读服务模块接收数据访问请求，发送至存储管理模块；

32)存储管理模块根据所述数据读服务模块请求的数据类型得到数据访问请求指向的数据存储模块中的存储单元并返回给数据读服务模块；

33)数据读服务模块判断数据访问请求指向的数据存储模块中的存储单元是否为多个存储单元：如果数据访问请求指向的数据存储模块中的存储单元为一个存储单元，则进入步骤34)；如果数据访问请求指向的数据存储模块中的存储单元包括多个存储单元，则将数据访问请求拆分成多个数据访问请求，每个数据访问请求分别进入步骤34)；

34)数据读服务模块从所述数据存储模块的存储单元中获取请求数据，若获取的数据为结构化数据，则进入步骤35)；若获取的数据为非结构化数据，则将获取的非结构化数据转换为结构化数据，进入步骤35)；

35)若数据访问请求在步骤33)中被拆分为多个数据访问请求，则将步骤34)中获取的数据进行合并返回至客户端；若数据访问请求在步骤33)中未被拆分为多个数据访问请求，则直接将步骤34)获取的数据返回至客户端。