CN107798062A - 一种变电站历史数据统一存储方法和系统 - Google Patents

Abstract

本发明提供了一种变电站历史数据统一存储方法和系统，包括：采用代理服务器提取变电站涉及的相关系统中的存储对象；对存储对象进行结构化处理；将结构化处理后的数据存储至存储服务器集群。本发明实现对历史数据和文件的永久性存储，避免缓存库存储容量的限制，满足一个地区所有变电站所有厂家装置或设备缺陷数据统计分析对海量数据存储的要求。

Description

一种变电站历史数据统一存储方法和系统

技术领域

本发明属于变电站自动化技术领域，具体讲涉及一种变电站历史数据统一存储方法和系统。

背景技术

随着智能电网的建设，电网规模越来愈大，数字化电网、数字化变电站等研究应用不断深入，系统面对的采集点越来越多。一个中等规模地区的采集量可以达到2万至10万，而一个大型地调未来可能面临50万至100万的数据采集规模，一年的数据初步估计将从目前的吉字节级转向太字节级；此外，随着调度自动化水平的不断提高，提出了实时运行数据不采用周期性采样存储而是按照实际时间序列连续存储的更高要求，以满足更多的应用需求，这也将导致变电站作为数据采集源头，对于数据存储规模数十倍的增长，与此同时，历史数据的存储组织策略以及查询检索策略也在变得相当复杂。另一方面，向量测量子站PMU采集装置的普及以及广域状态监测系统WAMS的发展，带来了更加突出的海量电力信息数据存储问题。相对稳态数据采集而言，PMU采集一个突出特点就是采集频率非常高，达到每秒25、50帧甚至100帧，而对所有数据必须完整保存，因此在相同采集点的情况下，其数据存储规模将是稳态数据的数百到上千倍。根据理论测算，对于25帧/秒采集频率的PMU装置，存储1000个相量一年所需的存储容量大约为9.3TB。因此，不论从写入速度还是查询效率上来说，采用常规的关系数据库来存储这些非结构化、大量的历史信息都很难满足海量数据存储和高效访问需求，因而需要突破关系型数据库对地区级变电站海量历史数据存储和访问的限制，寻找一种基于大数据平台的可用于网络化分布式存储的非关系型数据库解决方案。

目前，变电站存在多套信息系统，如数据采集与监控系统SCADA、保护信息子站、PMU、设备在线监测系统和行波测距系统等，这些系统之间具有相对的独立性，存在重复采集、利用率不高、数据难以共享的问题，造成了严重的资源浪费；另一方面由于不同厂家同类型历史数据结构差异较大，不利于统一存储、查询及综合分析，无法满足对一个地区所有变电站所有厂家装置或设备的缺陷数据统计分析需求，而目前主站端缺乏针对一个地区所有变电站历史数据统一存储方法及对应的管理系统，迫切需要在主站端部署一套面向地区级变电站历史数据统一存储管理系统。由于一个地区所管辖的变电站有几百个的规模，而一个变电站运行三年所存储的历史数据达到几百G的容量，常规的关系型数据库显然无法满足上述海量数据存储的要求。

发明内容

为克服上述现有技术的不足，本发明提出一种变电站历史数据统一存储方法和系统。

实现上述目的所采用的解决方案为：

一种变电站历史数据统一存储方法，其改进之处在于：

采用代理服务器提取变电站涉及的相关系统中的存储对象；

对所述存储对象进行结构化处理；

将所述结构化处理后的数据存储至存储服务器集群。

本发明提供的第一优选技术方案，其改进之处在于,所述存储对象包括：

SCADA历史数据和非结构化历史数据。

本发明提供的第二优选技术方案，其改进之处在于，在所述提取变电站涉及的所有系统中的存储对象之后，在对所述存储对象按分类进行结构化处理之前，还包括：

删除所述存储对象中的重复数据；

按照变电站名称及数据类型分级存放所述存储对象。

本发明提供的第三优选技术方案，其改进之处在于，所述按照变电站名称及数据类型分级存放所述存储对象包括：

设定变电站名称为第一级数据；

设定变电站数据类型为第二级数据；

设定所述存储对象的具体文件为第三级数据。

本发明提供的第四优选技术方案，其改进之处在于，所述对存储对象按分类进行结构化处理包括：

当所述存储对象为SCADA历史数据时：

逐个读取分级存放的SCADA历史数据的文件；

将所述SCADA历史数据中的第三级数据转化字节流并存入value中；

将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；

将所述key和value写入大数据平台的缓存库中。

本发明提供的第五优选技术方案，其改进之处在于，所述对所述存储对象按分类进行结构化处理包括：

当所述存储对象为非结构化历史数据时：

逐个读取分级存放的非结构化历史数据的文件；

将非结构化历史数据中的第三级数据的内容数据块存入value中；

将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；

将所述key和value写入大数据平台的缓存库中。

本发明提供的第六优选技术方案，其改进之处在于，所述将所述结构化处理后的数据进行存储包括：

通过代理服务程序将所述结构化处理后的数据采用分布式方式存入存储服务集群。

一种变电站历史数据统一存储系统，其改进之处在于，包括数据提取模块、结构化处理模块和永久存储模块；

所述数据提取模块用于采用代理服务器提取变电站涉及的相关系统中的存储对象；

所述结构化处理模块用于对所述存储对象进行结构化处理；

所述永久存储模块用于将所述结构化处理后的数据存储至存储服务器集群。

本发明提供的第七优选技术方案，其改进之处在于，所述数据提取模块还包括重复数据处理模块和分级存储模块；

所述重复数据处理模块用于删除所述存储对象中的重复数据；

所述分级存储模块用于按照变电站名称及数据类型分级存放所述存储对象。

本发明提供的第八优选技术方案，其改进之处在于，所述分级存储模块包括第一级数据子单元、第二级数据子单元和第三级数据子单元；

所述第一级数据子单元用于设定变电站名称为第一级数据；

所述第二级数据子单元用于设定变电站数据类型为第二级数据；

所述第三级数据子单元用于设定所述存储对象的具体文件为第三级数据。本发明提供的第九优选技术方案，其改进之处在于，所述结构化处理模块包括：SCADA历史数据结构化处理子单元和非结构化历史数据结构化处理子单元；

所述SCADA历史数据结构化处理子单元用于逐个读取分级存放的SCADA历史数据的文件；将所述SCADA历史数据中的第三级数据转化字节流并存入value中；将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；将所述key和value写入大数据平台的缓存库中；

所述非结构化历史数据结构化处理子单元用于逐个读取分级存放的非结构化历史数据的文件；将非结构化历史数据中的第三级数据的内容数据块存入value中；将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；将所述key和value写入大数据平台的缓存库中。

与最接近的现有技术相比，本发明具有的优异效果如下：

1.本发明提出一种变电站历史数据统一存储方法和系统，数据源来自地区级变电站一体化监控系统的历史数据，包括SCADA历史数据和非结构化文件数据，进行结构化处理后存储至存储服务器集群中，避免缓存库存储容量的限制，满足一个地区所有变电站所有厂家装置或设备缺陷数据统计分析对海量数据存储的要求。

2.本发明使用的大数据平台包括代理服务器和存储服务器集群，在代理服务器中将多厂家多业务历史数据删除重复数据后统一写入缓存库中，并通过代理服务程序的分片存储算法分布式转存至存储集群中，再通过每个存储服务器的存储引擎将缓存数据存入磁盘文件中，实现对历史数据和文件的永久性存储。

附图说明

图1为本发明提供的一种变电站历史数据统一存储方法的流程示意图；

图2为本发明提供的一种变电站历史数据统一存储方法的总体设计意图；

图3为本发明提供的一种变电站历史数据统一存储方法的变电站历史数据分类及暂存示意图；

图4为本发明提供的一种变电站历史数据统一存储方法的分布式存储节点部署示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的详细说明。

本发明提出的一种变电站历史数据统一存储方法和系统，数据源来自地区级变电站一体化监控系统的历史数据，包括SCADA历史数据和非结构化历史数据，在代理服务器中将多厂家多业务历史数据统一写入缓存库中，并通过代理服务程序的分片存储算法分布式转存至存储集群中，再通过每个存储服务器的存储引擎将缓存数据存入磁盘文件中，统一存储方法总体设计如图2所示。

本发明提供的一种变电站历史数据统一存储方法的流程示意图如图1所示，包括：

采用代理服务器提取变电站涉及的相关系统中的存储对象；

对所述存储对象进行结构化处理；

将所述结构化处理后的数据存储至存储服务器集群。

具体流程为：

首先采用代理服务器提取变电站涉及的相关系统中的存储对象。变电站历史数据包括多厂家多业务的SCADA数据和非结构化历史数据，其中非结构化历史数据包括动态数据文件、故障录波文件和图形文件。

SCADA历史数据包括事故信息表、通道工况登录表、硬盘空间告警表、设备工况登录表、结点工况登录表、人工逻辑设备封锁表、人工置牌表、人工遥测封锁表、人工遥控表、人工遥调表、人工遥信封锁表、其它应用告警表、进程起停记录表、保护自诊断登录表、保护事件登录表、保护事件测量值表、保护故障报告表、保护操作记录表、保护操作数值表、用户事件登录表、波形登录表、越限登录表、遥信登录表和遥测历史采样数据表。

图形文件包括监控主机所有的画面和图元文件，其中画面文件包括系统图、接线图、曲线图、棒图、饼图、表格和地理图，图元文件包括开关、刀闸、两圈变、三圈变、发电机、潮流方向、容抗器、电压互感器、电流互感器、避雷器、标志牌、工况和背景图符。

故障录波文件为所有保护装置和故障录波器所录制的波形文件，包括hdr、cfg和dat文件。

动态数据文件为所有PMU装置所采集的动态数据文件，包括dyn文件。

删除存储对象中的重复数据后，根据分类后的结果，将从各变电站监控系统中导出的历史数据文件，在用户主目录下的data子目录下按照变电站名称及数据类型进行暂存，第一级为变电站名称SubName，第二级为数据类型，分别为scada、pic、icon、pmu和comtrade，第三级为具体文件，scada目录下存放SCADA历史数据，即对应表导出的txt文件，pic目录下存放pic文件即画面文件，icon目录下存放icon文件即图元文件，pmu目录下存放动态数据dyn文件，comtrade目录下包含各个智能电子设备IED子目录，每个子目录下存放故障录波hdr、cfg和dat文件，其目录结构如图2所示。

其次对存储对象按分类进行结构化处理，当存储对象为SCADA历史数据时包括：

1-1、逐个读取分级存放的SCADA历史数据的文件，即打开data目录下各变电站的SCADA历史数据scada子目录，获取txt文件集；

1-2、将SCADA历史数据中的第三级数据转化字节流并存入value中；将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中。即采用文件读取接口对每个txt文件进行逐行读取，将每条记录信息转换为字节流写入大数据平台的key-value网络化缓存库的value中，key采用发生时间和别名并加上变电站名称和SCADA名称组合的方式唯一标识一条记录；

1-3、将所述key和value写入大数据平台的缓存库中，即形成scada历史数据每条记录的key-value后，采用SET命令将该条记录写入大数据平台的缓存库中。

本发明采用NoSQL的key-value键值对存储SCADA历史数据，需要将SCADA结构化历史数据序列为字节流，因而对应的SCADA结构体对象需要转化为序列化工具protobuf的对象模型，各SCADA历史数据结构对应的protobuf对象模型按照如下映射表进行转换：

表1 protobuf数据类型映射表

将SCADA历史数据转化时，首先按照数据类型映射关系，设计形成SCADA历史数据的protobuf对象模型proto文件，并采用protobuf的转换工具protoc由proto文件生成h及cc文件；然后将需要转换的记录信息写入protobuf对象中；最后通过protobuf序列化接口SerializeToArray生成字节流buf。

当存储对象为非结构化历史数据时包括：

2-1、逐个读取分级存放的非结构化历史数据的文件；即逐个读取各变电站目录下的画面文件pic子目录、图元文件icon子目录、动态数据文件pmu子目录以及故障录波文件comtrade子目录下IEDName二级子目录，获取pic、cion、dyn以及hdr、cfg、dat文件集；

2-2、将非结构化历史数据中的第三级数据的内容数据块存入value中；将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中。即依次读取每个文件，将其信息转化为key-value字节流，key采用文件名称字符串和变电站名称及数据类型组合，value采用fstream读入生成文件内容数据块；

2-3、将key和value写入大数据平台的缓存库中，即采用SET命令将该条记录写入大数据平台的缓存库中。

最后将结构化处理后的数据存储至存储服务器集群，通过代理服务程序将缓存库的key-value数据流分布式存入存储服务集群中，其节点部署包括N+1台机器，其中一台为代理服务器proxy，另外N台为存储服务集群server1…serverN，通过交换机进行网络连接，其节点部署如图3所示。为实现缓存数据的分布式存储，其操作步骤如下：

1)在代理服务器proxy上安装redis服务程序及代理服务程序Twemproxy，该代理程序与redis缓存库对接，可将缓存数据通过网络分布式转存入存储集群中；

2)修改代理服务程序Twemproxy的配置文件nutcracker.yml，分片算法distribution属性改为一致性hash算法ketama，分布式存储服务器servers属性改为Server1～ServerN的IP地址列表，并用其机器名称标识；

3)在存储器集群Server1～ServerN分别安装SSDB服务程序及LevelDB存储引擎，并修改各自配置文件ssdb.conf，将ip地址属性修改为本机配置IP地址；

4)依次启动代理服务器的redis服务和代理服务程序Twemproxy，以及存储集群Server1～ServerN各自的ssdb服务程序，至此可实现缓存数据的分布式存储。

基于同一发明构思，本发明还提供了一种变电站历史数据统一存储系统，包数据提取模块、结构化处理模块和永久存储模块；

所述数据提取模块用于采用代理服务器提取变电站涉及的相关系统中的存储对象；

所述结构化处理模块用于对所述存储对象进行结构化处理；

所述永久存储模块用于将所述结构化处理后的数据存储至存储服务器集群。

其中，数据提取模块还包括重复数据处理模块和分级存储模块；

所述重复数据处理模块用于删除所述存储对象中的重复数据；

所述分级存储模块用于按照变电站名称及数据类型分级存放所述存储对象。

分级存储模块包括第一级数据子单元、第二级数据子单元和第三级数据子单元；

所述第一级数据子单元用于设定变电站名称为第一级数据；

所述第二级数据子单元用于设定变电站数据类型为第二级数据；

所述第三级数据子单元用于设定所述存储对象的具体文件为第三级数据。

结构化处理模块包括：SCADA历史数据结构化处理子单元和非结构化历史数据结构化处理子单元；

所述SCADA历史数据结构化处理子单元用于逐个读取分级存放的SCADA历史数据的文件；将所述SCADA历史数据中的第三级数据转化字节流并存入value中；将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；将所述key和value写入大数据平台的缓存库中；

所述非结构化历史数据结构化处理子单元用于逐个读取分级存放的非结构化历史数据的文件；将非结构化历史数据中的第三级数据的内容数据块存入value中；将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；将所述key和value写入大数据平台的缓存库中。

最后应当说明的是:以上实施例仅用于说明本申请的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。

Claims (11)

1.一种变电站历史数据统一存储方法，其特征在于：

采用代理服务器提取变电站涉及的相关系统中的存储对象；

对所述存储对象进行结构化处理；

将所述结构化处理后的数据存储至存储服务器集群。

2.如权利要求1所述的方法，其特征在于,所述存储对象包括：

SCADA历史数据和非结构化历史数据。

3.如权利要求1所述的方法，其特征在于,在所述提取变电站涉及的所有系统中的存储对象之后，在对所述存储对象按分类进行结构化处理之前，还包括：

删除所述存储对象中的重复数据；

按照变电站名称及数据类型分级存放所述存储对象。

4.如权利要求3所述的方法，其特征在于,所述按照变电站名称及数据类型分级存放所述存储对象包括：

设定变电站名称为第一级数据；

设定变电站数据类型为第二级数据；

设定所述存储对象的具体文件为第三级数据。

5.如权利要求1-4任一条所述的方法，其特征在于,所述对存储对象按分类进行结构化处理包括：

当所述存储对象为SCADA历史数据时：

逐个读取分级存放的SCADA历史数据的文件；将所述SCADA历史数据中的第三级数据转化字节流并存入value中；

将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；

将所述key和value写入大数据平台的缓存库中。

6.如权利要求1-4任一条所述的方法，其特征在于,所述对所述存储对象按分类进行结构化处理包括：

当所述存储对象为非结构化历史数据时：

逐个读取分级存放的非结构化历史数据的文件；

将非结构化历史数据中的第三级数据的内容数据块存入value中；

将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；

将所述key和value写入大数据平台的缓存库中。

7.如权利要求1所述的方法，其特征在于，所述将所述结构化处理后的数据进行存储包括：

通过代理服务程序将所述结构化处理后的数据采用分布式方式存入存储服务集群。

8.一种变电站历史数据统一存储系统，其特征在于，包括数据提取模块、结构化处理模块和永久存储模块；

所述数据提取模块用于采用代理服务器提取变电站涉及的相关系统中的存储对象；

所述结构化处理模块用于对所述存储对象进行结构化处理；

所述永久存储模块用于将所述结构化处理后的数据存储至存储服务器集群。

9.如权利要求8所述的系统，其特征在于，所述数据提取模块还包括重复数据处理模块和分级存储模块；

所述重复数据处理模块用于删除所述存储对象中的重复数据；

所述分级存储模块用于按照变电站名称及数据类型分级存放所述存储对象。

10.如权利要求9所述的系统，其特征在于，所述分级存储模块包括第一级数据子单元、第二级数据子单元和第三级数据子单元；

所述第一级数据子单元用于设定变电站名称为第一级数据；

所述第二级数据子单元用于设定变电站数据类型为第二级数据；

所述第三级数据子单元用于设定所述存储对象的具体文件为第三级数据。

11.如权利要求8-10任一条所述的系统，其特征在于，所述结构化处理模块包括：SCADA历史数据结构化处理子单元和非结构化历史数据结构化处理子单元；

所述SCADA历史数据结构化处理子单元用于逐个读取分级存放的SCADA历史数据的文件；将所述SCADA历史数据中的第三级数据转化字节流并存入value中；将所述SCADA历史数据中的第一和第二级数据转化字节流并结合value中记录发生时间和对应的别名存入key中；将所述key和value写入大数据平台的缓存库中；

所述非结构化历史数据结构化处理子单元用于逐个读取分级存放的非结构化历史数据的文件；将非结构化历史数据中的第三级数据的内容数据块存入value中；将非结构化历史数据中的第一和第二级数据结合第三级的名称字符串存入key中；将所述key和value写入大数据平台的缓存库中。