CN105574074A - 一种基于智能电网wams的时序大数据存储方法 - Google Patents

Abstract

本发明公开了一种基于智能电网WAMS的时序大数据存储方法，属于实时数据库技术领域。本发明根据WAMS场景建立相应的键-值存储模型作为数据模型，以每秒钟每一个测点创建一个存储单元，存储单元的长度根据WAMS数据的采样频率设置，在数据加载过程中采用预写日志技术，对数据中值进行压缩，而键保持不变，根据加载数据的规模、加载频率，对数据进行分库。本发明能够满足于智能电网WAMS场景的时序大数据快速加载、查询，具有很强的高可靠性。

Description

一种基于智能电网WAMS的时序大数据存储方法

技术领域

本发明属于实时数据库技术领域，主要涉及智能电网WAMS的时序大数据存储方法。

背景技术

随着智能电网技术的不断发展，作为智能电网重要支撑的“广域监测系统(WideAreaMeasurementSystem,WAMS)”成为当前研究的热点。电网广域监测系统是通过布局在全网关键节点的同步相量测量单元(PhasorMeasurementUnit,PMU)，实现全网的动态监测与控制。

当前，智能电网WAMS主要有以下特点：(1)布局在全网的监测节点数量越来越多；(2)监测节点数据的实时性要求较高，数据产生周期为几十毫秒级；(3)对于系统的稳定性要求较高；(4)历史时序数据量规模越来越大，应用的丰富性和互动性不断增强，对历史数据的访问需求越来越高。而常规的数据存储方法并不能良好地适用于智能电网WAMS之中。因此，有必要针对智能电网WAMS，设计一种与其特点相适应的数据存储方法。

发明内容

本发明目的是：针对智能电网WAMS时序数据的特征，提供一种能够满足于智能电网WAMS场景的时序大数据快速加载查询且具有高可靠的存储方法，解决智能电网WAMS量测节点规模大、数据产生频率高的时序数据的高速加载问题，为实现以时间维度(多个量测节点，在一个时刻上的数据集合)断面数据的快速查询提供基础。

具体地说，本发明是采用以下技术方案实现的，包括以下步骤：

1)根据WAMS场景建立相应的键-值存储模型作为数据模型；

2)以每秒钟每一个测点创建一个存储单元，存储单元的长度根据WAMS数据的采样频率设置；

3)在数据加载过程中采用预写日志技术，首先将数据以日志形式顺序写入磁盘，然后再将数据加载至内存进行存储操作；

4)对数据中值进行压缩，而键保持不变；

5)根据加载数据的规模、加载频率，对数据进行分库。

上述技术方案的进一步特征在于，所述键-值存储模型，其键的结构为<时间戳，测点id>，值的结构为<质量码数组，数据值数组>，表示如下：

Key＝<timestamp,id>

Value＝<status[UnitLength],valueItem[UnitLength]>

其中，Key代表键，timestamp,代表时间戳，Value代表值，UnitLength代表存储单元的长度，status[UnitLength]为质量码数组，valueItem[UnitLength]为数据值数组；

Key的排序方式为：以时间戳优先排序，其次按测点id排序，时间戳与测点id均采用增序排序；

Value的质量码数组与数据值数组采用一一对应关系，且质量码数据与数据值数组的数据元素按照时间顺序存储。

本发明的有益效果如下：本发明采用键-值存储模型，符合聚簇思想，每个测点每一秒钟建立一个存储单元，从而减少冗余数据的存储；同时采用数据压缩，减少磁盘I/O，进而提升数据加载性能。根据数据测点规模、数据产生频率，建立灵活数据库分库机制，提升数据查询效率。采用预写日志技术，当系统异常崩溃时，可通过日志文件快速恢复数据，提升系统的可靠性。

附图说明

图1是键-值存储模型示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

本发明的步骤如下：

1)根据WAMS场景建立相应的键-值(K-V，Key-Value)存储模型作为数据模型。图1给出了K-V存储模型示意。其中的符号含义为：timestamp，存储单元的时间戳，精度到秒级；id，测点id(量测量的惟一标识)；status，存储单元的数据质量码数组；valueItem，存储单元的数据值数组；unitLength，存储单元长度。由该图可知，K-V存储模型中key的结构为<时间戳，测点id>，value的结构为<质量码数组，数据值数组>。

其中，模型Key的排序方式：1)时间戳优先排序，其次为测点id；2)时间戳与测点id均采用增序排序。而模型Value的质量码数组与数据值数组采用一一对应关系(即：valueItem[1]、status[1]表示同一条记录的数值与数值的质量码)，且质量码数据与数据值数组的数据元素按照时间顺序存储。

2)以每秒钟每一个测点创建一个存储单元，存储单元的长度(UnitLength)根据WAMS数据的采样频率设置。由于WAMS场景的数据产生周期为毫秒级，因此，1≤UnitLength≤1000。

3)在数据加载过程中采用预写日志技术(Write-AheadLogging,WAL)，首先将数据以日志形式顺序写入磁盘，然后再将数据加载至内存进行存储操作。当系统崩溃，重新扫描日志文件即可恢复在内存中，未成功写入至数据库数据文件中的那部分数据。由于记录写入日志文件是按照顺序方式写入，因此，在保证系统可靠性的同时也有较高数据加载效率。

4)对数据中值进行压缩，而键保持不变；

5)根据加载数据的规模、加载频率，对数据进行分库。由于任何类型数据库或多或少都存在数据堆积效应，如：关系型数据表的“记录”增加、时序数据库测点时标数据增加均会导致数据查询效率降低，故有必要进行数据分开。按本发明的分库策略，可以灵活的实现数据库分库。例如，某WAMS系统的测点数量为50000、数据采样频率为50Hz。若以一小时分一个库的机制，则每一个数据库的时标数据为90亿条。

以下将根据某区域电网WAMS系统的应用实例来描述本方法的具体实施方式，即：测点规模为50000测点、数据采样频率为50Hz。本方法采用rocksDB键值数据库实现了上述模型。所采用的服务器配置如下：

rocksDB参数配置：

配置项	文件重整方式	线程数
			值	kCompactionStyleLevel	IncreaseParallelism(16线程)

K-V存储模型数据类型设置：

字段	timestamp	id	status[i]	valueItem[i]
					类型	unsigned int(4Byte)	unsigned int(4Byte)	char(1Byte)	float(4Byte)

根据以上参数的配置，某电网区域的WAMS测点规模：5万个测点、数据产生周期为20毫秒；数据库分库为：每一小时WASM时序数据建立一个rocksDB数据库。同时，根据本方法K-V存储模型设置，时序数据顺序加载与查询的效率如下：

操作类型	加载	查询
			效率(万/秒)	2065	16286

如上表，本方法数据加载与查询效率分别为：2065万/秒、16286万/秒。其中，单位“万/秒”表示：每一秒钟加载/查询多少万条数据值。在该实例的场景下，数据加载的需求大于250万/秒(50000测点乘以每秒产生50条数值)，因此，本方法高效的满足了WAMS场景时序数据应用需求。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (2)

1.一种基于智能电网WAMS的时序大数据存储方法，其特征在于，包括以下步骤：

1）根据WAMS场景建立相应的键-值存储模型作为数据模型；

2）以每秒钟每一个测点创建一个存储单元，存储单元的长度根据WAMS数据的采样频率设置；

3）在数据加载过程中采用预写日志技术，首先将数据以日志形式顺序写入磁盘，然后再将数据加载至内存进行存储操作；

4）对数据中值进行压缩，而键保持不变；

5）根据加载数据的规模、加载频率，对数据进行分库。

2.根据权利要求1所述的基于智能电网WAMS的时序大数据存储方法，其特征在于，所述键-值存储模型，其键的结构为<时间戳，测点id>，值的结构为<质量码数组，数据值数组>，表示如下：

Key=<timestamp,id>

Value=<status[UnitLength],valueItem[UnitLength]>

其中，Key代表键，timestamp,代表时间戳，Value代表值，UnitLength代表存储单元的长度，status[UnitLength]为质量码数组，valueItem[UnitLength]为数据值数组；

Key的排序方式为：以时间戳优先排序，其次按测点id排序，时间戳与测点id均采用增序排序；

Value的质量码数组与数据值数组采用一一对应关系，且质量码数据与数据值数组的数据元素按照时间顺序存储。