CN100595596C

CN100595596C - 电网广域测量系统(wams)中动态数据压缩存储方法

Info

Publication number: CN100595596C
Application number: CN200710179274A
Authority: CN
Inventors: 杨东; 齐文斌; 吴京涛
Original assignee: Beijing Sifang Automation Co Ltd
Current assignee: Beijing Sifang Automation Co Ltd; Beijing Sifang Engineering Co Ltd
Priority date: 2007-12-12
Filing date: 2007-12-12
Publication date: 2010-03-24
Anticipated expiration: 2027-12-12
Also published as: CN101178424A

Abstract

一种电网广域测量系统(WAMS)中动态数据压缩存储的方法，包括数值变换处理、无损压缩、数据组织和存储步骤，所述数值变换处理包括以下步骤：在同一厂站内，选取一个有效相量的相角作为参考相角；除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相角的相对相角；存储时，参考相角直接存储，其他相角存储相对相角；相角数据调用时借助参考相角和相对相角进行还原。

Description

电网广域测量系统(WAMS)中动态数据压缩存储方法

技术领域

本发明涉及一种电力系统调度自动化领域，特别是涉及一种动态安全监测过程中动态数据的压缩存储方法。

背景技术

随着大电网互联、西电东送矛盾日益凸现，电网正面临越来越多新的挑战，运行的稳定性分析和监视也越来越显得重要。同步相量测量技术和现代高速数字化通信网络，为我们实现电网动态过程的在线监测提供了技术上的支持和保证。电网广域实时动态监测系统是实现准确捕捉电力系统在线故障扰动、低频振荡以及人工试验等情况下电网动态过程的技术手段。同步相量测量单元(Phasor Measurement Unit，PMU)为系统提供全网采样和计算的相量数据，通过电力调度数据网实时传送到监测系统主站，使调度员能在调度中心及时了解电网的动态信息。

电网广域测量系统(以下简称WAMS)是由PMU和调度中心的监测主站组成的一套调度自动化系统。该系统能够为调度员和运行分析人员提供电网运行的动态过程。随着对动态过程的关注，WAMS所提供的动态数据信息的重要性也逐步体现，仅仅动态监视已经不能满足运行单位的需要，更多要求逐步被提出，而且过期数据，尤其是事件数据常常被希望完全存储，供事后分析。

由于WAMS的动态数据具有高速度、高密度、高精度的特点，平均每个监测点每秒钟传输50帧，甚至100帧动态数据，对于大电网来说，产生的数据是海量的，这些数据如果直接存储，将占用大量的磁盘空间。同时，由于数据的高密度、高精度，所存储的数据会有很多重复特征，因此，如何高效存储WAMS动态数据，并实现高效的分析检索是一项值得研究的技术。本发明所提出的动态数据无损压缩存储方法，是在理论和实践相结合之后所做出的新的尝试。

数据压缩的实现算法众多，适合于WAMS实时数据压缩的方法很少，有损压缩算法丢失了原始数据的信息，在足够误差精度的条件下，压缩效率低，节约空间也不多，特别是WAMS中最重要的角度信息，压缩意义不大；无损压缩能保留原始数据完整的信息，准确地反映动态过程的原始特性，在对重要的采集数据等有用信息的压缩应用广泛，但压缩过程耗费时间长的算法不能进行WAMS数据压缩计算。无损压缩算法中，LZW算法的压缩与解压耗费的时间短，适合用于实时性要求高的场合。

我们提出的WAMS实时数据的在线压缩算法：对原始数据做初等变换，保存过程数据的增量，float型数据分解为单字节存取，改进LZW算法，实现WAMS过程数据的在线无损压缩。6000个连续实时数据压缩计算时间为16ms，压缩比小于30％，可以满足电力系统分析计算对过程数据的要求，节省历史数据存储空间。工程实践表明，该算法有效可靠，能满足WAMS实时数据的存储要求。

数据压缩算法是本发明的核心内容，其他压缩算法难以实现WAMS需求。

发明内容

本发明的目的是为了在不损失精度的前提下，有效压缩存储数据，节约数据存储空间，加快数据存取速度。

本发明的方法包括数值变换处理、无损压缩、数据组织和存储步骤，该数值变换处理包括以下步骤：在同一厂站内，选取一个有效相量的相角作为参考相角，不进行数值变换；；除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相角的相对相角；存储时，参考相角直接存储，其他相角存储相对相角；相角数据调用时借助参考相角和相对相角进行还原。

本发明的压缩算法采用改进LZW算法，包括以下步骤：

(1)对原始数据做初等变换，将变换后的数据以字节为单位读取；

(2)初始化字典，使其包含可能的单字符，重复(2)-(9)；

(3)读字符串；

(4)如果新串在字典中，转(5)，否则转(6)；

(5)将新串前缀字符改为新串；

(6)将新串加入字典；

(7)输出新串前缀码；

(8)如果字典满，转(2)；

(9)如果编码完成，退出，否则转(2)；

所述数据结构组织步骤包括：将数据类型TYPE、参考信息REF、索引KEY以及压缩得到的数据DATA组帧。

改进LZW压缩算法是基于字典模型的压缩算法，其原理是以字典的索引号代替它所表示的字符串，在压缩编码的过程中自动生成字典，字典不独立存储，在解压过程中，动态形成与编码过程完全一致的解码字典，从而达到缩写数据存储空间的目的。

本发明的数据组织步骤采用B+树算法进行数据存储和访问；采用关键字有序存储，关键字可以为任意的数据结构，从而支持对数据查询、插入、删除的常数级速度。

目前，主要的数据访问算法包括B+树、Hash、Recno、Queue，几种算法各有特点，在本发明中，充分考虑各算法特点，根据数据关键字固定和数据访问速度的需要，优先选择了B+树算法。

本发明提出的WAMS动态数据压缩存储方法能够对电网动态数据存储进行最高效的存储管理，并适用于其他电网调度自动化系统，是一种比较简单而又实用的解决方案。

附图说明

下面结合附图及具体实施示例对本发明再作进一步详细的说明。

图1动态数据存取过程示意图；

图2压缩算法改进技术流程图；

图3数据存储结构示意图；

具体实施方式

图1动态数据存取过程示意图。如图1所示，数据压缩的过程如下：

(1)对原始数据进行组织；

(2)对原始数据进行适当的电力系统数值变换；

(3)采用无损压缩算法及初等变换对数据进行压缩；

(4)将数据类型TYPE、参考信息REF、索引KEY以及压缩得到的数据DATA组帧；

(5)将数据写入数据文件；

动态数据存储过程采用了单一流向的处理方法，顺次完成数值变换、数据压缩、数据组织、数据存储，简单高效的处理保证了高速度、高精度、高密度的动态数据存储效率。在数据应用时则按照数据查询、数据解析、数据解压、数值变换、数据应用的过程串行处理。

电力系统数据具有一定的特点和关联性，尤其是WAMS中的相角信息。WAMS中的相量信息是以GPS同步时钟为参考的旋转矢量，相量幅值对应的是矢量的长度，大小相对比较稳定，而相量的角度(相角)则以一定的周期不断变化，相角数值在电力系统动态过程中变化规律由很多因素确定，数值变化比较复杂，对单个相角直接进行压缩处理，压缩率很低，甚至经压缩处理后占用空间比未经压缩的数据还大(考虑辅助存储空间)。在同步电网中，相量之间的相角差与所传输的功率之间存在着近似的线性关系，因此，相角的变化也比较平稳，对于比较平稳的相角差数据进行压缩，可以大大提高数据压缩率，节约数据存储空间。本发明总结该规律，采用如下方法实现相角的数值变换处理：

1)在同一厂站内，选取一个有效相量的相角作为参考相角；

2)除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相角的相对相角；

3)存储时，参考相角直接存储，其他相角存储相对相角；

4)相角数据调用时借助参考相角和相对相角进行还原。

图2是压缩算法改进技术流程图。WAMS实时数据，数据量大，数据更新频率高(50-100Hz)，对WAMS数据的在线压缩存储，有下列要求：

1)算法速度要快；

2)压缩效率高；

3)保留原始数据的基本特征。

本发明所采用的算法为改进LZW算法，是一种快速高效的无损压缩算法，该算法是WAMS数据压缩存储的最好选择。该算法在标准LZW算法基础上做了改进，改进内容包括：

1)针对字典容量有限和字符串匹配速度较慢的问题，改进后的压缩算法设计了特定的字典模型，该字典模型针对数据形态定制字典容量，采用Hash表实现字符串的匹配，大大提高了算法的执行速度；

2)对于LZW算法压缩率不高的问题，改进的方法是对数据进行初等变换，使数值的数据形态与LZW算法的特征紧密结合，以提高压缩率。针对WAMS不同量测数据的特点，对原始数据做初等变换，使数据波动平稳，处理方法主要是增量法。增量法是将时间相邻的数据相减，只记录数据增量，由于数据间的波动通常较小，增量相同的几率也比较高，只对增量数据进行压缩，压缩效果好了很多。

所实现的WAMS数据压缩算法，UNIX与WINDOW系统用同一套套代码，float数据的字节序按UNIX字节序压缩存储，对WINDOW系统，自动转换字节序，还原WAMS原始数据。字典的查找与维护，用Hash函数实现字符串的匹配，定位与查找，保证了算法的执行速度，解决了一般算法在跨平台使用时效率不能保证的问题。

数据压缩以测点为单元读取固定时间段(一分钟)实时数据分别压缩处理，一个float型数据按四个字节处理，针对字符生成字典，产生输出代码。压缩过程就是处理以字节为单位的字符串，建立字典表时，先把0-255代码的字符放到表中，然后根据读入的字符添加到表项，记录大到了一定程度就必须将其清空重来，保留一个表清空标识表项。保留一个数据结束标识，在解压的时候知道什么时候解压结束，实现算法流程如下：

(2)初始化字典，使其包含可能的单字符，重复(2)-(9)；

(3)读字符串；

(4)如果新串在字典中，转(5)，否则转(6)；

(5)将新串前缀字符改为新串；

(6)将新串加入字典；

(7)输出新串前缀码；

(8)如果字典满，转(2)；

(9)如果编码完成，退出，否则转(2)；

原始数据的初等变化，是用序列的相邻两数据差作为变换后的数据，参与压缩计算，首元素，记录原始数据，之后的数据，记录数据增量，用于数据压缩。

如图1所示，数据查询步骤如下：

(1)根据查询对象和时间组织索引KEY，根据索引KEY获得数据缓存；

(2)从数据缓存中首先判断数据类型，如相应数据类型经过电力系统数值变换，则除获取数据本身的DATA外，根据参考信息REF获取REF对象的数据DATA；

如相应数据类型未经过电力系统数值变换，直接获取缓存中的数据DATA；

(3)将数据DATA进行采用无损压缩的解压算法进行数据解压；

(4)采用电力系统反向数值变换，恢复数据原始值；

(5)应用解压后的数据。

解压算法是压缩算法的逆过程，也就是自动生成一个字典表，然后根据读入的代码将压缩数据还原，其输入数据是压缩算法的输出数据，实现算法如下：

(1)取待解压数据；

(2)初始化解压字典；

(3)通过动态生成的字典索引还原数据；

(4)对解压结果进行逆初等变换处理；

(5)完成解压。

逆初等变换，实现数据还原：首元素不变，之后的原始数据值等于前一数据加当前位置的解压数据。

图3是数据存储结构示意图。WAMS数据具有信息内容简单、高速性和海量性三个特点，这三个特点对存储效率有着很高的要求，对存储结构的要求不高，常规的商用数据库却对存储结构有着很严密的设计，考虑了很多关系、触发器等内容，在存储效率上反而不能满足WAMS数据的存储需求。即便是文件存储，也设置索引功能，但是WAMS数据具有二维性，检索时需同时考虑数据ID和时间两个关键字，所设置的索引至少是两个或更多，这就需要考虑一种基于数据结构索引的关键字。

本发明充分考虑WAMS的数据特点，设计了一种基于数据结构索引的文件数据库，主要包括以下几个特点：

1)采用B+树算法进行数据存储和访问；

2)采用关键字有序存储，关键字可以为任意的数据结构；

3)支持对数据查询、插入、删除的常数级速度。

参见图3，KEY是一个数据结构，在WAMS动态数据中，至少需要ID和TIME两个信息，在实施过程中KEY的结构如下：

Struct KEY_DATA

{

int iDataID；

int iMinute；

}；

其中，iDataID为数据索引ID值，iMinute为数据时间。

根据使用经验，动态数据每一分钟压缩一次为最佳，因此对于压缩数据，每分钟以一个KEY进行索引，根据iDataID和iMinute两个信息存储和查询数据，数据存储和查询采用B+树算法。

在数据存储结构中，TYPE用来表示具体数据类型，如果该类型需要进行数值变换，则后面还增加一个REF信息，该信息用于在数据读取时还原数值变换结果，如果相关类型没有经过数值变换，则省略REF信息，变结构存储再次节约了空间。

最后一部分DATA则是经过数据压缩后的数据包，该数据包只有经过压缩算法解压后才能使用。

以上是对本发明的优选实施例的详细说明。尽管所示和所述的典型实施例被表现为最优选，应当明白在不脱离下述权利要求限定的本公开的范围内可以进行各种改变和修改。

Claims

1、一种电网广域测量系统(WAMS)中动态数据压缩存储方法，所述方法包括数值变换处理、无损压缩、数据结构组织和存储步骤，其特征在于，所述数值变换处理包括以下步骤：

在同一厂站内，选取一个有效相量的相角作为参考相角，不进行数值变换；

除参考相角以外，其余所有元件的电压、电流相量的相角均变换为相对于参考相角的相对相角；

存储时，参考相角直接存储，其他相角存储相对相角；

相角数据调用时借助参考相角和相对相角进行还原；

所述无损压缩是以字典的索引号代替它所表示的字符串，在压缩编码的过程中自动生成字典，在解压过程中，动态形成与编码过程完全一致的解码字典，从而达到缩写数据存储空间的目的，其步骤包括：

(2)初始化字典，使其包含可能的单字符，重复(2)-(9)；

(3)读字符串；

(4)如果新串在字典中，转(5)，否则转(6)；

(5)将新串前缀字符改为新串，转(8)；

(6)将新串加入字典；

(7)输出新串前缀码；

(8)如果字典满，转(2)；

(9)如果编码完成，退出，否则转(2)；

2、根据权利要求1所述的动态数据压缩存储方法，其中采用相对相角进行压缩计算并存储。

3、根据权利要求1所述的动态数据压缩存储方法，其中数据组织步骤采用B+树算法进行数据存储和访问。

4、根据权利要求3所述的动态数据压缩存储方法，其中数据组织步骤采用关键字有序存储，关键字为任意的数据结构，并支持对数据查询、插入、删除的常数级速度。

5、根据权利要求1-4所述的数据压缩存储方法，在应用所存储的数据时包括以下步骤：

根据查询对象和时间组织索引KEY，根据索引KEY获得数据缓存；

从数据缓存中首先判断数据类型，如相应数据类型经过电力系统数值变换，则除获取数据本身的DATA外，根据参考信息REF获取REF对象的数据DATA；如相应数据类型未经过电力系统数值变换，直接获取缓存中的数据DATA；

将数据DATA进行采用无损压缩的解压算法进行数据解压；

采用电力系统反向数值变换，恢复数据原始值；

应用解压后的数据。

6、根据权利要求5所述的数据压缩存储方法，在应用数据的时候，还包括数据查询、存储结构解析、数据解压和反向数值变换过程，其中数据解压过程包括：

取待解压数据；

初始化解压字典；

通过动态生成的字典索引还原数据；

对解压结果进行逆初等变换处理；

完成解压。