CN106790550A - 一种适用于配电网监测数据压缩的系统 - Google Patents

Abstract

本发明提供一种适用于配电网监测数据压缩的系统，包括参考监测数据列更新单元、数据残差计算单元、改进的RLE行程编码单元、HUFFMAN编码单元；其中参考监测数据列更新单元通判断配电网所处的状态，更新参考监测数据列；数据残差计算单元使用参考监测数据列更新单元输出的参考数据列，计算配电网当前监测数据与参考监测数据之间的差值，得到数据残差序列；改进的RLE行程编码单元对数据残差序列进行重排预处理，并对原始的RLE行程编码方案进行优化；HUFFMAN编码单元在RLE行程编码的基础上进一步压缩配电网监测数据。本发明通过对配电网监测数据的高效无损压缩，减少了数据传输所需的速度与流量，增强了配电网监测系统的实时性。

Description

一种适用于配电网监测数据压缩的系统

技术领域

本发明涉及数据压缩技术领域，具体地说是一种适用于配电网监测数据压缩的系统。

背景技术

随着配电网监测系统的发展，配电网监测系统的规模也变得越来越大，更多的监测节点接入配电网监测系统之中，这也就意味着更多的监测数据在配电网监测系统的通信网络上传输。一方面，对于某些较旧或规格较低的配电网监测系统而言，其通信网络较为落后，通信速率上限较低，更多的监测节点接入使其通信网络不堪重负，拥堵不堪；另一方面，大量的监测数据意味着高昂的通信费用，对于配电网监测系统而言，运行维护费用的控制是必须予以考虑的。通过对配电网监测数据进行压缩再传输，可以有效减少配电网监测系统通信网络的负担，解决通信拥堵与通信费用高昂的问题，具有重要的实际意义与经济价值。

发明内容

本发明的目的就是为了克服上述现有技术中的不足，提供一种适用于配电网监测数据压缩的系统，该系统适用于对网络传输速度与流量有限制或需要实时传输大量配电网监测数据的场合，通过对配电网监测数据的高效无损压缩，减少了数据传输所需的速度与流量，由此减少了配电网监测系统的通信费用与监测数据传输环节对网络资源的占用，增强了配电网监测系统的实时性。

本发明的发明目的是通过如下技术方案实现的。

一种适用于配电网监测数据压缩的系统，适用于配电网监测系统这种包含大量监测节点，监测数据量巨大，通信费用昂贵的场合；包括参考监测数据列更新单元、数据残差计算单元、改进的RLE行程编码单元、HUFFMAN编码单元；所述参考监测数据列更新单元依据配电网监测数据的当前值，并通过计算配电网监测数据当前值与参考值之间的差值比例，判断配电网所处的状态，更新参考监测数据列；所述数据残差计算单元使用参考监测数据列更新单元输出的参考数据列，计算配电网当前监测数据与参考监测数据之间的差值，得到数据残差序列；所述改进的RLE行程编码单元对数据残差序列进行重排预处理，使之适合RLE行程编码压缩，并对原始的RLE行程编码方案进行优化；所述HUFFMAN编码单元在RLE行程编码的基础上进一步压缩配电网监测数据。

在上述技术方案中，所述参考监测数据列更新单元用于更新参考监测数据列，更新后的参考监测数据列用于下一次的数据残差计算而不是本次数据残差计算；参考监测数据列更新单元通过计算配电网监测数据的当前监测数据中谐波分量的占比，判断配电网是否处于暂态，若谐波占比高于阈值T1，T1取0.1~0.3，依据实际工作场景而定，则说明配电网处于暂态，将当前监测数据加入参考监测数据列，并删除与当前监测数据差值最大的参考监测数据；如果依据谐波占比得出配电网不处于暂态状态，则计算当前监测数据与参考监测数据的差值比例，每一个参考监测数据都需要计算，若差值比例大于阈值T2，T2取0.1~0.5，依据实际工作场景而定，则说明配电网处于稳态过渡状态，则将当前监测数据加入参考监测数据列中，并删除距离当前时刻最远的参考监测数据；当配电网处于稳态状态时，将当前监测数据加入参考监测数据列中，并计算各个参考监测数据与参考监测数据平均值的差值，删除差值绝对值最大的参考监测数据。

在上述技术方案中，所述数据残差计算单元使用参考监测数据列更新单元上一次输出的参考监测数据列，计算配电网当前监测数据与每一个参考监测数据之间的差值，选取其中绝对值之和最小的差值，取绝对值左移一位，并将符号保存入最低位作为数据残差，输出数据残差序列的同时输出参考监测数据的索引。

在上述技术方案中，所述改进的RLE行程编码单元对数据残差序列进行重排序，按顺序依次取出所有数据残差的最高位bit，组成数据残差最高位bit序列，然后依次取出所有数据残差的次高位bit并接在数据残差最高位bit序列之后，如此反复操作，直至取完数据残差序列的所有bit，按8bit一个字节重新构成字节数据，执行改进的RLE行程编码并输出压缩数据序列；其中，改进的RLE行程编码方案如下：

(1)定义3个及以上的连续且重复出现的字节为连续重复字节；

(2)除为连续重复字节的情况外，任一字节皆为连续非重复字节；

(3)定义数据控制信息字节与数据值字节；数据控制信息字节的最高位表示数据为连续重复字节或连续非重复字节，次高位表示是否扩展数据控制信息字节，若不扩展，则数据控制信息字节为一个字节，若扩展，则数据控制信息字节的低6位表示扩展几个字节；

(4)定义RLE行程编码的格式为数据控制信息字节在前，数据值字节在后，即每组数据控制信息字节后必然跟随一组数据值字节；

(5)当连续重复字节或连续非重复字节的连续长度小于或等于64时，数据控制信息字节不扩展，长度为1，且低6位表示连续重复字节或连续非重复字节的连续长度；当连续重复字节或连续非重复字节的连续长度大于64时，数据控制信息字节扩展，其后扩展的字节表示连续重复字节或连续非重复字节的连续长度；

(6)当出现连续重复字节时，数据控制信息字节后只跟随一个数据值字节，数据值为连续重复字节的值；当出现连续非重复字节时，数据控制信息字节后跟随长度为数据控制信息字节所指示长度的数据值字节，即为对应的连续非重复字节。

在上述技术方案中，所述HUFFMAN编码单元在改进的RLE行程编码的基础上对配电网监测数据进一步压缩，当采用HUFFMAN编码后需要传输的总字节数不小于改进的RLE行程编码后总字节数的95%，则不采用HUFFMAN编码而是直接传输改进的RLE行程编码后的数据；当一个配电网监测数据节点只包含较少的监测对象时，即数据残差序列较短，会容易出现HUFFMAN编码表开销较大的情况，为了解决这个问题，当配电网处于稳态下时，无需重新编码HUFFMAN编码表，使用已储存的HUFFMAN编码表，为每个编码表设置最大寿命，以增强容错；配电网处于稳态过渡状态时，加快已储存的HUFFMAN编码表的寿命消减速度；配电网处于暂态时，为每次监测数据编码HUFFMAN编码表。

本发明与现有技术相比，其有益效果在于：对配电网监测数据进行高效无损压缩。因此，采用了该配电网监测数据压缩方案的配电网监测系统可以在不更换升级通信网络的条件下减少通信费用与网络拥堵，不仅节约了大笔的运行维护费用，还省去了额外的通信网络升级换代费用，并减少了通信网络的负担，进而提高了已有通信网络的性能。

附图说明

图1是本发明系统的结构示意图及工作方法流程图。

图2 为本发明中参考监测数据列更新单元的工作流程图。

图3为本发明实施例中输出至改进的RLE行程编码单元的数据残差序列。

图4为本发明实施例中经改进的RLE行程编码单元重排序的数据残差序列。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

如图1所示，本发明实施例提供一种适用于配电网监测数据压缩的系统，适用于配电网监测系统这种包含大量监测节点，监测数据量巨大，通信费用昂贵的场合；其特征是：包括参考监测数据列更新单元、数据残差计算单元、改进的RLE行程编码单元、HUFFMAN编码单元；所述参考监测数据列更新单元依据配电网监测数据的当前值，并通过计算配电网监测数据当前值与参考值之间的差值比例，判断配电网所处的状态，更新参考监测数据列；所述数据残差计算单元使用参考监测数据列更新单元输出的参考数据列，计算配电网当前监测数据与参考监测数据之间的差值，得到数据残差序列；所述改进的RLE行程编码单元对数据残差序列进行重排预处理，使之适合RLE行程编码压缩，并对原始的RLE行程编码方案进行优化；所述HUFFMAN编码单元在RLE行程编码的基础上进一步压缩配电网监测数据。

在上述实施例中，如图2所示，参考监测数据列更新单元更新参考监测数据列，注意，更新后的参考监测数据列用于下一次的数据残差计算而不是本次数据残差计算。通过计算配电网监测数据的当前监测数据中谐波分量的占比，判断配电网是否处于暂态。如果谐波占比高于阈值T1，T1取0.1~0.3，依据实际工作场景而定，则配电网处于暂态，配电网处于暂态意味着配电网监测数据的当前值与参考值之间差值较大，同时当前值与下一值之间的差值也会比较大；考虑到配电网监测系统的采样速度不会太慢，可以认为，多数情况下，下一值会与当前值保持相同的趋势，即当前值相对于参考值减小，下一值则会进一步减小，反之亦然；显然，处于暂态下的配电网监测数据会剧烈波动，而不是单调变化，但是，在较高的采样速率下，下一值与当前值保持一致的趋势的情况要远多于二者相反的情况，即出现下一值与当前值的差值小于下一值与当前参考值的差值的概率要远高于大于的概率，由此，当前监测数据被无条件加入参考监测数据列中，而与当前监测数据差值最大的参考监测数据被抛弃。如果依据谐波占比得出配电网不处于暂态状态，则计算当前监测数据与参考监测数据的差值比例（注意，每一个参考监测数据都需要计算）。若差值比例过大，即当前监测数据与参考监测数据差值比例大于阈值T2，T2取0.1~0.5，依据实际工作场景而定，则说明配电网的状态在发生缓慢的变化，即配电网处于稳态过渡状态，在较短时间内，配电网监测数据波动不大，但是当拉长时间尺度，就会发现配电网监测数据发生明显变化，此时需要抛弃最旧的参考监测数据，并将当前监测数据加入参考监测数据列。当配电网处于稳态状态时，删除偏离参考监测数据列平均值最远的参考监测数据，将当前监测数据加入参考监测数据列。

在上述实施例中，数据残差计算单元使用参考监测数据列更新单元上一次输出的参考监测数据列，计算配电网当前监测数据与每一个参考监测数据之间的差值，选取其中绝对值之和最小的差值，取绝对值左移一位，并将符号保存入最低位作为数据残差（如图3所示），输出数据残差序列的同时输出参考监测数据的索引。

在上述实施例中，改进的RLE行程编码单元对数据残差序列进行重排序，按顺序依次取出所有数据残差的最高位bit，组成数据残差最高位bit序列，然后依次取出所有数据残差的次高位bit并接在数据残差最高位bit序列之后，如此反复操作，直至取完数据残差序列的所有bit，按8bit一个字节重新构成字节数据（如图4所示），执行改进的RLE行程编码并输出压缩数据序列。改进的RLE行程编码方案如下：

1.定义3个及以上的连续且重复出现的字节连续重复字节。

2.除为连续重复字节的情况外，任一字节皆为连续非重复字节。

3.定义数据控制信息字节与数据值字节，数据控制信息字节的最高位表示数据为连续重复字节或连续非重复字节，次高位表示是否扩展数据控制信息字节，若不扩展，则数据控制信息字节为一个字节，若扩展，则数据控制信息字节的低6位表示扩展几个字节。

4.定义RLE行程编码的格式为数据控制信息字节在前，数据值字节在后，即每组数据控制信息字节后必然跟随一组数据值字节。

5.当连续重复字节或连续非重复字节的连续长度小于或等于64时，数据控制信息字节不扩展，长度为1，且低6位表示连续重复字节或连续非重复字节的连续长度；当连续重复字节或连续非重复字节的连续长度大于64时，数据控制信息字节扩展，其后扩展的字节表示连续重复字节或连续非重复字节的连续长度。

6.当出现连续重复字节时，数据控制信息字节后只跟随一个数据值字节，数据值为连续重复字节的值；当出现连续非重复字节时，数据控制信息字节后跟随长度为数据控制信息字节所指示长度的数据值字节，即为对应的连续非重复字节。

在上述实施例中，HUFFMAN编码单元在改进的RLE行程编码的基础上对配电网监测数据进一步压缩，由于需要传输HUFFMAN编码表，占用了额外的开销，因此，当采用HUFFMAN编码后需要传输的总字节数不小于改进的RLE行程编码后总字节数的95%，则不采用HUFFMAN编码而是直接传输改进的RLE行程编码后的数据。当一个配电网监测数据节点只包含较少的监测对象时，即数据残差序列较短，会容易出现HUFFMAN编码表开销较大的情况。为了解决这个问题，可以重复利用已编码好的HUFFMAN编码表。可以认为，稳态下的数据残差值服从相同分布，因此，当配电网处于稳态下时，无需重新编码HUFFMAN编码表，使用已储存的HUFFMAN编码表，为每个编码表设置最大寿命，以增强容错；当配电网处于稳态过渡状态时，加快已储存的HUFFMAN编码表的寿命消减速度；当配电网处于暂态时，需要为每次监测数据编码HUFFMAN编码表。

下面以一组具体的数据为例描述配电网监测数据压缩方案的具体实施方法。

表1显示了一个配电网监测点在一个周期内的监测数据。

表1 配电网监测数据

表1（续）配电网监测数据

其中，第一列表示实际的配电网监测数据，第二列与第三列表示经过预处理的配电网监测数据，分别为十进制与十六进制的表示形式，采用两个字节16位无符号整型表示；实际的配电网数据值x由式1确定，其中， 为幅值，为频率，为相位，为白噪声平方和，经预处理输入的配电网监测数据值D由式2确定，A为一个数据转换常量，用于将实际的配电网数据值映射到区间0x0000~0xFFFF。显然，D值大于0x8000的数据值表示正值，小于0x8000的数据值表示负值。

需要注意的是，本发明中所提出配电网监测数据压缩方案是对多个监测点同一时刻的数据进行压缩，如表2所示数据。

表2同时刻多个配电网监测点的数据

对表2所示的数据进行残差计算，得到表3所示的数据如下。

表3由表2得到的残差数据

按照图3与图4所示方法进行重排序得到表4所示的数据。

表4重排序后的残差数据

表4（续1）重排序后的残差数据

表4（续2）重排序后的残差数据

表4（续3）重排序后的残差数据

执行改进的RLE行程编码，得到最终输出数据8C 00 16 FF FF 3C 80 03 FE DF 43 A2A0 B3 E0 0E 62 5B 9F 17 C3 AA 8B FF FF共计25个字节，较原数据32个字节减少了7个字节，实现了数据压缩（1.本实例所示数据量过小，执行HUFFMAN编码不能带来压缩比的提升，因此在本实例中经改进的RLE行程编码输出的数据即为最终数据。2.实验样本数量越大，压缩效果越好，本实例中实验样本数量仅为16个，因此压缩效果也有限）。

Claims (5)

1.一种适用于配电网监测数据压缩的系统，其特征是：包括参考监测数据列更新单元、数据残差计算单元、改进的RLE行程编码单元、HUFFMAN编码单元；所述参考监测数据列更新单元依据配电网监测数据的当前值，并通过计算配电网监测数据当前值与参考值之间的差值比例，判断配电网所处的状态，更新参考监测数据列；所述数据残差计算单元使用参考监测数据列更新单元输出的参考数据列，计算配电网当前监测数据与参考监测数据之间的差值，得到数据残差序列；所述改进的RLE行程编码单元对数据残差序列进行重排预处理，使之适合RLE行程编码压缩，并对原始的RLE行程编码方案进行优化；所述HUFFMAN编码单元在RLE行程编码的基础上进一步压缩配电网监测数据。

2.根据权利要求1所述的适用于配电网监测数据压缩的系统，其特征是：所述参考监测数据列更新单元用于更新参考监测数据列，更新后的参考监测数据列用于下一次的数据残差计算而不是本次数据残差计算；参考监测数据列更新单元通过计算配电网监测数据的当前监测数据中谐波分量的占比，判断配电网是否处于暂态，若谐波占比高于阈值T1，则说明配电网处于暂态，将当前监测数据加入参考监测数据列，并删除与当前监测数据差值最大的参考监测数据；如果依据谐波占比得出配电网不处于暂态状态，则计算当前监测数据与参考监测数据的差值比例，每一个参考监测数据都需要计算，若差值大比例于阈值T2，则说明配电网处于稳态过渡状态，则将当前监测数据加入参考监测数据列中，并删除距离当前时刻最远的参考监测数据；当配电网处于稳态状态时，将当前监测数据加入参考监测数据列中，并计算各个参考监测数据与参考监测数据平均值的差值，删除差值绝对值最大的参考监测数据；其其中T1取0.1~0.3，T2取0.1~0.5，具体取值依据实际工作场景而定。

3.根据权利要求1所述的适用于配电网监测数据压缩的系统，其特征是：所述数据残差计算单元使用参考监测数据列更新单元上一次输出的参考监测数据列，计算配电网当前监测数据与每一个参考监测数据之间的差值，选取其中绝对值之和最小的差值，取绝对值左移一位，并将符号保存入最低位作为数据残差，输出数据残差序列的同时输出参考监测数据的索引。

4.根据权利要求1所述的适用于配电网监测数据压缩的系统，其特征是：所述改进的RLE行程编码单元对数据残差序列进行重排序，按顺序依次取出所有数据残差的最高位bit，组成数据残差最高位bit序列，然后依次取出所有数据残差的次高位bit并接在数据残差最高位bit序列之后，如此反复操作，直至取完数据残差序列的所有bit，按8bit一个字节重新构成字节数据，执行改进的RLE行程编码并输出压缩数据序列；其中，改进的RLE行程编码方案如下：

(1)定义3个及以上的连续且重复出现的字节为连续重复字节；

(2)除为连续重复字节的情况外，任一字节皆为连续非重复字节；

(3)定义数据控制信息字节与数据值字节；数据控制信息字节的最高位表示数据为连续重复字节或连续非重复字节，次高位表示是否扩展数据控制信息字节，若不扩展，则数据控制信息字节为一个字节，若扩展，则数据控制信息字节的低6位表示扩展几个字节；

(4)定义RLE行程编码的格式为数据控制信息字节在前，数据值字节在后，即每组数据控制信息字节后必然跟随一组数据值字节；

(5)当连续重复字节或连续非重复字节的连续长度小于或等于64时，数据控制信息字节不扩展，长度为1，且低6位表示连续重复字节或连续非重复字节的连续长度；当连续重复字节或连续非重复字节的连续长度大于64时，数据控制信息字节扩展，其后扩展的字节表示连续重复字节或连续非重复字节的连续长度；

(6)当出现连续重复字节时，数据控制信息字节后只跟随一个数据值字节，数据值为连续重复字节的值；当出现连续非重复字节时，数据控制信息字节后跟随长度为数据控制信息字节所指示长度的数据值字节，即为对应的连续非重复字节。

5.根据权利要求1所述的适用于配电网监测数据压缩的系统，其特征是：所述HUFFMAN编码单元在改进的RLE行程编码的基础上对配电网监测数据进一步压缩，当采用HUFFMAN编码后需要传输的总字节数不小于改进的RLE行程编码后总字节数的95%，则不采用HUFFMAN编码而是直接传输改进的RLE行程编码后的数据；当一个配电网监测数据节点只包含较少的监测对象时，即数据残差序列较短，会容易出现HUFFMAN编码表开销较大的情况，为了解决这个问题，当配电网处于稳态下时，无需重新编码HUFFMAN编码表，使用已储存的HUFFMAN编码表，为每个编码表设置最大寿命，以增强容错；配电网处于稳态过渡状态时，加快已储存的HUFFMAN编码表的寿命消减速度；配电网处于暂态时，为每次监测数据编码HUFFMAN编码表。