CN101038303A - 一种电力波形记录数据的压缩方法 - Google Patents

Abstract

本发明公开了一种电力波形记录数据的压缩方法，压缩流程包括以下步骤：将采集的数据进行基于提升格式的整数小波变换，再对小波变换的所有数据进行哈夫曼编码；解压缩流程包括以下步骤：按位读取每一位压缩数据进行哈夫曼解码，再将解码后的进行基于提升格式的整数逆小波变换。具有计算量小、压缩率高、失真度小、压缩速度快、占用计算机资源少、可以在嵌入式系统上实现等特点，其压缩率和失真度可根据需要调节，增加了软件实现的灵活性。本发明还可以对细节信息设立门限值，实现无损压缩和有损压缩。采用本发明的电力系统波形记录装置可以在高采样率、大容量情况下结合电子硬盘技术实现长时间连续记录波形，并通过通信接口可靠快速的传输到远方。

Description

一种电力波形记录数据的压缩方法

技术领域

本发明涉及用于电力系统波形数据记录装置的实时数据压缩方法，尤其是涉及一种基于小波变换的电力波形记录数据的压缩方法。

背景技术

电力系统故障诊断、电能质量分析和电网运行状态的研究都依赖于电力波形记录数据。但目前的电力系统波形记录装置都没有采用压缩技术，只能记录故障时刻的短期数据或降低采样率记录时间小于24小时的数据，不能用电子硬盘存储长时间连续电力波形数据，只能记录故障发生时刻的暂态数据。

傅里叶变换(Fourier变换)在电能质量问题的分析中很重要，但因其不具有时域分析能力，对含有短时高频分量和长时间低频分量的电能质量信号进行分析时具有局限性。而窗口傅里叶变换的时—频窗口没有自适应性，不适于分析信号的突变过程，且其离散形式没有正交展开，难以实现高效算法。近年来发展起来的小波变换(WaveletTransform，简称WT)分析法，与傅里叶变换、视窗傅里叶变换(Gabor变换)相比，它具有良好的时间和频率的局网域变换特性，能有效的从信号中提取资讯，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析，解决了傅里叶变换不能解决的许多困难问题，被誉为“数学显微镜”，能很好地处理微弱或突变信号，特别适合于对非稳态畸变波形问题进行分析。小波变换的特点是压缩比高，压缩速度快，压缩后能保持信号与影像的特征不变，且在传递中可以抗干扰。基於小波变换的压缩方法很多，比较成功的有小波包最好基方法，小波网域纹理模型方法，小波变换零树压缩，小波变换向量压缩，基于提升格式的小波变换压缩等。但是，这些方法的应用研究仍然处于初始阶段，有必要作出进一步的改进。

发明内容

本发明所要解决的技术问题是弥补上述现有技术的缺陷，提出一种基于提升格式的小波变换的电力波形记录数据的压缩方法，以便有效地对电力信号进行多分辨率分析。

本发明的技术问题通过以下技术方案予以实现。

这种基于小波变换的电力波形记录数据的压缩方法，采用包括信号调理单元、信号采集单元、数据分析计算单元、数据存储单元和通信接口单元的电力波形记录装置；

压缩流程包括读入数据分析计算单元的数据、读取相关的配置信息、将同一通道的连续采样点数据在内存中按连续地址存放的数据预处理，以及最后的将码值输出、存储，得到压缩数据；

解压缩流程包括读入压缩数据、读取相关的配置信息信息，以及最后的将数据存放顺序还原成原始数据包中的格式的数据后处理，再将码值输出、存储，得到解压缩数据；

这种电力波形记录数据的压缩方法的特点是：

压缩流程还依次包括以下步骤：将读入的数据进行基于提升格式的整数小波变换，再对小波变换的所有数据进行哈夫曼编码；

解压缩流程还依次包括以下步骤：按位读取每一位压缩数据进行哈夫曼解码，再将解码后的进行基于提升格式的整数逆小波变换。

本发明的技术问题通过以下进一步的技术方案予以实现。

所述基于提升格式的整数小波变换是，在时域直接实现小波的构造，采用内插细分的整数小波变换进行计算。

所述内插细分的整数小波变换，采用Deslauriers-Dubuc(m，n)公式得到。

所述哈夫曼编码的流程依次有以下步骤：

(1)按顺序依次读取输入数据；

(2)统计每个数据或字符出现的频率，计算一共出现的不同数据的种数并记为n；

(3)记录n个不同数据的值；

(4)构造一个2n长的数组A来表示编码器，它把n个数据或者符号的出现频率放在从A[n+1]到A[2n]的高半段，而把最小堆放在从A[1]到A[n]的低半段，堆中的数据项是指向数组高半段频率的指针；

按数据出现频率从小到大的顺序对数组的前半部分进行排序，在每次迭代中用堆来找出两个频率最小的数据项，并用其和来替代它们；把和保存在前一个堆的位置A[h]中，这样堆就可以收缩一个位置；重复循环，直到堆中只剩下一个指针；

(5)计算每个不同数据的码长；

(6)根据范式哈夫曼编码规则构造码表和码表索引；

(7)根据码表对每一个输入数据进行编码并输出存储；

(8)存储n种不同数据的值、码表索引、n的值、输入的总数据个数。

所述哈夫曼解码的流程依次有以下步骤：

(1)读入数据配置信息，包括：总数据个数、出现的不同数据的种数n、码表索引、n种不同编码对应的原始数据；

(2)按位依次读取压缩后数据的每一位；

(3)读取压缩后的位数记为L，将这L位码的十进制数D同码表索引中码长为L的最小值码F进行比较；

若D＜L，执行步骤(4-1)；若D＞＝L，执行步骤(5-2)；

(4-1)码长L加1；是否为压缩数据最后一位：是，执行步骤(2)；否，执行步骤(5)；

(4-2)压缩后的编码为F+(D-L)，根据码表索引找到与F+(D-L)对应的原始数据，将L置为1、D置为0，输出该原始数据并存储；是否为压缩数据最后一位：是，执行步骤(5)；否，执行步骤(2)；

(5)结束循环。

所述提升格式的整数逆小波变换采用分裂、预测和更新三个步骤实现数据还原。

本发明与现有技术对比的有益效果是：

本发明结合了小波变换和哈夫曼编码数据压缩的优点，具有计算量小、压缩率高、失真度小、压缩速度快、占用计算机资源少、可以在嵌入式系统上实现等特点，且其压缩率和失真度可根据需要调节，增加了软件实现的灵活性。当电力系统暂态故障录波、稳态记录和电网动态监测的数据量较大时，数据的本地存储和远程传递非常困难，采用本发明的数据压缩方法先将记录到的波形数据进行压缩，再存储到本地或者传给调度中心，可以大大减少存储数据所占的磁盘空间和通信时间。本发明还可以根据精度要求，对细节信息设立门限值，从而得到较高的可调节压缩率，其调节参数可以分别实现无损压缩和有损压缩。采用本发明的电力系统波形记录装置可以在每通道高于1000HZ的高采样率、大于16路的大容量情况下结合电子硬盘技术实现长时间连续记录波形，并通过通信接口可靠快速的传输到远方，以便及时分析和处理故障。

附图说明

下面对照附图并结合具体实施方式对本发明作出进一步说明。

图1是采用本发明的电力波形记录装置的组成方框图；

图2是本发明的数据压缩程序流程图；

图3是本发明的数据解压缩程序流程图；

图4是本发明的哈夫曼编码和解码程序流程图。

具体实施方式

如图1所示的电力波形记录装置包括信号调理单元1、信号采集单元2、数据分析计算单元3、数据存储单元4和通信接口单元5。

信号调理单元1将输入的各种电力信号隔离，再转化为标准的弱电压信号，输入至信号采集单元2；

信号采集单元2将输入的连续变化的电压信号通过A/D转化为离散的数据信号，输入至数据分析计算单元3进行运算；

数据分析计算单元3包括采用高速浮点DSP的运算CPU，将离散的数据通过计算，判断是否故障，提取计算的特征量，将需要记录的波形数据、故障数据用小波变换压缩技术压缩；

数据存储单元4包括普通存储设备，按一定的格式分别存储用小波变换压缩技术压缩的波形数据、故障数据；

通信接口单元5将数据记录单元记录的数据按一定的通讯协议，通过RS232/RS485、电话线、Ethernet传输到其它计算机分析故障。

其压缩流程如图2所示，依次有以下步骤：

(1)读入需要压缩的数据；

(2)读取相关的配置信息；

(3)将同一通道的连续采样点数据在内存中按连续地址存放的数据预处理；

(4)将读入的数据进行基于提升格式的整数小波变换；

(5)对小波变换的所有数据进行哈夫曼编码；

(6)将码值输出、存储，得到压缩数据；

其解压缩流程如图2所示，依次有以下步骤：

(1)读入压缩数据；

(2)读取相关的配置信息；

(3)按位读取每一位压缩数据进行哈夫曼解码：

(4)将解码后的进行基于提升格式的整数逆小波变换；

(5)将数据存放顺序还原成原始数据包中的格式的数据后处理；

(6)将码值输出、存储，得到解压缩数据。

所述基于提升格式的整数小波变换的典型算法过程包括三个步骤：分裂、预测和更新。

所述分裂步骤是将原始数据 $s^j=\{s_k^j,k\∈Z\},$ 分裂成偶样本

$s^{j-1}=\{s_k^{j-1},k\∈Z\}$

和奇样本 $d^{j-1}=\{d_k^{j-1},k\∈Z\}$ 2个子集0，

即 $s_k^{j-1}=s_{2k}^j,$ $d_k^{j-1}=s_{2k+1}^j,$ s_split(s^j):＝(s^j-1，d^j-1)，

其中j∈Z⁺，d^j也称为小波集。

所述预测步骤是用所述分裂成的偶样本预测奇样本。

这种预测基于这样的事实：奇数集中的每个值s_2k+1 ^j与对应偶数集中的s_2k ^j相邻，因此相关，可以相互预测。定义预测算子P，预测过程可以表述为 $d^{j-1}=s_{2k+1}^j-P\left(s_{2k}^j\right),$ 预测算子系数可通过内插细分法得到。

所述更新步骤是寻找合适的子集s^j-1来表述原始数据s^j包括均值、能量、消失矩的特性。定义更新算子U，利用预测误差d^j-1叠加到s^j-1，即可得到近似信号s^j-1＝s^j-1+U(d^j-1)。

所述提升格式的整数逆小波变换采用重构算法，表述为：

              s^j-1＝s^j-1-U(d^j-1)

              d^j-1＝d^j-1+P(s^j-1)

              s^j＝merge(s^j-1，d^j-1)

所述基于提升格式的整数小波变换是，在时域直接实现小波的构造，具体实现同计算时采用内插细分的整数小波变换。

所述内插细分的整数小波变换，采用Deslauriers-Dubuc(m，n)公式得到j尺度下公式为：

(4，2)插值小波变换

$d_k^{j-1}=s_{2k+1}^j-\left[\frac{9(s_{2k}^j+s_{2k+2}^j)-(s_{2k-2}^j+s_{2k+4}^j)+8}{16}\right]$

$s_k^{j-1}=s_{2k}^j+\left[\frac{d_{k-1}^{j-1}+d_k^{j-1}+2}{4}\right]$

其中[]表示对数据取整，[]内的常数是对运算结果的四舍五入。[]对运算结果进行了截断，造成了信息的丢失，但是在重构过程中也利用了截断，可恢复丢失的信息，达到精确重构原始数据。

所述压缩率的调节和设置是，在完成小波变换后，可设置每一级小波变换的阈值，对变换后的细节信息，采用硬阈值去噪压缩，即将高频信息中在阈值范围以内的值强制为零。

不同的阈值设置可达到不同的压缩比和压缩精度，阈值越大，压缩比越高，同时失真会相应增大，当阈值设置为零时为无损压缩。

所述哈夫曼编码的流程依次有以下步骤：

(1)按顺序依次读取输入数据；

(2)统计每个数据或字符出现的频率，计算一共出现的不同数据的种数并记为n；

(3)记录n个不同数据的值；

(4)构造一个2n长的数组A来表示编码器，它把n个数据或者符号的出现频率放在从A[n+1]到A[2n]的高半段，而把最小堆放在从A[1]到A[n]的低半段，堆中的数据项是指向数组高半段频率的指针；

(5)按数据出现频率从小到大的顺序对数组的前半部分进行排序，在每次迭代中用堆来找出两个频率最小的数据项，并用其和来替代它们；把和保存在前一个堆的位置A[h]中，这样堆就可以收缩一个位置；重复循环，直到堆中只剩下一个指针；

(6)计算每个不同数据的码长；

(7)根据范式哈夫曼编码规则构造码表和码表索引；

(8)根据码表对每一个输入数据进行编码并输出存储；

(9)存储n种不同数据的值、码表索引、n的值、输入的总数据个数。

所述哈夫曼解码的流程依次有以下步骤：

(1)读入数据配置信息，包括：总数据个数、出现的不同数据的种数n、码表索引、n种不同编码对应的原始数据；

(2)按位依次读取压缩后数据的每一位；

(3)读取压缩后的位数记为L，将这L位码的十进制数D同码表索引中码长为L的最小值码F进行比较；

若D＜L，执行步骤(4-1)；若D＞＝L，执行步骤(5-2)；

(4-1)码长L加1；是否为压缩数据最后一位：是，执行步骤(2)；否，执行步骤(5)；

(4-2)压缩后的编码为F+(D-L)，根据码表索引找到与F+(D-L)对应的原始数据，将L置为1、D置为0，输出该原始数据并存储；是否为压缩数据最后一位：是，执行步骤(5)；否，执行步骤(2)；

(5)结束循环。

验证结果：

本具体实施方式采用5级(4，2)插值小波变换，对变换后的数据不丢弃任何细节信息，进行熵编码。

19个文件的平均压缩率为32.01％，平均压缩1M数据用时63.66015ms。对压缩前后的文件利用MD5码生成指纹码，可见压缩前后文件没有变化。电力系统暂态过程一般仅为几个通道波形变化，因此，在多通道数据记录过程中，对压缩影响不大，暂态记录文件压缩率略大于稳态文件压缩率。

其中无损压缩数据统计列表如表1

                                                表1.

文件序号	原始文件大小(Bytes)	压缩文件大小(Bytes)	压缩率％	压缩用时(ms)	每兆压缩时间(ms/M)	小波变换用时(ms)	Huffman编码用时(ms)
								1	1444736	460069	31.84	79.70147	57.8466	20.0263	59.6752
2	3255872	1030709	31.66	177.0636	57.0245	45.5217	131.5419
								3	258688	85020	32.87	15.20948	61.6507	3.1588	12.0507
…	…	…	…	…	…	…	…
								192	505280	168109	33.27	32.12811	66.6734	6.5925	25.5356
193	259712	84316	32.47	16.87617	68.1368	3.2423	13.6339
								194	516480	171501	33.21	29.91637	60.7373	7.751	22.1654
195	764032	245571	32.14	41.07198	56.3682	10.1963	30.8757

采用5级(4，2)小波变换，对变换后的细节信息，采用硬阈值去噪压缩。由于前端采用的整数变换对变换结果有截断，后面又采用硬阈值，因此会对信号产生轻微震荡。实验平均压缩率为22.46％，平均压缩1M数据用时66.099ms。采用本发明的运行压缩和解压缩程序并经过计算后的试验统计数据：稳态有损压缩A相幅值如表2、稳态有损压缩A相相角如表3、稳态有损压缩A相频率如表4、稳态有损压缩A相谐波如表5：

                        表2.

记录时间(ms)	幅值(V)	压缩后幅值(V)	误差(％)
				-12-8	61.335	61.336	0.00163
41-61	61.335	61.336	0.00163
				180-200	61.337	61.335	0.00326

                          表3.

记录时间(ms)	相角(°)	压缩后相角(°)	误差(％)
				-12-8	-27.873	27.882	0.03
41-61	-49.136	-49.136	0
				180-200	-69.016	-69.016	0

                          表4.

记录时间(ms)	频率(Hz)	压缩后频率(Hz)	误差(％)
				-12-8	49.980	49.980	0
41-61	49.983	49.983	0
				180-200	49.977	49.977	0

                                             表5.

记录时间(ms)	谐波次数			谐波幅值(V)			压缩后幅值(V)			误差(％)
													-12-8	7	29	58	0.07	0	0	0.07	0	0	0	0	0
41-61	7	29	58	0.07	0	0	0.08	0	0	28.57	0	0
													180-200	7	29	58	0.07	0	0	0.07	0	0	0	0	0

采用本发明的运行压缩和解压缩程序并经过计算后的试验统计数据：暂态有损压缩A相幅值如表6、暂态有损压缩A相相角如表7、暂态有损压缩A相频率如表8、暂态有损压缩A相谐波如表9：

                      表6.

记录时间(ms)	幅值(V)	压缩后幅值(V)	误差(％)
				-21-1	60.351	60.351	0
7-27	60.627	60.627	0
				82-102	59.876	59.876	0

                         表7.

记录时间(ms)	相角(°)	压缩后相角(°)	误差(％)
				-21-1	94.801	94.801	0
7-27	244.809	244.809	0
				82-102	146.525	146.523	0.00136

                         表8.

记录时间(ms)	频率(Hz)	压缩后频率(Hz)	误差(％)
				-21-1	50.149	50.148	0.002
7-27	50.49	50.49	0
				82-102	50.73	50.73	0

                                                                 表9.

记录时间(ms)	谐波次数			谐波幅值(V)			压缩后幅值(V)			误差(％)
													-21-1	7	29	58	0.07	0	0	0.07	0	0	0	0	0
7-27	7	29	58	0.07	0	0	0.07	0.01	0	0	100	0
													82-102	7	29	58	0.29	0.02	0.01	0.29	0.02	0.01	0	0	0

通过试验数据结果分析，该有损压缩对稳态暂态数据的影响可忽略不计。如考虑进一步提高压缩率，可丢弃部分小波细节信息。

本具体实施方式在实验环境下，平均压缩1M数据用时，有损压缩大于无损压缩2.439ms。压缩1M数据用时66ms。以96路模拟量通道波形记录装置为例，采样率在10KHz条件下，1s产生的数据量为1.831M，压缩用时为121ms，完全可以在数据处理过程中完成压缩，不影响后续录波。对比小波变换和数据编码两个过程，哈夫曼编码用时为小波变换用时的2.566倍。

以上内容是结合具体的优选实施方式对本发明作出的进一步详细说明，不能认定本发明的具体实施，只是限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (6)

1.一种电力波形记录数据的压缩方法，

采用包括信号调理单元、信号采集单元、数据分析计算单元、数据存储单元和通信接口单元的电力波形记录装置；

压缩流程包括读入数据分析计算单元的数据、读取相关通道的配置信息、将同一通道的连续采样点数据在内存中按连续地址存放的数据预处理，以及最后的将码值输出、存储，得到压缩数据；

解压缩流程包括读入压缩数据、读取相关通道的配置信息，以及最后的将数据存放顺序还原成原始数据包中的格式的数据后处理，再将码值输出、存储，得到解压缩数据；

其特征在于：

压缩流程还依次包括以下步骤：将采集的数据进行基于提升格式的整数小波变换，再对小波变换的所有数据进行哈夫曼编码；

解压缩流程还依次包括以下步骤：按位读取每一位压缩数据进行哈夫曼解码，再将解码后的进行基于提升格式的整数逆小波变换。

2.如权利要求1所述的电力波形记录数据的压缩方法，其特征在于：

所述基于提升格式的整数小波变换是，在时域直接实现小波的构造，采用内插细分的整数小波变换进行计算。

3.如权利要求1或2所述的电力波形记录数据的压缩方法，其特征在于：

所述提升格式的整数逆小波变换采用分裂(split)、预测(predict)和更新(update)三个步骤实现数据还原。

4.如权利要求3所述的电力波形记录数据的压缩方法，其特征在于：

所述内插细分的整数小波变换，采用Deslauriers-Dubuc(m，n)公式得到。

5.如权利要求4所述的电力波形记录数据的压缩方法，其特征在于：

所述哈夫曼编码的流程依次有以下步骤：

(1)按顺序依次读取输入数据；

(2)统计每个数据或字符出现的频率，计算一共出现的不同数据的种数并记为n；

(3)记录n个不同数据的值；

(4)构造一个2n长的数组A来表示编码器，它把n个数据或者符号的出现频率放在从A[n+1]到A[2n]的高半段，而把最小堆放在从A[1]到A[n]的低半段，堆中的数据项是指向数组高半段频率的指针；

按数据出现频率从小到大的顺序对数组的前半部分进行排序，在每次迭代中用堆来找出两个频率最小的数据项，并用其和来替代它们；把和保存在前一个堆的位置A[h]中，这样堆就可以收缩一个位置；重复循环，直到堆中只剩下一个指针；

(5)计算每个不同数据的码长；

(6)根据范式哈夫曼编码规则构造码表和码表索引；

(7)根据码表对每一个输入数据进行编码并输出存储；

(8)存储n种不同数据的值、码表索引、n的值、输入的总数据个数。

6.如权利要求5所述的电力波形记录数据的压缩方法，其特征在于：

所述哈夫曼解码的流程依次有以下步骤：

(1)读入数据配置信息，包括：总数据个数、出现的不同数据的种数n、码表索引、n种不同编码对应的原始数据；

(2)按位依次读取压缩后数据的每一位；

(3)读取压缩后的位数记为L，将这L位码的十进制数D同码表索引中码长为L的最小值码F进行比较；

若D＜L，执行步骤(4-1)；若D＞＝L，执行步骤(5-2)；

(4-1)码长L加1；是否为压缩数据最后一位：是，执行步骤(2)；否，执行步骤(5)；

(4-2)压缩后的编码为F+(D-L)，根据码表索引找到与F+(D-L)对应的原始数据，将L置为1、D置为0，输出该原始数据并存储；是否为压缩数据最后一位：是，执行步骤(5)；否，执行步骤(2)；

(5)结束循环。

Images