CN102158485A - 一种局部放电在线监测数据的压缩方法 - Google Patents
一种局部放电在线监测数据的压缩方法 Download PDFInfo
- Publication number
- CN102158485A CN102158485A CN2011100789803A CN201110078980A CN102158485A CN 102158485 A CN102158485 A CN 102158485A CN 2011100789803 A CN2011100789803 A CN 2011100789803A CN 201110078980 A CN201110078980 A CN 201110078980A CN 102158485 A CN102158485 A CN 102158485A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring data
- row
- partial discharge
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供的局部放电在线监测数据的压缩方法首先从局部放电监测装置采集监测数据;按照预定的行宽和行高将所采集的监测数据进行存储;然后根据所存储的监测数据的行宽和行高判断所述监测数据的行的相关性和列的相关性;接着根据判断结果使用异或算法对所述监控数据进行相关性处理;最后将相关性处理后的压缩数据进行存储。本发明可减少数据的失真度,并具有较高的数据压缩效率。
Description
技术领域
本发明涉及数据压缩技术,尤其涉及用于低速现场总线的数据压缩方法。
背景技术
对高压电气设备内部的局部放电信号进行在线监测,可及时发现潜伏性绝缘缺陷,避免重大事故的发生。由于局部放电脉冲信号频率较高,在监测时通常需采用较高采样频率的模数转换器,势必会造成较大的采集数据量。早期的局部放电在线监测装置大都采用集中式监测结构,使用高性能计算机进行数据处理,并用高速以太网络进行数据传输,数据处理及传输的能力较强,故通常不需考虑对监测数据进行压缩的问题。
近年来,采用分布式现场总线结构的在线监测装置,已逐渐被推广应用,它较好地解决了以往集中式监测结构所存在的诸多问题。但由于目前分布式在线监测装置大多都采用RS485或CAN2.0B现场总线来传输监测数据,且为保证具有足够远的传输距离,通常需使用较低的数据传输速率,在用于传输数据量较大的局部放电监测信号时,必然会影响数据传输的效率。为此,提出了一种无损的局部放电监测数据实时压缩技术,以便可通过传输速率较低的现场总线,快速传送各个就地智能监测单元所获得的局部放电监测数据。在局部放电数据处理时,通常采用阈值压缩法,即需要预先设置压缩阈值,对低于阈值的采集数据进行有损压缩。压缩方法是将低于阈值的数据置为一固定数据,这样在采集数据中就会含有较多的固定数据,此时仅需采用编码统计的数据压缩方式,就可降低数据量,达到压缩监测数据的目的。
但是,阈值压缩法属有损压缩技术。数据压缩率越高,信息的损失或失真就越大,故在使用时通常需要综合考虑这两个因素,通过折中方式来找到平衡点,往往无法获得较理想的使用效果。
发明内容
本发明提供一种局部放电在线监测数据的压缩方法,可减少数据的失真度,并具有较高的数据压缩效率。
本发明提供的局部放电在线监测数据的压缩方法,包括步骤:
从局部放电监测装置采集监测数据;
按照预定的行宽和行高将所采集的监测数据进行存储;
根据所存储的监测数据的行宽和行高判断所述监测数据的行的相关性和列的相关性;
根据判断结果使用异或算法对所述监控数据进行相关性处理;
将相关性处理后的压缩数据进行存储。
本发明可在保证较高压缩效率的前提下,最大限度地保留了局部放电监测数据的关键信息,便于通过速率较低的现场总线来传输这些监测数据。
进一步,当所述监控数据行的相关性高于列的相关性时,存储所述压缩数据时的行宽设置为进行异或处理的行宽;当监控数据的列的相关性高于行的相关性时,存储所述压缩数据时的行高设置为异或处理的行高。
进一步,作为一个实施例,本发明还可以包括步骤:将所存储的所述压缩数据通过游程二进制算法进行压缩。
其中,所述步骤按照预定的行宽和行高将所采集的监测数据进行存储之后还可以包括:将所采集的监控数据进行统计,对字符出现概率超过预定阈值时和0进行互换。
另外,作为另一个实施例,本发明还可以还包括:对通过游程二进制算法进行压缩后的数据通过LZW算法进行压缩。
进一步,在上述两个实施例的基础上,本发明还可以包括:对通过游程二进制算法进行压缩后的数据通过哈夫曼算法进行压缩。
在传输局部放电监测数据时,先使用XOR算法对采集到的数据进行相关性预处理,用RL-B算法进行初步压缩,然后再用Huffman算法或LZW算法进行数据压缩,最终实现在较低通讯速率的现场总线上高效传输这些局部放电监测数据。
附图说明
图1为本发明局部放电在线监测数据的压缩方法的流程图。
具体实施方式
由于局部放电脉冲信号频率较高,在监测时通常需采用较高采样频率的模数转换器,势必会造成较大的采集数据量,故只有采取数据压缩技术,方可在通讯速率较低的现场总线上,快速传输这些局部放电监测数据。为解决现有阈值压缩法在信号失真度与压缩效率之间的矛盾,本发明提出了一种局部放大在线监测数据的压缩方法,可最大限度地减少数据的失真性,并具有较高的数据压缩效率。
本发明综合考虑了局部放电监测数据的特点和现场总线的传输性能,兼顾了压缩比、实时性等多方面的要求,提出一种适用于低速现场总线传输的数据压缩方法。
实施例1:本发明的局部放电在线监测数据的压缩方法,首先从局部放电监测装置采集监测数据(步骤1),然后按照预定的行宽和行高将所采集的监测数据进行存储(步骤2);根据所存储的监测数据的行宽和行高判断所述监测数据的行的相关性和列的相关性(步骤3);根据判断结果使用异或XOR算法对行的监控数据进行相关性处理(步骤4);将相关性处理后的压缩数据进行存储(步骤5)。
由于确定了监测数据的行的宽度或行的高度,从而可以确定相邻行或列之间的相关性。因为总的监测数据的数据源的大小已知,因此确定了行高也就确定了行的宽度,同样,确定了行的宽度也就确定了行的高度。本发明对相关性较强的数据行进行异或,消除行与行之间的相关性,则可使数据更集中,从而实现更大的压缩比。
作为一个优选实施例,当监控数据行的相关性比较高时,步骤5存储压缩数据时的行宽可以设置为XOR的行宽;而当监控数据的列的相关性比较高时,步骤5存储压缩数据时的行高可设置为XOR的行高,取得比较好的压缩效果。
以下列举一个实例:例如所采集的数据为:
ff fe fd fc fb fa fb d7 ff ff
ff fe fd fc fb fa fc d7 ff ff
ff fe fd fc fb fc fc c7 ff ff
相邻两行进行异或后数据为:
ff fe fd fc fb fa fb d7 ff ff
00 00 00 00 00 00 07 00 00 00
00 00 00 00 00 06 00 70 00 00
比较相邻两行变换前后的数据,可发现后者数据的上下行之间的相关性较小,而且转换后的数据出现大量的相似数据0,从而可以对0字符进行压缩,实现高压缩比。
实施例2:本实施例在实施例1的基础上做了进一步的改进,在执行步骤4之后进一步对相关性处理后的数据通过RL-B(Run Length To Binar,游程二进制)算法进行进一步的压缩。
作为该实施例的一个优选实施例,为了使步骤1所采集的原始的监控数据中高出现概率字符与因为XOR后出现的0可以统一做一次RL-B压缩。在步骤3之前,将所采集的原始的监控数据进行统计,对字符出现概率超过M时(M的取值可以根据用户的不同需求设定,例如可以取M=40%),和0进行互换。例如,假设这个高出现概率字符为0xff,就让0xff和0互换(表示为0xff<->0)。
为了显示本实施例的压缩效果,见下表所示:
如对局放谱图数据(此数据为512*160点数)做变换,元数据为10240字节,假设这个高出现概率字符为0xff,结果可见表1。
表1对单数据源文件按不同压缩方案的处理结果
RL-B | |
XOR | 4908 |
0xff<->0+XOR | 4695 |
XOR+0xff<->0(1) | 4717 |
表中:
XOR:表示只对RL-B压缩算法前的监控数据进行XOR变换。
0xff->0+XOR:表示先对原始的监控数据整体做0xff和0互换,然后进行XOR变换。
XOR+0xff<->0(1):表示先对原始的监控数据做XOR变换,然后对XOR变换后的数据的第一行数据进行0xff和0互换。
RL-B:表示XOR处理之后进行RL-B压缩。
实施例3:作为对实施例2的进一步的改进,本实施例在RL-B压缩处理后进一步对数据通过LZW(Lempel-Ziv-Welch Encoding)算法进行进一步的压缩。
同样,为了显示本实施例的压缩效果,见下表所示:
如对局放谱图数据(此数据为512*160点数)做变换,元数据为10240字节,假设这个高出现概率字符为0xff,结果可见表2。
表2对单数据源文件按不同压缩方案的处理结果
RL-B | RL-B+LZW | |
XOR | 4908 | 4497 |
0xff<->0+XOR | 4695 | 4596 |
XOR+0xff<->0(1) | 4717 | 4468 |
RL-B+LZW:表示对XOR处理之后的监控数据使用RL-B算法压缩,再对RL-B算法压缩之后的监控数据使用LZW算法压缩。
实施例4:作为对实施例2的进一步的改进,本实施例在RL-B压缩处理后进一步对数据通过Huffman(哈夫曼)算法进行进一步的压缩。
同样,为了显示本实施例的压缩效果,见下表所示:
如对局放谱图数据(此数据为512*160点数)做变换,元数据为10240字节,假设这个高出现概率字符为0xff,结果可见表3。
表3对单数据源文件按不同压缩方案的处理结果
RL-B | RL-B+HUFFMAN | |
XOR | 4908 | 3679 |
0xff<->0+XOR | 4695 | 3699 |
XOR+0xff<->0(1) | 4717 | 3561 |
RL-B+Huffman:表示XOR处理之后的数据使用RL-B算法压缩,再对RL-B算法压缩之后的数据使用Huffman算法压缩。
可以看出,数据源为10240字节,经XOR+0xff<->0(1)变换处理,RL-B+Huffman算法压缩后为3561字节,最大压缩比为(10240-3561)/10240*100%=65.2%。
另外,在实施例1中步骤2中预先确定的行高和行宽可以根据用户对压缩率的要求不同而选择不同的数值。以下是设置不同的行高时的处理结果
表4为对局放谱图数据文件按照不同行高的处理结果
本发明技术方案可在保证较高压缩效率的前提下,最大限度地保留了局部放电监测数据的关键信息,便于通过速率较低的现场总线来传输这些监测数据。
以上所述的本发明实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围之内。
Claims (6)
1.一种局部放电在线监测数据的压缩方法,其特征在于,包括步骤:
从局部放电监测装置采集监测数据;
按照预定的行宽和行高将所采集的监测数据进行存储;
根据所存储的监测数据的行宽和行高判断所述监测数据的行的相关性和列的相关性;
根据判断结果使用异或算法对所述监控数据进行相关性处理;
将相关性处理后的压缩数据进行存储。
2.根据权利要求1所述的局部放电在线监测数据的压缩方法,其特征在于:
当所述监控数据行的相关性高于列的相关性时,存储所述压缩数据时的行宽设置为进行异或处理的行宽;当监控数据的列的相关性高于行的相关性时,存储所述压缩数据时的行高设置为异或处理的行高。
3.根据权利要求1所述的局部放电在线监测数据的压缩方法,其特征在于,所述步骤还包括:
将所存储的所述压缩数据通过游程二进制算法进行压缩。
4.根据权利要求3所述的局部放电在线监测数据的压缩方法,其特征在于,所述步骤按照预定的行宽和行高将所采集的监测数据进行存储之后还包括:
将所采集的监控数据进行统计,对字符出现概率超过预定阈值时和0进行互换。
5.根据权利要求3或4所述的局部放电在线监测数据的压缩方法,其特征在于,所述步骤还包括:
对通过游程二进制算法进行压缩后的数据通过LZW算法进行压缩。
6.根据权利要求3或4所述的局部放电在线监测数据的压缩方法,其特征在于,所述步骤还包括:
对通过游程二进制算法进行压缩后的数据通过哈夫曼算法进行压缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100789803A CN102158485A (zh) | 2011-03-30 | 2011-03-30 | 一种局部放电在线监测数据的压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100789803A CN102158485A (zh) | 2011-03-30 | 2011-03-30 | 一种局部放电在线监测数据的压缩方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102158485A true CN102158485A (zh) | 2011-08-17 |
Family
ID=44439668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100789803A Pending CN102158485A (zh) | 2011-03-30 | 2011-03-30 | 一种局部放电在线监测数据的压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102158485A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116032294A (zh) * | 2023-02-23 | 2023-04-28 | 山东安之捷科技有限公司 | 一种用于大气监测数据的智能处理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1102494A2 (en) * | 1999-11-16 | 2001-05-23 | Sony United Kingdom Limited | Data processor and data processing method |
CN101039374A (zh) * | 2006-03-14 | 2007-09-19 | 联想(北京)有限公司 | 一种图像无损压缩和图像解压缩方法 |
CN101908910A (zh) * | 2010-07-16 | 2010-12-08 | 珠海中慧微电子有限公司 | 用于低压电力线载波通信的地址数据压缩算法 |
-
2011
- 2011-03-30 CN CN2011100789803A patent/CN102158485A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1102494A2 (en) * | 1999-11-16 | 2001-05-23 | Sony United Kingdom Limited | Data processor and data processing method |
CN101039374A (zh) * | 2006-03-14 | 2007-09-19 | 联想(北京)有限公司 | 一种图像无损压缩和图像解压缩方法 |
CN101908910A (zh) * | 2010-07-16 | 2010-12-08 | 珠海中慧微电子有限公司 | 用于低压电力线载波通信的地址数据压缩算法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116032294A (zh) * | 2023-02-23 | 2023-04-28 | 山东安之捷科技有限公司 | 一种用于大气监测数据的智能处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104168085B (zh) | 一种基于冗余熵变换的数据压缩方法 | |
ATE547885T1 (de) | Technik zum komprimieren eines kopffelds in einem datenpaket | |
CN101198055A (zh) | 一种编码方法及编码器 | |
CN104796155A (zh) | 数据压缩方法及装置 | |
CN102411677A (zh) | 一种基于浮动车数据采集的预处理方法 | |
CN102938685A (zh) | 一种基于变长编码的无线传感器网络数据压缩方法 | |
CN108234464B (zh) | 用于信号集中监测系统的采集数据高效压缩方法 | |
CN104702369A (zh) | 一种处理信号样点数据的方法及装置 | |
CN103795421A (zh) | 一种数据压缩及解压缩的方法 | |
CN110535846A (zh) | 一种基于dl/t698.45协议的数据帧压缩方法和系统 | |
CN110233626A (zh) | 基于二维自适应量化的机械振动信号边缘数据无损压缩方法 | |
CN102082576A (zh) | 电能质量信号的数据处理装置及数据压缩和解压缩方法 | |
CN102158485A (zh) | 一种局部放电在线监测数据的压缩方法 | |
Abdelaal et al. | An efficient and adaptive data compression technique for energy conservation in wireless sensor networks | |
Zainuddin et al. | Nanonetwork minimum energy coding | |
CN116915873A (zh) | 基于物联网技术的高速电梯运行数据快速传输方法 | |
CN104935406B (zh) | 一种智能电网通信的数据压缩及解压缩方法和智能电网通信系统 | |
CN103763736A (zh) | 一种基于ZigBee技术的无线实时语音高品质传输装置和方法 | |
CN104050968B (zh) | 一种嵌入式音频采集端aac音频编码方法 | |
CN102325252B (zh) | 基于最优小波包的联合信源信道编码方法及图像传输系统 | |
CN102347944A (zh) | 基于小波算法的心电信号传输方法和系统 | |
CN109379401A (zh) | 基于Kafka的原始流量存储装置 | |
CN109379376B (zh) | 基于数据压缩的无线电监测设备、系统及数据压缩方法 | |
CN105306066B (zh) | 基于泰勒级数估计的油井数据无损压缩方法 | |
CN116054840B (zh) | 一种json字符串数据压缩方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110817 |