CN105915226A - 一种录波数据的处理方法及系统 - Google Patents
一种录波数据的处理方法及系统 Download PDFInfo
- Publication number
- CN105915226A CN105915226A CN201610270654.5A CN201610270654A CN105915226A CN 105915226 A CN105915226 A CN 105915226A CN 201610270654 A CN201610270654 A CN 201610270654A CN 105915226 A CN105915226 A CN 105915226A
- Authority
- CN
- China
- Prior art keywords
- coding
- range
- data
- record
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3002—Conversion to or from differential modulation
Abstract
一种录波数据的处理方法及系统,方法包括数据压缩步骤,具体包括数据差分运算;对差分值提取符号位合并成符号字存储;等分差分绝对值为差分片段,统计出现次数并以其为权重生成片段霍夫曼编码树;统计量程出现次数并以其为权重生成量程霍夫曼编码树;根据霍夫曼编码树对差分片段及量程进行编码并存储;波形数据压缩文件存储结构包括记录头和记录体,记录头包括记录基本信息、编码树信息和编码区信息,记录体包括编码树区、符号编码区、量程编码区和差分编码区;系统包括CPU处理器、分别与CPU连接的采样系统、外部存储器和录波触发系统。本发明压缩率受波形畸变影响较小,适合状态量和模拟量的混合压缩,耗费内存小,编解码耗时少,实施成本低。
Description
技术领域
本发明涉及一种对录波数据进行压缩和解压的方法,还涉及一种对录波数据进行处理的系统。
背景技术
录波一般用于电力系统或电力电子系统的电气量故障检测,当故障或其它触发源触发记录时,检查设备记录下所需电气量的波形,以便对电气量进行分析。由于录波的波形数据长度较大,数据重复且存在较大相关性,因此,需要对波形数据进行压缩,以节省存储空间和数据传输时间。
专利号为201110417346.8的中国专利公开了“一种基于扰动指示器的故障录波数据压缩方法”,该方法在故障扰动出现时,向前追溯5毫秒并采用一阶差分或二阶差分对数据进行压缩。
上述现有录波数据压缩方法存在如下缺陷,由于该方法基于一阶或二阶差分算法,当录波的波形存在较大畸变时,会造成差分值的数值分布范围分散,给差分值的编码效率造成较大的影响,使得数据压缩率低。
发明内容
本发明要解决的技术之一问题是,提供一种录波数据的处理方法,克服现有技术对较大畸变波形压缩率低的缺陷。
本发明要解决的技术之二问题是,提供一种录波数据的处理系统,克服现有技术对较大畸变波形压缩率低的缺陷。
本发明解决其技术问题之一所采用的技术方案是:提供一种录波数据的处理方法,其特征在于,包括数据压缩步骤,该数据压缩步骤包括:
SPA1、CPU对波形数据进行一阶或二阶差分运算,其中,一阶差分方程为Y(k)=X(k)-X(k-1),二阶差分方程为Z(k)=Y(k)-Y(k-1)=X(k)-2X(k-1)+X(k-2);
SPA2、对差分值提取符号位,合并到符号字中并写入外部存储器的符号区;将差分绝对值等分成若干个差分片段,片段位长为字长的约数,第一个非零片段及以后片段的个数为量程;
对差分片段进行出现次数统计,以片段出现次数为权重生成片段霍夫曼编码树;对量程进行出现次数统计,以量程出现次数为权重生成量程霍夫曼编码树;
根据片段霍夫曼编码树得到差分片段编码并压缩,将压缩的片段编码按bit位合成编码序列暂存至外部存储器的差分编码区;
根据量程霍夫曼树对量程进行编码并压缩,将压缩的量程编码按bit位合并成编码序列暂存至外部存储器的量程编码区;
所述波形数据压缩文件的存储结构包括记录头和记录体,记录头包括记录基本信息、编码树信息和编码区信息,记录体包括编码树区、符号编码区、量程编码区和差分编码区;所述压缩文件的文件头记录符号区、量程编码区、差分编码区的起始地址和长度,并记录量程编码树和差分编码树。
在本发明的录波的数据处理方法中,包括数据解压步骤,该数据解压步骤包括:
SPB1、从波形数据压缩文件记录头中的编码树地址和长度取得量程编码树和差分编码树;
SPB2、从量程编码区地址和长度找到量程编码区,用量程编码树对量程码进行解码得到波形数据差分值量程;
从差分编码区地址和长度找到差分编码区,用差分编码树对差分片段码进行解码得到波形数据差分值片段;
从符号区地址和长度找到符号区,从符号字中分离出波形数据差分值符号位;
SPB3、用所述波形数据的差分值符号位、量程和差分值片段合成差分值,通过所述差分方程得到波形数据原始值。
本发明解决其技术问题之二所采用的技术方案是:提供一种录波数据的处理系统,其特征在于,包括CPU处理器、分别与该CPU处理器连接的采样系统、外部存储器和录波触发系统;其中,在录波触发后,
由所述采样系统完成波形原始数据记录;
由所述CPU完成数据压缩,并将压缩结果暂存在所述外部存储器中;
所述波形数据压缩文件在该外部存储器中的存储结构为,该波形数据压缩文件包括记录头和记录体,该记录头包括记录基本信息、编码树信息和编码区信息;该记录体包括编码树区、符号编码区、量程编码区和差分编码区。
在本发明的录波数据的处理系统中,所述记录基本信息包括记录标识、触发时刻、触发源号、录波采样点数量和录波通道数;
所述编码树信息包括量程编码树地址和长度、差分值编码树地址和长度;
所述编码区信息包括量程编码区地址和长度、差分值编码区地址和长度。
实施本发明的录波的数据处理方法及系统,与现有技术比较,其有益效果是:
1、录波的数据处理方法实测压缩结果如表1所示:
表1:压缩率
波形 | 锯齿波 | 定频正弦波 | 变频正弦波 | 现场波形 |
压缩率% | 28.62 | 54.36 | 59.55 | 28.61 |
测试条件为:二阶差分压缩;原始数据长度1920k*16bit;不同幅值的锯齿波,正弦波幅值相同,现场波形为正弦波和状态量的组合。从表中看出,实际应用中现场录波具有较高的压缩率;同时该压缩方法占用较少的MCU内部资源,占用内部存储空间512字,ROM空间1500字,适用于MCU平台;
2、本录波数据的处理方法克服了现有技术缺陷,压缩率受波形畸变影响较小,适用于状态量和模拟量的混合压缩;
3、通过量程将宽范围的差分绝对值切成若干个相同的较小数据范围的差分片段,大大增加编码和解码效率,减小数据处理复杂度,耗费内存小,编码及解码耗时少。
4、系统简洁,实施成本低。
附图说明
图1是本发明录波数据的处理方法中数据压缩及解压原理图。
图2是本发明录波数据处理系统的系统框图。
图3是本发明录波数据的处理方法中原始波形数据的存储原理图。
图4是本发明录波数据的处理方法中压缩后记录的数据结构图。
具体实施方式
下面将结合附图及实施例对本发明作进一步说明。
如图1所示,本发明录波数据的处理方法的数据压缩包括:
首先,对原始波形数据进行一阶或二阶差分运算,其中,一阶差分方程为Y(k)=X(k)-X(k-1),二阶差分方程为Z(k)=Y(k)-Y(k-1)=X(k)-2X(k-1)+X(k-2)。
然后,对差分结果提取出符号位和差分绝对值,符号位由1bit位组成,按字组合成符号序列存入外部存储器的符号区。
将每个差分值的绝对值按bit位等分成若干个差分值片段,每个差分值片段位长为n,n取字长的约数。例如,字长一般为16bit、32bit或64bit,片段位长n一般为4bit或8bit等。由高位到低位,从第一个非零片段开始计数的片段个数即为量程。
对整条记录的所有片段进行出现次数统计,按次数排序,以出现的次数为权重,用动态霍夫曼编码对片段字符进行编码,生成片段霍夫曼编码树,出现次数多的片段码长小,相反出现次数少的片段码长大,将差分片段进行压缩,结果按字组合成差分片段编码序列,然后存入外部存储器压缩文件的差分编码区。
对量程进行霍夫曼编码,以量程出现次数为权重生成量程霍夫曼编码树,出现次数多的量程用较短的码长表示,反之,出现次数少的量程用较长的码长表示,将量程位进行压缩,结果按字组合成量程码序列,然后存入外部存储器压缩文件的量程编码区。
当录波触发后,波形数据被锁定,波形数据的存储格式如图3所示。
如图4所示,波形数据压缩文件的存储结构包括记录头和记录体,记录头包括记录基本信息、编码树信息和编码区信息,记录体包括编码树区、符号编码区、量程编码区和差分编码区。其中,记录基本信息包括记录标识、触发时刻、触发源号、录波采样点数量和录波通道数;编码树信息包括量程编码树地址和长度、差分值编码树地址和长度;编码区信息包括量程编码区地址和长度、差分值编码区地址和长度。
压缩文件的文件头记录符号区、量程编码区、差分编码区的起始地址和长度,并记录量程编码树和差分编码树。
如图1所示,本发明录波数据的处理方法中的数据解压包括:
首先,从外部存储器波形数据压缩文件记录头中的编码树地址和长度取得量程编码树和差分编码树。
然后,从量程编码区地址和长度找到量程编码区,用量程编码树对量程码进行解码得到波形数据差分值量程;
从差分编码区地址和长度找到差分编码区,用差分编码树对差分片段码进行解码得到波形数据差分值片段;
从符号区地址和长度找到符号区,从符号字中分离出波形数据差分值符号位;
然后,根据上述波形数据差分值符号位、量程和差分值片段合成差分值,通过差分方程得到波形数据的原始值。
如图2所示,本发明的录波数据处理系统包括CPU处理器、分别与该CPU处理器连接的采样系统、外部存储器和录波触发系统。
在录波触发后,由采样系统完成波形原始数据记录;由CPU完成数据压缩,并将压缩结果暂存在外部存储器中。
波形数据压缩文件在外部存储器中的存储结构如图4所示,波形数据压缩文件包括记录头和记录体,记录头包括记录基本信息、编码树信息和编码区信息;记录体包括编码树区、符号编码区、量程编码区和差分编码区。
其中,记录基本信息包括记录标识、触发时刻、触发源号、录波采样点数量和录波通道数;编码树信息包括量程编码树地址和长度、差分值编码树地址和长度;编码区信息包括量程编码区地址和长度、差分值编码区地址和长度。
Claims (4)
1.一种录波数据的处理方法,其特征在于,包括数据压缩步骤,该数据压缩步骤包括:
SPA1、CPU对波形数据进行一阶或二阶差分运算,其中,一阶差分方程为Y(k)=X(k)-X(k-1),二阶差分方程为Z(k)=Y(k)-Y(k-1)=X(k)-2X(k-1)+X(k-2);
SPA2、对差分值提取符号位,合并到符号字中并写入外部存储器的符号区;将差分绝对值等分成若干个差分片段,片段位长为字长的约数,第一个非零片段及以后片段的个数为量程;
对差分片段进行出现次数统计,以片段出现次数为权重生成片段霍夫曼编码树;对量程进行出现次数统计,以量程出现次数为权重生成量程霍夫曼编码树;
根据片段霍夫曼编码树得到差分片段编码并压缩,将压缩的片段编码按bit位合成编码序列暂存至外部存储器的差分编码区;
根据量程霍夫曼树对量程进行编码并压缩,将压缩的量程编码按bit位合并成编码序列暂存至外部存储器的量程编码区;
所述波形数据压缩文件的存储结构包括记录头和记录体,记录头包括记录基本信息、编码树信息和编码区信息,记录体包括编码树区、符号编码区、量程编码区和差分编码区;所述压缩文件的文件头记录符号区、量程编码区、差分编码区的起始地址和长度,并记录量程编码树和差分编码树。
2.如权利要求1所述的录波数据的处理方法,其特征是,包括数据解压步骤,该数据解压步骤包括:
SPB1、从波形数据压缩文件记录头中的编码树地址和长度取得量程编码树和差分编码树;
SPB2、从量程编码区地址和长度找到量程编码区,用量程编码树对量程码进行解码得到波形数据差分值量程;
从差分编码区地址和长度找到差分编码区,用差分编码树对差分片段码进行解码得到波形数据差分值片段;
从符号区地址和长度找到符号区,从符号字中分离出波形数据差分值符号位;
SPB3、用所述波形数据差分值符号位、量程和差分值片段合成差分值,通过所述差分方程得到波形数据原始值。
3.一种录波数据的处理系统,其特征在于,包括CPU处理器、分别与该CPU处理器连接的采样系统、外部存储器和录波触发系统;其中,在触发后,
由所述采样系统完成波形原始数据记录;
由所述CPU完成数据压缩,并将压缩结果暂存在所述外部存储器中;
所述波形数据压缩文件在该外部存储器中的存储结构为,该波形数据压缩文件包括记录头和记录体,该记录头包括记录基本信息、编码树信息和编码区信息;该记录体包括编码树区、符号编码区、量程编码区和差分编码区。
4.如权利要求3所述的录波数据的处理系统,其特征是,
所述记录基本信息包括记录标识、触发时刻、触发源号、录波采样点数量和录波通道数;
所述编码树信息包括量程编码树地址和长度、差分值编码树地址和长度;
所述编码区信息包括量程编码区地址和长度、差分值编码区地址和长度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610270654.5A CN105915226B (zh) | 2016-04-27 | 2016-04-27 | 一种录波数据的处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610270654.5A CN105915226B (zh) | 2016-04-27 | 2016-04-27 | 一种录波数据的处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105915226A true CN105915226A (zh) | 2016-08-31 |
CN105915226B CN105915226B (zh) | 2019-10-29 |
Family
ID=56752744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610270654.5A Active CN105915226B (zh) | 2016-04-27 | 2016-04-27 | 一种录波数据的处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105915226B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106802432A (zh) * | 2017-01-17 | 2017-06-06 | 安徽理工大学 | 土层结构的探查方法和装置 |
CN108469585A (zh) * | 2018-03-21 | 2018-08-31 | 成都滕达科技有限公司 | 一种智能变电站继电保护安全运行方法 |
CN109633331A (zh) * | 2018-12-27 | 2019-04-16 | 中国南方电网有限责任公司 | 一种数据存储方法和故障录波装置 |
CN109995375A (zh) * | 2019-03-22 | 2019-07-09 | 南京国电南自电网自动化有限公司 | 一种用于芯片的comtrade格式数据打包和文件压缩解压方法 |
CN110545106A (zh) * | 2019-08-06 | 2019-12-06 | 清华大学 | 时序数据的编码方法及装置 |
WO2020051895A1 (zh) * | 2018-09-14 | 2020-03-19 | 西门子股份公司 | 数据压缩方法、数据恢复方法及装置 |
CN111407268A (zh) * | 2020-03-27 | 2020-07-14 | 华南理工大学 | 一种基于相关函数的多通道脑电信号压缩方法 |
CN111818086A (zh) * | 2020-07-24 | 2020-10-23 | 北京星途探索科技有限公司 | 一种适用于遥测数字量的帧差分压缩传输方法 |
CN115987296A (zh) * | 2023-03-20 | 2023-04-18 | 北京优天下科技股份有限公司 | 基于霍夫曼编码的交通能源数据压缩传输方法 |
CN112673576B (zh) * | 2018-09-14 | 2024-04-19 | 西门子股份公司 | 数据压缩方法、数据恢复方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4839649A (en) * | 1984-05-22 | 1989-06-13 | Kabushiki Kaisya Advance Kaihatsu Kenkyujo | Signal processing system |
US20080103711A1 (en) * | 2006-10-26 | 2008-05-01 | Samplify Systems, Inc. | Data compression for a waveform data analyzer |
CN102520227A (zh) * | 2011-12-14 | 2012-06-27 | 国电南瑞科技股份有限公司 | 一种基于扰动指示器的故障录波数据压缩方法 |
CN104579358A (zh) * | 2015-01-20 | 2015-04-29 | 华北电力大学 | 一种故障录波数据压缩方法 |
-
2016
- 2016-04-27 CN CN201610270654.5A patent/CN105915226B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4839649A (en) * | 1984-05-22 | 1989-06-13 | Kabushiki Kaisya Advance Kaihatsu Kenkyujo | Signal processing system |
US20080103711A1 (en) * | 2006-10-26 | 2008-05-01 | Samplify Systems, Inc. | Data compression for a waveform data analyzer |
CN102520227A (zh) * | 2011-12-14 | 2012-06-27 | 国电南瑞科技股份有限公司 | 一种基于扰动指示器的故障录波数据压缩方法 |
CN104579358A (zh) * | 2015-01-20 | 2015-04-29 | 华北电力大学 | 一种故障录波数据压缩方法 |
Non-Patent Citations (1)
Title |
---|
兰洋: "故障录波文件的数据压缩研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106802432B (zh) * | 2017-01-17 | 2019-01-01 | 安徽理工大学 | 土层结构的探查方法和装置 |
CN106802432A (zh) * | 2017-01-17 | 2017-06-06 | 安徽理工大学 | 土层结构的探查方法和装置 |
CN108469585A (zh) * | 2018-03-21 | 2018-08-31 | 成都滕达科技有限公司 | 一种智能变电站继电保护安全运行方法 |
WO2020051895A1 (zh) * | 2018-09-14 | 2020-03-19 | 西门子股份公司 | 数据压缩方法、数据恢复方法及装置 |
CN112673576B (zh) * | 2018-09-14 | 2024-04-19 | 西门子股份公司 | 数据压缩方法、数据恢复方法及装置 |
CN112673576A (zh) * | 2018-09-14 | 2021-04-16 | 西门子股份公司 | 数据压缩方法、数据恢复方法及装置 |
CN109633331A (zh) * | 2018-12-27 | 2019-04-16 | 中国南方电网有限责任公司 | 一种数据存储方法和故障录波装置 |
CN109633331B (zh) * | 2018-12-27 | 2020-11-20 | 中国南方电网有限责任公司 | 一种数据存储方法和故障录波装置 |
CN109995375A (zh) * | 2019-03-22 | 2019-07-09 | 南京国电南自电网自动化有限公司 | 一种用于芯片的comtrade格式数据打包和文件压缩解压方法 |
CN110545106B (zh) * | 2019-08-06 | 2020-07-17 | 清华大学 | 时序数据的编码方法及装置 |
CN110545106A (zh) * | 2019-08-06 | 2019-12-06 | 清华大学 | 时序数据的编码方法及装置 |
CN111407268A (zh) * | 2020-03-27 | 2020-07-14 | 华南理工大学 | 一种基于相关函数的多通道脑电信号压缩方法 |
CN111407268B (zh) * | 2020-03-27 | 2021-05-14 | 华南理工大学 | 一种基于相关函数的多通道脑电信号压缩方法 |
CN111818086A (zh) * | 2020-07-24 | 2020-10-23 | 北京星途探索科技有限公司 | 一种适用于遥测数字量的帧差分压缩传输方法 |
CN115987296A (zh) * | 2023-03-20 | 2023-04-18 | 北京优天下科技股份有限公司 | 基于霍夫曼编码的交通能源数据压缩传输方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105915226B (zh) | 2019-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105915226A (zh) | 一种录波数据的处理方法及系统 | |
CN100517979C (zh) | 一种数据压缩及解压缩方法 | |
CN103258030B (zh) | 基于字典与游长编码的移动设备内存压缩方法 | |
US8164490B2 (en) | Data compression/decompression method and computer readable storage medium storing compression/decompression program | |
CN102298137B (zh) | 自适应数据率星载sar原始数据压缩方法 | |
CN108023597B (zh) | 一种数控系统可靠性数据压缩方法 | |
CN114077609A (zh) | 数据存储及检索方法,装置,计算机可读存储介质及电子设备 | |
CN101202548A (zh) | 一种双游程数据编码方法 | |
CN101751451B (zh) | 一种中文数据压缩及解压缩方法及相关设备 | |
CN108810553A (zh) | 一种基于稀疏化处理的移动节点监测数据序列压缩方法 | |
CN101099669A (zh) | 基于最优时频空间结构码的心电数据压缩方法和解码方法 | |
CN110021369A (zh) | 基因测序数据压缩解压方法、系统及计算机可读介质 | |
CN101534124B (zh) | 一种用于短小自然语言的压缩算法 | |
CN107911570B (zh) | 一种对图片特征进行压缩及解压的方法 | |
CN104579358B (zh) | 一种故障录波数据压缩方法 | |
CN108055042A (zh) | 基于斜率分布的离散波形数据压缩方法 | |
CN115695564B (zh) | 一种物联网数据的高效传输方法 | |
CN103618554A (zh) | 基于字典的内存页面压缩方法 | |
CN107846225A (zh) | 实时心电数据无损压缩、解压缩的方法、装置和系统 | |
CN114466082B (zh) | 数据压缩、数据解压方法、系统及人工智能ai芯片 | |
CN105070297A (zh) | 一种mp3音频压缩历史检测方法 | |
CN108259043A (zh) | 基于间隔划分的测试数据压缩与解压缩方法 | |
CN103036575B (zh) | 一种变频器内部数据的压缩方法 | |
CN109667624B (zh) | 一种基于tts的矿井水文报警方法及系统 | |
CN108710891B (zh) | 基于感知哈希的循环平稳信号降维、识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |