CN109934729A - 非稳态数据实时采集数据深度压缩方法 - Google Patents
非稳态数据实时采集数据深度压缩方法 Download PDFInfo
- Publication number
- CN109934729A CN109934729A CN201910229294.8A CN201910229294A CN109934729A CN 109934729 A CN109934729 A CN 109934729A CN 201910229294 A CN201910229294 A CN 201910229294A CN 109934729 A CN109934729 A CN 109934729A
- Authority
- CN
- China
- Prior art keywords
- data
- buff
- real time
- unstable state
- compression method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000007906 compression Methods 0.000 title abstract description 18
- 230000006835 compression Effects 0.000 title abstract description 18
- 238000013144 data compression Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- IFLVGRRVGPXYON-UHFFFAOYSA-N adci Chemical compound C12=CC=CC=C2C2(C(=O)N)C3=CC=CC=C3CC1N2 IFLVGRRVGPXYON-UHFFFAOYSA-N 0.000 claims abstract description 3
- 238000005070 sampling Methods 0.000 claims description 8
- 230000003750 conditioning effect Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Abstract
本发明涉及一种非稳态数据实时采集数据深度压缩方法，属于数据压缩技术领域，包括以下步骤：S1：初始化；S2：模数转换；S3：FPGA接收ADC的AD转换值DI，计算中间比较变量DR与转换值DI的差值；S4：判断|DR‑DI|≤DL，若是，重复个数n＝n+1，若否，更新DR＝DI，并将buff缓存器中低N位的数据取平均值后和高16‑N为一起写入外部存储器，buff缓存器清零，将DI值写入buff缓存器的低N位，高16‑N位记录当前重复个数n；S5：buff中高16‑N位重写，低N位的数据重写，比较值DR保持不变，重复个数n重新写到高16‑N位中；S6：重复步骤S3‑S5，直到完成采集。
Description
技术领域
本发明属于数据压缩技术领域，涉及一种非稳态数据实时采集数据深度压缩方法。
背景技术
随着智能电网的不断建设发展，电力系统中的在线监测技术也愈来愈重要，其中包括了电能质量监测、过电压过电流监测、电网暂态瞬态监测等，在线监测技术很重要的一个环节就是录波装置的设计。波形数据的记录，不仅仅能够用于系统保护、故障分析，同时为智能电网的研究提供大量的数据支持。海量的电力数据需要在有限的存储空间内保存一定的时间，以及在进行数据传输前,这都需要对相应的波形数据进行压缩。目前，图像压缩处理的技术也应用到了电力系统数据的处理领域。
由于电力系统的数据具有自身固有的特点：电力系统中电压、电流信号具有周期性；电力系统中电压电流值的范围可以确定；电力系统数据冗余量较大，对其波形还原的精度要求不高，但仍能反映系统故障的基本特征；故障时波形频率成分复杂。因此，现有的电力数据压缩方法主要有游程编码、哈夫曼编码、傅里叶变换编码、LZSS编码、小波变换等。其中傅里叶变换、小波变换是利用数据变换算法将是与信号转换为频域信号，利用频率的集中性来压缩相应数据，它们的压缩比一般较大，但是容易丢失数据，并且进行频域变换时，需要进行大量的计算；游程编码、LZSS编码是利用数据的重复性的特点来进行数据压缩，由于是无损压缩，所以对数据的压缩效果不一定好，并且其算法也比较复杂，占用较多的CPU资源和时间。
针对在电力设备附近的只有小容量存储器的监测装置，其实时性和提高数据压缩比是矛盾的，对于含有多种频率成分的非稳态数据的高频采集，上述数据压缩方法的算法都太复杂，占用太多的CPU资源和处理时间。例如在记录电力系统外部过电压波形时，其采样频率高达2MHz以上，这就要求了现场处理器的数据处理时间不能太长，否则装置的快速性将大大降低，影响过电压监测系统的性能。此外，非稳态数据的变频采集，虽然在一定程度上减小了存储器的压力，但是在波形记录的完整性方面存在较大的缺陷。
发明内容
有鉴于此，本发明的目的在于提供一种非稳态数据实时采集数据深度压缩方法，在保证波形恢复精度的同时，对波形数据进行压缩，减小数据量，方便小容量存储器对波形数据的记录。
为达到上述目的，本发明提供如下技术方案：
一种非稳态数据实时采集数据压缩方法，基于FPGA平台和硬件描述语言，所述FPGA平台分别连接至模数转换器ADC和外部存储器，模拟信号通过信号调理电路输入所述模数转换器，包括以下步骤：
S1：初始化FPGA系统参数；
S2：启动ADC进行模数转换；
S3：FPGA接收ADC的AD转换值DI，并计算中间比较变量DR与转换值DI的差值；
S4：判断|DR-DI|≤DL，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新DR＝DI，并将buff缓存器中低N位的数据取平均值后和高16-N为一起写入外部存储器，随后buff缓存器清零，将此时的DI值写入buff缓存器的低N位，高16-N位记录当前重复个数n；
S5：buff中高16-N位重写，在buff空间的原16位存储字中，低N位的数据重写，为累加值，比较值DR保持不变，重复个数n重新写到高16-N位中，执行步骤S6；
S6：重复步骤S3-S5，直到完成采集。
进一步，步骤S1中FPGA系统参数包含：系统时钟初始化、相关寄存器初始化、buff缓存器和存储器及地址指针清零、设置AD模式、设置采样频率控制字和设置采样长度，其中，中间比较变量DR，范围参考量DL均由初始化程序给出。
进一步，步骤S5中认为实时数据DI与比较变量DR的差值在不大于范围参考量DL时是同一数据，重复个数n＝n+1。
进一步，最终记录在外部存储器的数据是n个“重复”数据的平均值，能更好反映原始波形的变化情况。
进一步，当buff缓存器清零后，新写入的数据DI的重复个数n＝1。
进一步，所述外部储存器的数据溢出后，则将新数据覆盖旧数据，继续进行采集工作。
本发明的有益效果在于：
1、提高了波形数据的完整性，对于非稳态信号，可以采用单一高频采样，能够对信号的各个频率成分的波形数据进行完整采集，能够同时适应多种过电压信号的完整采集；
2、提高了小容量存储器存储的数据量，该数据压缩方法减小了高频采样下非稳态波形数据的冗余度，提高了小容量存储器的空间利用率。
3、数据压缩算法简单，此算法相对于其他数据压缩算法，在N位模数转换器下，有效利用了16位存储字的16-N个剩余位，压缩和解压算法简单，并且保存有时基信息，便于波形恢复。
4、提高了监测系统性能，此算法简单易行，节省了CPU资源，处理时间短，在高频工作模式下提高了监测装置的实时性、快速性。
5、提高了系统的抗干扰能力。该方法对模拟信号的纹波波动有一定的抑制作用。
6、应用范围广，该非稳态数据实时采集的数据压缩方法还能够应用于其他领域数字数据的初步压缩。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明实施例所述的波形采样装置的硬件结构图；
图2为本发明实施例所述的压缩算法位数变换示意图；
图3为本发明实施例所述的压缩算法流程框图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
本发明提出的一种针对非稳态信号的实时数据采集的数据深度压缩方法，充分结合了非稳态波形多频率成分的特点，能够有效减小非稳态波形的数据冗余度，提高位于监测现场的小容量存储器的空间利用率。通常存储器对数字数据的存储采用16位双字节的方式，在对波形数据采样时需要用到AD转换器，其位数一般为小于16位的转换器，因此直接用16位空间来存储小于16位的数据存在极大的空间浪费。采用小于16位的N位精度数据采集模拟数字转换器，单个数据有16-N bit的容量损失。此外，采集数值在一定变化范围内的数据并不需要多次存储，因此在考虑到波形重构精度的同时，将在一定范围内的多个数据作为一个数据存储，并且记录其重复个数。主要方法是：若采集到的数据DI与中间比较量DR的差值不大于设定的DL值，则认为这两个数据重复；用FPGA的内部RAM作为buff对数据作缓存处理，用双字节16位存储，转换量DI累加值写入buff的低N位，高16-N位用二进制来记录该数据的重复个数n；直到下一个数据与DR的差值大于设定的DL值，随后再将buff里面低N位的数据取平均值后和高16-N位的数据一起写入外部存储器的相应位置，最后buff清零，重新记录下次的数据。
如图1，是典型的波形采样装置的硬件结构图。主控单元采用FPGA(可编程逻辑门阵列)，模拟信号经过调理电路之后输入到AD转换器，转换器输出的数字数据经由压缩算法处理之后经buff缓存，最后通过地址线操作将数据保存到外部存储器中。
如图2，是本发明压缩算法的位数变换示意图。存储字采用16位双字节，存储字的低N位记录波形原始数据DI，由于DI是数字数据，可以直接存储，高16-N位用二进制来记录数据DI在一定范围内的重复个数n。当NH空间记录满后，数据记录在下一个16bit中，低位dsx相同，高位Ndx连接在一起，可重复Nk次。即高位有NH*Nk位，冗余记录数据量最大可达2^(NH*Nk)个。如果不将高位连接在一起，那么冗余记录数据最大只能达到2^NH*Nk个，两者相比，我们所采用的方法可以极大的减少冗余数据数量，实现数据更深度的压缩。
如图3，是本发明压缩算法流程框图。本发明算法是基于FPGA硬件平台和硬件描述语言的数据压缩方法，其核心思想如图所示。首先是执行初始化程序，配置FPGA相关寄存器，配置时钟频率和采样频率，设置DL初始值等；AD转换器的启停、转换速率受FPGA控制，当FPGA缓存器读取完AD转换器的输出数据之后，将采集到的数据DI与中间比较量DR的差值与设定的DL值比较，选择性的存储到buff中，其16位存储字的低N位记录波形原始数据DI的累加值，高16-N位用于记录数据DI在一定范围内的重复个数n；直到DI与DR的差值大于设定的DL值，随后再将buff里面低N位的数据取平均值后和高16-N位的数据一起写入外部存储器的相应位置；随后buff内数据清零，地址重置，开始记录下一个数据。整个过程循环执行上述程序，当存储器数据溢出时，用新数据覆盖。
本发明结合到具体的非稳态数据的实时高频采集，具体的工作步骤如下：
(1)初始化
该初始化包括系统时钟初始化、相关寄存器初始化、buff缓存器和存储器及地址指针清零、设置AD模式、设置采样频率控制字、设置采样长度。DR为中间比较变量，DI为AD转换器输出的数字转换量，DL为范围参考量，DR初始值和DL值均由初始化程序给出。
(2)启动AD转换
(3)接收转换值与数据处理。FPGA接收ADC转换值DI，并计算|DR-DI|。
(4)判断|DR-DI|≤DL。若是，则认为为同一数据，重复个数n＝n+1，并且执行步骤(5)，若否，则认为数据不同，更新DR值，DR＝DI，随后再将buff里面低N位的数据取平均值后和高16-N位的数据一起写入外部存储器的相应位置，随后buff缓存器清零，将此时的DI值写入buff缓存器的低N位，高16-N位记录当前重复个数n(此时n＝1)。
(5)buff中高16-N位重写，在buff空间的原16位存储字中，低N位的数据重写，为DI的累加值，重复个数n重新写到高16-N位中，执行步骤(6)。
(6)循环执行步骤(3)、(4)、(5)，直到采集装置停止工作，期间存储器数据溢出后，新数据将覆盖旧数据。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (6)
1.一种非稳态数据实时采集数据压缩方法，其特征在于：基于FPGA平台和硬件描述语言，所述FPGA平台分别连接至模数转换器ADC和外部存储器，模拟信号通过信号调理电路输入所述模数转换器，包括以下步骤：
S1：初始化FPGA系统参数；
S2：启动ADC进行模数转换；
S3：FPGA接收ADC的AD转换值DI，并计算中间比较变量DR与转换值DI的差值；
S4：判断|DR-DI|≤DL，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新DR＝DI，并将buff缓存器中低N位的数据取平均值后和高16-N位一起写入外部存储器，随后buff缓存器清零，将此时的DI值写入buff缓存器的低N位，高16-N位记录当前重复个数n；
S5：buff中高16-N位重写，在buff空间的原16位存储字中，低N位的数据重写，为累加值，比较值DR保持不变，重复个数n重新写到高16-N位中，执行步骤S6；
S6：重复步骤S3-S5，直到完成采集。
2.根据权利要求1所述的非稳态数据实时采集数据压缩方法，其特征在于：步骤S1中FPGA系统参数包含：系统时钟初始化、相关寄存器初始化、buff缓存器和存储器及地址指针清零、设置AD模式、设置采样频率控制字和设置采样长度，其中，中间比较变量DR，范围参考量DL均由初始化程序给出。
3.根据权利要求1所述的非稳态数据实时采集数据压缩方法，其特征在于：步骤S5中认为实时数据DI与比较变量DR的差值在不大于范围参考量DL时是同一数据，重复个数n＝n+1。
4.根据权利要求1所述的非稳态数据实时采集数据压缩方法，其特征在于：最终记录在外部存储器的数据是n个“重复”数据的平均值，能更好反映原始波形的变化情况。
5.根据权利要求1所述的非稳态数据实时采集数据压缩方法，其特征在于：当buff缓存器清零后，新写入的数据DI的重复个数n＝1。
6.根据权利要求1所述的非稳态数据实时采集数据压缩方法，其特征在于：所述外部储存器的数据溢出后，则将新数据覆盖旧数据，继续进行采集工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910229294.8A CN109934729A (zh) | 2019-03-25 | 2019-03-25 | 非稳态数据实时采集数据深度压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910229294.8A CN109934729A (zh) | 2019-03-25 | 2019-03-25 | 非稳态数据实时采集数据深度压缩方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109934729A true CN109934729A (zh) | 2019-06-25 |
Family
ID=66988186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910229294.8A Pending CN109934729A (zh) | 2019-03-25 | 2019-03-25 | 非稳态数据实时采集数据深度压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934729A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797137A (zh) * | 2020-06-29 | 2020-10-20 | 电子科技大学 | 一种通过压缩时标查询采样数据的方法 |
| CN115277869A (zh) * | 2022-08-06 | 2022-11-01 | 潍柴重机股份有限公司 | 一种传感器时域数据采集方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101144840A (zh) * | 2007-10-24 | 2008-03-19 | 重庆大学 | 一种电网过电压信号变频采样方法 |
| CN205353187U (zh) * | 2015-10-30 | 2016-06-29 | 贵州电网有限责任公司贵阳供电局 | 基于fpga的暂态电压记录装置 |
| US20180150644A1 (en) * | 2016-11-29 | 2018-05-31 | Intel Corporation | Technologies for secure encrypted external memory for field-programmable gate arrays (fpgas) |
| CN108616280A (zh) * | 2018-04-09 | 2018-10-02 | 重庆大学 | 非稳态数据实时采集数据压缩方法 |
| US20190050495A1 (en) * | 2018-06-19 | 2019-02-14 | Intel Corporation | Data storage based on encoded dna sequences |
-
2019
- 2019-03-25 CN CN201910229294.8A patent/CN109934729A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101144840A (zh) * | 2007-10-24 | 2008-03-19 | 重庆大学 | 一种电网过电压信号变频采样方法 |
| CN205353187U (zh) * | 2015-10-30 | 2016-06-29 | 贵州电网有限责任公司贵阳供电局 | 基于fpga的暂态电压记录装置 |
| US20180150644A1 (en) * | 2016-11-29 | 2018-05-31 | Intel Corporation | Technologies for secure encrypted external memory for field-programmable gate arrays (fpgas) |
| CN108616280A (zh) * | 2018-04-09 | 2018-10-02 | 重庆大学 | 非稳态数据实时采集数据压缩方法 |
| US20190050495A1 (en) * | 2018-06-19 | 2019-02-14 | Intel Corporation | Data storage based on encoded dna sequences |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111797137A (zh) * | 2020-06-29 | 2020-10-20 | 电子科技大学 | 一种通过压缩时标查询采样数据的方法 |
| CN111797137B (zh) * | 2020-06-29 | 2022-03-25 | 电子科技大学 | 一种通过压缩时标查询采样数据的方法 |
| CN115277869A (zh) * | 2022-08-06 | 2022-11-01 | 潍柴重机股份有限公司 | 一种传感器时域数据采集方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108616280B (zh) | 非稳态数据实时采集数据压缩方法 | |
| CN102035200B (zh) | 一种信号处理的方法和装置 | |
| CN107102220A (zh) | 录波数据处理方法及装置 | |
| CN109934729A (zh) | 非稳态数据实时采集数据深度压缩方法 | |
| CN102998501B (zh) | 基于fpga实现数字示波器数据压缩的方法 | |
| US20140247176A1 (en) | Extension of adc dynamic range using post-processing logic | |
| CN103001641A (zh) | 用于基于不均匀取样的数据转换器的基于压缩感测的重构算法 | |
| CN111064705B (zh) | 适用于高级量测体系的数据压缩采集与传输方法 | |
| CN116665710B (zh) | 气体绝缘开关设备的故障识别方法、装置和计算机设备 | |
| CN108158577A (zh) | 一种基于压缩感知的低功耗心电信号处理电路及其方法 | |
| CN106324312B (zh) | 一种示波器垂直方向上快速精准读取数据的方法及示波器 | |
| CN109255429A (zh) | 一种用于稀疏神经网络模型的参数解压方法 | |
| Tun et al. | Analysis on ECG data compression using wavelet transform technique | |
| CN103281087A (zh) | 基于多级压缩感知的信号采样系统及方法 | |
| CN104320143B (zh) | 三相电压、电流信号波形采样数据的压缩方法及装置 | |
| CN108055042B (zh) | 基于斜率分布的离散波形数据压缩方法 | |
| CN111787321A (zh) | 用于边缘端的基于深度学习的图片压缩、解压缩方法及系统 | |
| CN102565773A (zh) | 一种合成孔径雷达高速数据抽取的两级滤波实现方法 | |
| JP2006259937A (ja) | データ収集装置およびデータ復元装置 | |
| CN110187327B (zh) | 全波形激光雷达波形数据压缩和解压方法 | |
| CN109165171B (zh) | 自适应的快速数字波形成像方法 | |
| CN107147398A (zh) | 利用样条函数进行有损压缩的方法和系统 | |
| Greitans et al. | Speech sampling by level-crossing and its reconstruction using spline-based filtering | |
| Di et al. | Layered lossless compression method of massive fault recording data | |
| JPH05159185A (ja) | 発電プラント監視データ圧縮保存方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |
|
| RJ01 | Rejection of invention patent application after publication |