CN108616280A - 非稳态数据实时采集数据压缩方法 - Google Patents

Abstract

本发明涉及一种非稳态数据实时采集数据压缩方法，该方法基于FPGA平台和硬件描述语言，FPGA平台分别连接至模数转换器和外部存储器，模拟信号通过信号调理电路输入模数转换器，具体包含：S1：初始化FPGA系统参数；S2：启动ADC进行模数转换；S3：FPGA接收ADC的AD转换值D_I；S4：判断|D_R‑D_I|≤D_L，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新D_R的值，并将buff缓存器中的数据全部写入外部存储器，随后buff缓存器清零，将此时的D_I值写入buff缓存器的低N位，高16‑N位记录当前重复个数n；S5：判断当前重复个数n是否溢出，S6：重复步骤S3‑S5，直到完成采集。本发明方法提高了波形数据的完整性，能够同时适应多种过电压信号的完整采集。

Description

非稳态数据实时采集数据压缩方法

技术领域

本发明属于数据压缩技术领域，涉及一种非稳态数据实时采集数据压缩方法。

背景技术

随着智能电网的不断建设发展，电力系统中的在线监测技术也愈来愈重要，其中包括了电能质量监测、过电压过电流监测、电网暂态瞬态监测等，在线监测技术很重要的一个环节就是录波装置的设计。波形数据的记录，不仅仅能够用于系统保护、故障分析，同时为智能电网的研究提供大量的数据支持。海量的电力数据需要在有限的存储空间内保存一定的时间，以及在进行数据传输前,这都需要对相应的波形数据进行压缩。目前，图像压缩处理的技术也应用到了电力系统数据的处理领域。

由于电力系统的数据具有自身固有的特点：电力系统中电压、电流信号具有周期性；电力系统中电压电流值的范围可以确定；电力系统数据冗余量较大，对其波形还原的精度要求不高，但仍能反映系统故障的基本特征；故障时波形频率成分复杂。因此，现有的电力数据压缩方法主要有游程编码、哈夫曼编码、傅里叶变换编码、LZSS编码、小波变换等。其中傅里叶变换、小波变换是利用数据变换算法将是与信号转换为频域信号，利用频率的集中性来压缩相应数据，它们的压缩比一般较大，但是容易丢失数据，并且进行频域变换时，需要进行大量的计算；游程编码、LZSS编码是利用数据的重复性的特点来进行数据压缩，由于是无损压缩，所以对数据的压缩效果不一定好，并且其算法也比较复杂，占用较多的CPU资源和时间。

针对在电力设备附近的只有小容量存储器的监测装置，其实时性和提高数据压缩比是矛盾的，对于含有多种频率成分的非稳态数据的高频采集，上述数据压缩方法的算法都太复杂，占用太多的CPU资源和处理时间。例如在记录电力系统外部过电压波形时，其采样频率高达 2MHz以上，这就要求了现场处理器的数据处理时间不能太长，否则装置的快速性将大大降低，影响过电压监测系统的性能。此外，非稳态数据的变频采集，虽然在一定程度上减小了存储器的压力，但是在波形记录的完整性方面存在较大的缺陷。

发明内容

有鉴于此，本发明的目的在于提供一种非稳态数据实时采集数据压缩方法，在保证波形恢复精度的同时，对波形数据进行压缩，减小数据量，方便小容量存储器对波形数据的记录。

为达到上述目的，本发明提供如下技术方案：

非稳态数据实时采集数据压缩方法，该方法基于FPGA平台和硬件描述语言，所述FPGA 平台分别连接至模数转换器(ADC)和外部存储器，模拟信号通过信号调理电路输入所述模数转换器，该方法具体包含如下步骤：

S1：初始化FPGA系统参数；

S2：启动ADC进行模数转换；

S3：FPGA接收ADC的AD转换值D_I，并计算中间比较变量D_R与转换值D_I的差值；

S4：判断|D_R-D_I|≤D_L，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新D_R＝D_I，并将buff缓存器中的数据全部写入外部存储器，随后buff缓存器清零，将此时的D_I值写入buff缓存器的低N位，高16-N位记录当前重复个数n；

S5：判断当前重复个数n是否溢出，

若是，则buff缓存器地址指针增加，在buff缓存器空间的下一个连续的双字节低N位写数据，高16-N位继续记录当前重复个数；

若否，则buff地址指针不变，在原来双字节储存空间的低N位写数据，高16-N位记录当前重复个数，并执行步骤S6；

S6：重复步骤S3-S5，直到完成采集。

进一步，步骤S1中FPGA系统参数包含：系统时钟初始化、相关寄存器初始化、buff缓存器和存储器及地址指针清零、设置AD模式、设置采样频率控制字和设置采样长度，其中，中间比较变量D_R，范围参考量D_L均由初始化程序给出。

进一步，步骤S5中当前重复个数n的溢出阈值为2^16-N。

进一步，步骤S5中在当前重复个数n第一次溢出后，后续第m次溢出阈值为2^{(m +1)*(16-N)}。

进一步，所述外部储存器的数据溢出后，则将新数据覆盖旧数据，继续进行采集工作。

本发明的有益效果在于：

1、提高了波形数据的完整性，对于非稳态信号，可以采用单一高频采样，能够对信号的各个频率成分的波形数据进行完整采集，能够同时适应多种过电压信号的完整采集；

2、提高了小容量存储器存储的数据量，该数据压缩方法减小了高频采样下数据的冗余度，提高了小容量存储器的空间利用率。

3、数据压缩算法简单，此算法相对于其他数据压缩算法，在N位模数转换器下，有效利用了16位存储字的16-N个剩余位，压缩和解压算法简单，并且保存有时基信息，便于波形恢复。

4、提高了监测系统性能，此算法简单易行，节省了CPU资源，处理时间短，在高频工作模式下提高了监测装置的实时性、快速性。

5、应用范围广，该非稳态数据实时采集的数据压缩方法还能够应用于其他领域数字数据的初步压缩。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为波形采样装置的硬件结构图；

图2为压缩算法位数变换示意图；

图3为压缩算法流程框图；

图4为非稳态数据的实时高频采集流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提出的一种针对非稳态信号的实时数据采集的数据压缩方法，充分结合了非稳态波形多频率成分的特点，能够有效减小非稳态波形的数据冗余度，提高位于监测现场的小容量存储器的空间利用率。通常存储器对数字数据的存储采用16位双字节的方式，在对波形数据采样时需要用到AD转换器，其位数一般为小于16位的转换器，因此直接用16位空间来存储小于16位的数据存在极大的空间浪费。采用小于16位的N位精度数据采集模拟数字转换器，单个数据有16-N bit的容量损失。此外，采集数值在一定变化范围内的数据并不需要多次存储，因此在考虑到波形重构精度的同时，将在一定范围内的多个数据作为一个数据存储，并且记录其重复个数。主要方法是：若连续的数字数据的差值不大于设定的D_L值，则认为这两个数据重复；用FPGA的内部RAM作为buff对数据作缓存处理，用双字节16位存储，转换量D_I写入buff的低N位，高16-N位记录该数据的重复次数；直到下一个数据与D_I的差值大于设定的D_L值，随后再将buff里面的数据全部写入外部存储器的相应位置，最后buff清零，重新记录下次的数据。

如图1，是典型的波形采样装置的硬件结构图。主控单元采用FPGA(可编程逻辑门阵列)，模拟信号经过调理电路之后输入到AD转换器，转换器输出的数字数据经由压缩算法处理之后经buff通过地址线操作将数据保存到外部存储器中。

如图2，是本发明压缩算法的位数变换示意图。存储字采用16位双字节，存储字的前N 位记录波形原始数据D_I，后16-N位用于记录数据D_I在一定范围内的重复个数n；一个存储字能够记录的最大重复个数n为2^16-N，若数据D_I重复个数n超过2^16-N，则在下一个16位存储字的后16-N位继续记录，连续两个16位存储字能够记录的最大重复个数n为2^16-N+16-N，并且重复个数n的最大值以此类推可以继续增大，从而满足更大的压缩率。

如图3，是本发明压缩算法流程框图。本发明算法是基于FPGA硬件平台和硬件描述语言的数据压缩方法，其核心思想如图所示。首先是执行初始化程序，配置FPGA相关寄存器，配置时钟频率和采样频率，设置D_L初始值等；AD转换器的启停、转换速率受FPGA控制，当FPGA缓存器读取完AD转换器的输出数据之后，将前后两个数据的差值与设定的D_L值比较，选择性的存储到buff中，其16位存储字的高16-N位用于记录数据的重复个数n；若n 达到阈值2^16-N，则如图2所示，将在buff的下一个16位存储字中继续存储该数据，其高16-N 位继续记录重复个数n的值；直到连续两个数据的差值大于设定的D_L值，此时将buff里面的数据全部写入外部存储器。整个过程循环执行上述程序，当存储器数据溢出时，用新数据覆盖。对于FPGA的内部RAM，一个8KB储存空间能够储存4096个双字节数据，其能够记录的重复个数n的最大值为2^4096*(16-N)，因此远远满足重复个数n的需要。

本发明结合到具体的非稳态数据的实时高频采集，如图4所示，具体的工作步骤如下：

(1)初始化

该初始化包括系统时钟初始化、相关寄存器初始化、buff缓存器和存储器及地址指针清零、设置AD模式、设置采样频率控制字、设置采样长度。D_R为中间比较变量，D_I为AD转换器输出的数字转换量，D_L为范围参考量，D_R初始值和D_L值均由初始化程序给出。

(2)启动AD转换

(3)接收转换值与数据处理。FPGA接收AD转换值D_I，并计算|D_R-D_I|。

(4)判断|D_R-D_I|≤D_L。若是，则认为为同一数据，重复个数n增加1，并且执行步骤5)；若不是，则认为数据不同，更新D_R值，D_R＝D_I，将buff中的数据全部写入外部存储器，随后buff清零，将此时的D_I值写入buff低N位，高16-N位记录当前重复个数n(此时n应为1)。

(5)判断重复个数n是否溢出。若是，则buff地址指针增加，在buff空间的下一个连续的双字节低N位写数据，高16-N位继续记录当前重复个数；若不是，则buff地址指针不变，依然在原来双字节储存空间的低N位写数据，高16-N位记录当前重复个数n。执行步骤6)。值得注意的是，在第一次n溢出后，下一次判断是否溢出时n的阈值会发生改变，其值大小同溢出次数m(即数据占用16位双字节的个数)有关，因此在程序中还需记录溢出次数m 的大小，阈值按照2^(m+1)*(16-N)变化。

(6)循环执行步骤(3)、(4)、(5)，直到采集装置停止工作，期间存储器数据溢出后，新数据将覆盖旧数据。

最后说明的是，以上优选实施例仅用以说明发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (5)

1.非稳态数据实时采集数据压缩方法，其特征在于：该方法基于FPGA平台和硬件描述语言，所述FPGA平台分别连接至模数转换器(ADC)和外部存储器，模拟信号通过信号调理电路输入所述模数转换器，该方法具体包含如下步骤：

S1：初始化FPGA系统参数；

S2：启动ADC进行模数转换；

S3：FPGA接收ADC的AD转换值D_I，并计算中间比较变量D_R与转换值D_I的差值；

S4：判断|D_R-D_I|≤D_L，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新D_R＝D_I，并将buff缓存器中的数据全部写入外部存储器，随后buff缓存器清零，将此时的D_I值写入buff缓存器的低N位，高16-N位记录当前重复个数n；

S5：判断当前重复个数n是否溢出，

若是，则buff缓存器地址指针增加，在buff缓存器空间的下一个连续的双字节低N位写数据，高16-N位继续记录当前重复个数；

若否，则buff地址指针不变，在原来双字节储存空间的低N位写数据，高16-N位记录当前重复个数，并执行步骤S6；

S6：重复步骤S3-S5，直到完成采集。

2.根据权利要求1所述的非稳态数据实时采集数据压缩方法，其特征在于：步骤S1中FPGA系统参数包含：系统时钟初始化、相关寄存器初始化、buff缓存器和存储器及地址指针清零、设置AD模式、设置采样频率控制字和设置采样长度，其中，中间比较变量D_R，范围参考量D_L均由初始化程序给出。

3.根据权利要求2所述的非稳态数据实时采集数据压缩方法，其特征在于：步骤S5中当前重复个数n的溢出阈值为2^16-N。

4.根据权利要求3所述的非稳态数据实时采集数据压缩方法，其特征在于：步骤S5中在当前重复个数n第一次溢出后，后续第m次溢出阈值为2^(m+1)*(16-N)。

5.根据权利要求1所述的非稳态数据实时采集数据压缩方法，其特征在于：所述外部储存器的数据溢出后，则将新数据覆盖旧数据，继续进行采集工作。