CN111711511B - 频域数据有损压缩方法 - Google Patents

Abstract

本发明公开了一种频域数据有损压缩方法，首先获取无线电频域数据并进行分组，将同属一组的频域数据转化为频域数据矩阵，然后将频域数据矩阵的各个电平采样值进行转化，然后分割成相同大小的子矩阵，对每个子矩阵进行维度变换，然后进行量化处理，将得到的各个量化矩阵转化为一维向量，拼接得到完整的数据编码向量，再结合频域数据信息构建压缩结果文件。本发明通过有损压缩的方式，提高对于无线电频域数据的压缩比，有利于无线电频域数据被更高效合理的利用。

Description

频域数据有损压缩方法

技术领域

本发明属于频域数据处理技术领域，更为具体地讲，涉及一种频域数据有损压缩方法。

背景技术

对于无线电频谱监测而言，随着监测设备数量的增多，通过监测所产生的频域数据也不断增长，这些数据的存储和传输严重制约无线电监测水平的提高，有必要引用数据压缩算法，降低频域数据的存储和传输难度。

目前，传统的无损压缩技术对于无线电频域数据所能达到的压缩率为60％-70％，存在压缩率较低的问题，这主要是由于传统有损压缩技术对于无线电频谱频域数据无法考虑多帧数据的相似性导致的，需要针对无线电频域数据的特点提出更具有适应性的压缩方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种频域数据有损压缩方法，通过有损压缩的方式，提高对于无线电频域数据的压缩比，有利于无线电频域数据被更高效合理的利用。

为实现上述发明目的，本发明频域数据有损压缩方法包括以下步骤：

S1：对无线电频谱进行监测获取频域数据，每条频域数据包括监测起始频率、监测终止频率、监测时间、监测采样点数以及每个监测采样点的电平采样值，将监测起始频率、监测终止频率、监测采样点数均相同的频域数据划为一组，构建频域数据矩阵A，其表达式如下：

其中，a_mn表示分组中第m条频域数据中第n个采样点的电平采样值，m＝1,2,…,M，n＝1,2,…,N，M表示频域数据的数量，N表示每条频域数据的采样点数；

S2：需要将频域数据矩阵A中的各个电平采样值转换为[0,255]范围内的数值，将转换后的数据矩阵记为B，其表达式如下：

其中，b_mn表示电平采样值a_mn数据范围转换后得到的数值；

S3：将数据矩阵B分割成大小为L×L的子矩阵，当M％L不为0或N％L不为0时，先对数据矩阵B进行补零操作再进行分割，记分割得到的子矩阵为C_ij，其中

表示向上取整；

S4：分别对每个子矩阵C_ij进行维度变换，得到子矩阵D_ij；

S5：根据需要设置大小为L×L的量化矩阵Q，对于每个子矩阵D_ij按照以下公式计算量化处理后的量化矩阵E_ij：

其中，round()表示四舍五入取整函数，E_ij(s,t)表示量化矩阵E_ij中第s行第t列的元素，D_ij(s,t)表示子矩阵D_ij中第s行第t列的元素，Q(s,t)表示量化矩阵Q中第s行第t列的量化值，s,t＝1,2,…,L；

S6：将各个量化矩阵E_ij转化为一维向量F_ij；

S7：对各个一维向量F_ij进行数据编码，得到编码后的一维向量G_ij，然后将所有一维向量G_ij进行拼接，得到完整的数据编码向量；

S8：对M条频域数据的监测起始频率、监测终止频率、监测时间进行统计，生成数据信息，和数据编码向量一起构成完整的压缩结果文件。

本发明频域数据有损压缩方法，首先获取无线电频域数据并进行分组，将同属一组的频域数据转化为频域数据矩阵，然后将频域数据矩阵的各个电平采样值进行转化，然后分割成相同大小的子矩阵，对每个子矩阵进行维度变换，然后进行量化处理，将得到的各个量化矩阵转化为一维向量，拼接得到完整的数据编码向量，再结合频域数据信息构建压缩结果文件。

本发明利用无线电频域数据各帧数据存在相似性的特点，采用多帧频域数据合并为矩阵进行压缩，损失数据较少，同时提高了对于频谱数据的压缩比，有利于无线电频域数据被更高效合理的利用。

附图说明

图1是本发明频域数据有损压缩方法的具体实施方式结构图；

图2是本实施例中Z字型编码示例图；

图3是本实施例中压缩结果文件的帧结构示意图；

图4是图3中数据信息的结构图；

图5是图3中数据字段的结构图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明频域数据有损压缩方法的具体实施方式结构图。如图1所示，本发明频域数据有损压缩方法的具体步骤包括：

S101：获取频域数据矩阵：

对无线电频谱进行监测，每条频域数据包括监测起始频率、监测终止频率、监测时间、监测采样点数以及每个监测采样点的电平采样值，将监测起始频率、监测终止频率、监测采样点数均相同的频域数据划为一组，构建频域数据矩阵A，其表达式如下：

其中，a_mn表示分组中第m条频域数据中第n个采样点的电平采样值，m＝1,2,…,M，n＝1,2,…,N，M表示频域数据的数量，N表示每条频域数据的采样点数。

表1是本实施例中频域数据示例表。

表1

如表1所示，前5列标识频谱监测的基本信息，其中1000表示监测起始频率，2000表示监测终止频率，第三列监测时间，1024表示监测采样数，之后的数据为每个监测采样点的电平采样值。根据表1数据所得到的频域数据矩阵A如下：

对表1和频域数据矩阵A中的数据进行观察可知，在对同一频段的相邻几次监测所得到的数据会存在相似性，同时相邻采样点监测数值一般不会发生突变，本发明就是基于这些特点进行频谱频域数据的压缩。

S102：数据范围转换：

为了方便后续的压缩及编码，需要将频域数据矩阵A中的各个电平采样值转换为[0,255]范围内的数值，将转换后的数据矩阵记为B，其表达式如下：

其中，b_mn表示电平采样值a_mn数据范围转换后得到的数值。

本实施例电平采样值的范围转化可以采用如下公式表示：

其中，max、min表示频域数据矩阵A中电平采样值中的最大值和最小值。

S103：矩阵分割：

将数据矩阵B分割成大小为L×L的子矩阵，当M％L不为0或N％L不为0时，先对数据矩阵B进行补零操作再进行分割，记分割得到的子矩阵为C_ij，其中

表示向上取整。本实施例中L＝8。

S104：维度变换：

在每个子矩阵C_ij中，各元素数值位于0到255之间，但数值之间的相对关系并没有发生根本变化，矩阵中包含的频率信息依旧呈均匀分布，需要采用维度变换将高频部分的信息和低频部分的信息分散开来。也就是说，分别对每个子矩阵C_ij进行维度变换，得到子矩阵D_ij。

本实施例中的维度变换采用二维DCT(Discrete Cosine Transform,离散余弦变换)变换。二维DCT变换是一种常用的维度变换方法，其具体过程在此不再赘述。维度变换的过程是可逆的，并且数据无损。

S105：量化处理：

作为有损压缩算法，那么算法中的数据损失部分就是算法的重点，在维度变换后的子矩阵D_ij中，不同位置的数据代表了子矩阵C_ij数据中不同数值频率的分量。以二维DCT变换所得到的子矩阵D_ij为例，其左上角为低频分量，右下角为高频分量。由于维度变换之后，不同频率分量的数据已经被分离开来，对于高频和低频部分的信息，所蕴含的信息量是不同的。在低频分量的系数中包含原始数据的成分较多，高频分量是在众多正交的余弦函数上投影的加权，基于这个认识，可以给出相应的量化表，不同的量化表对于低频分量和高频分量的保留程度不尽相同，在实际应用中根据需要选择量化表对各个子矩阵D_ij中的数据进行量化。那么本发明中量化处理的具体方法如下：

根据需要设置大小为L×L的量化矩阵Q，对于每个子矩阵D_ij按照以下公式计算量化处理后的量化矩阵E_ij：

其中，round()表示四舍五入取整函数，E_ij(s,t)表示量化矩阵E_ij中第s行第t列的元素，D_ij(s,t)表示子矩阵D_ij中第s行第t列的元素，Q(s,t)表示量化矩阵Q中第s行第t列的量化值，s,t＝1,2,…,L。

本实施例中量化矩阵Q采用如下矩阵：

S106：将二维量化矩阵转化为一维向量：

二维矩阵的数据冗余空间要高于一维数据的冗余空间，并且不方便进行数据的编码操作，因此本发明将各个量化矩阵E_ij转化为一维向量F_ij。一般可以通过对二维矩阵进行线性扫描的方式进行转化，本实施例中采用Z字型编码。图2是本实施例中Z字型编码示例图。

由于在量化过程中，会产生很多数值为0的元素，所以本实施例在进行一维向量转化的同时进行游程编码，变相的将数值为0的部分进行简化。

S107：数据编码：

对各个一维向量F_ij进行数据编码，得到编码后的一维向量G_ij，然后将所有一维向量G_ij进行拼接，得到完整的数据编码向量。本实施例中采用通用的哈夫曼编码，一般情况下会采用一个固定的码表，但是如果频域数据特殊，通用的码表不能起到很好的效果，可考虑使用哈夫曼树生成动态码表的方式。

S108：构建完整的压缩结果文件：

对M条频域数据的监测起始频率、监测终止频率、监测时间进行统计，生成频域数据信息，和数据编码向量一起构成完整的压缩结果文件。

目前，国家发布了相关的频域数据采集标准规范，并且对于频域数据的存储做出了相应规定，在参考这些标准的基础上，本实施例中设计了压缩结果文件的帧格式，力求本发明所得到的压缩结果文件帧结构和国家标准相适应，进而发挥出实际的应用价值。图3是本实施例中压缩结果文件的帧结构示意图。

表2是图3中帧结构的元素说明表。

表2

在压缩结果文件中，数据信息存储当前频域数据的基本信息，这些信息也是解压缩的基础，数据存储压缩过的结果。图4是图3中数据信息的结构图。

表3是图4中数据信息结构的元素说明表。

表3

通过以上字段可以描述频域数据的基本采集信息，如果原始频域数据中有更多信息，可以通过增加字段的方式，重新定义数据信息，同时数据的解压缩也需要使用到数据信息的字段来还原数据。

在压缩结果文件中，数据字段用来存储压缩并编码的频域数据，，其中单个压缩后的数据不应大于200M字节(1M＝1024*1024)。图5是图3中数据字段的结构图。表4是图5中数据字段结构的元素说明表。

表4

对于频域数据的压缩结果文件的解压缩处理，即为压缩的逆向处理过程，就本实施例中而言，解压缩的具体过程大致如下：读取压缩结果文件中的数据编码向量→哈夫曼解码→游程编码解码→转化为二维数据矩阵→数据反量化→逆DCT处理→频域数据矩阵还原→数值空间转换，从而对频谱频域数据实现解压缩。

为了说明本发明的技术效果，采用DEALATE压缩算法、Gzip压缩算法作为对比方法，分别对真实的无线电频域数据进行压缩，然后进行还原。并对每种方法的压缩结果文件的性能进行统计，包括压缩后大小、压缩率、压缩时间和平均还原误差。其中无线电频域数据的监测频率范围为1000MHz到2000MHz，每次监测采样点数1024点，一个文件中包含2248次频域数据。文件的格式为“.csv”，文件所占存储空间为22MB。表5是本实施例三种方法的压缩结果文件性能对比表。

表5

如表5所示，本发明的压缩后文件大小远远小于两种对比方法，压缩率明显高于两种对比方法，压缩时间也更少。虽然本发明存在一定的平均还原误差，但是其在实际的工程应用中是可以接受的。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种频域数据有损压缩方法，其特征在于，包括以下步骤：

S1：对无线电频谱进行监测获取频域数据，每条频域数据包括监测起始频率、监测终止频率、监测时间、监测采样点数以及每个监测采样点的电平采样值，将监测起始频率、监测终止频率、监测采样点数均相同的频域数据划为一组，构建频域数据矩阵A，其表达式如下：

其中，a_mn表示分组中第m条频域数据中第n个采样点的电平采样值，m＝1,2,…,M，n＝1,2,…,N，M表示频域数据的数量，N表示每条频域数据的采样点数；

S2：需要将频域数据矩阵A中的各个电平采样值转换为[0,255]范围内的数值，将转换后的数据矩阵记为B，其表达式如下：

其中，b_mn表示电平采样值a_mn数据范围转换后得到的数值；

S3：将数据矩阵B分割成大小为L×L的子矩阵，当M％L不为0或N％L不为0时，先对数据矩阵B进行补零操作再进行分割，记分割得到的子矩阵为C_ij，其中

表示向上取整；

S4：分别对每个子矩阵C_ij进行维度变换，得到子矩阵D_ij；

S5：根据需要设置大小为L×L的量化矩阵Q，对于每个子矩阵D_ij按照以下公式计算量化处理后的量化矩阵E_ij：

其中，round()表示四舍五入取整函数，E_ij(s,t)表示量化矩阵E_ij中第s行第t列的元素，D_ij(s,t)表示子矩阵D_ij中第s行第t列的元素，Q(s,t)表示量化矩阵Q中第s行第t列的量化值，s,t＝1,2,…,L；

S6：将各个量化矩阵E_ij转化为一维向量F_ij；

S7：对各个一维向量F_ij进行数据编码，得到编码后的一维向量G_ij，然后将所有一维向量G_ij进行拼接，得到完整的数据编码向量；

S8：对M条频域数据的监测起始频率、监测终止频率、监测时间进行统计，生成频域数据信息，和数据编码向量一起构成完整的压缩结果文件。

2.根据权利要求1所述的频域数据有损压缩方法，其特征在于，所述步骤S2中电平采样值的范围转化可以采用如下公式表示：

其中，max、min表示频域数据矩阵A中电平采样值中的最大值和最小值。

3.根据权利要求1所述的频域数据有损压缩方法，其特征在于，所述步骤S4中维度变换采用二维DCT变换。

4.根据权利要求1所述的频域数据有损压缩方法，其特征在于，所述步骤S6中在进行一维向量转化的同时进行游程编码。

Images