CN108810553A - 一种基于稀疏化处理的移动节点监测数据序列压缩方法 - Google Patents

Abstract

本发明公开了一种基于稀疏化处理的移动节点监测数据序列压缩方法。本方法包括序列稀疏化处理和稀疏序列编码两个过程。根据移动节点监测数据之间存在的时间相关性以及序列局部时间相关性强于整体时间相关性，引入序列相关性重排和差分运算消除相邻监测数据之间时间冗余，通过前缀偏移编码和相邻位异或运算对数据进行稀疏化处理，再通过稀疏编码进一步去除序列中的冗余。本方法能有效地减少无线通信数据量，降低移动节点能耗，延长移动节点使用周期。

Description

一种基于稀疏化处理的移动节点监测数据序列压缩方法

技术领域

本发明属于数据处理技术领域，尤其涉及一种基于稀疏化处理的移动节点监测数据序列压缩方法。

背景技术

随着全球化信息进程和无线通信技术的发展，通信网络已经从人与人之间，发展到物与物之间的通信。物联网技术引起了越来越多的关注，各行业对信息化也提出了更高的要求，对信息化的认识也由原先单纯的数字化转变为数字化和网络化以及无线化相结合，行业信息化建设不断深入，通过无线远程传输系统传输数据可以提升效率、降低成本，且采取多次采集一次传输的方式有利于服务器对监测数据进行数据分析。由于无线传输距离较远，移动节点多由干电池进行供电，研究如何减少移动节点能耗，延长节点生命周期十分必要。

数据压缩是移动节点节能的方式之一，通过消除节点采集数据冗余减少通信数据量，不仅可以减少能耗，还能有效解决网络拥塞的问题，提高带宽利用率和传输效率，在很多应用中已得到广泛的应用。然而，除能量受限外，存储空间和计算处理能力也受到限制。这就对运行在移动节点上的算法程序的规模和计算复杂度提出了一定的要求。如何利用有限的计算能力和存储空间，设计无损数据压缩算法，节约节点的能量，延长节点生命周期是设计者迫切需要考虑的问题。

传统的无损数据算法可以分为基于统计特性的数据压缩和基于字典的数据压缩。基于统计特性的算法经典算法有哈夫曼编码。哈夫曼编码根据符号出现概率，构造一棵最优哈夫曼树，对出现概率高的符号采用较短的代码代替，对概率低的符号采用长代码代替，使得哈夫曼编码的平均长度最短。基于字典的数据压缩是在Lempel和Ziv提出的LZ77和LZ78编码的基础上衍生出的一系列的算法，如LZW、LZMW、S-LZW等。字典编码利用字典的方式对字符串直接编码，使每个字符串直接对应于一个标识，字典编码又可根据字典生成方式分为静态字典(初始化字典固定不变)和动态字典(根据读入数据动态生成和维护)。但不管是哈夫曼编码还是字典编码，都是通用型压缩方式，未考虑数据内容，且均需要额外的内存开销，当构建的字典和哈夫曼树过大时，查询时效率较低。

发明内容

本发明的主要目的是设计一种基于稀疏化处理的移动节点监测数据序列压缩方法，其复杂度低，易移植于能量、内存和计算能力有限的无线远程数据传输系统终端移动节点。该压缩方法能对移动节点监测数据序列进行有效的压缩，降低通信数据量，降低移动节点能耗，延长移动节点使用周期，且服务器能对接收的数据进行无损还原。

为达到上述目的，本发明的构思是：针对无线远程数据传输系统中移动节点监测多个环境变量数据，降低移动节点能耗和提高网络传输效率而发明。本发明结合了数据内容之间的时间相关性，提出了一种基于移动节点监测数据序列的稀疏化处理方法和稀疏序列压缩方法。

根据上述发明构思，本发明采用下述技术方案：

一种基于稀疏化处理的移动节点监测数据序列压缩方法，压缩过程包含序列稀疏化处理和稀疏序列编码两个过程，具体实现步骤如下：

a)序列稀疏化处理

(a-1)、移动节点根据传输数据帧格式，获取本次上传周期内序列采集次数m和单次采集序列中变量个数n。构建初始序列矩阵A。

(a-2)、对初始序列矩阵A进行转置操作，得到的转置矩阵称为相关性重排矩阵A^T。

(a-3)、对相关性重排矩阵A^T中的行向量V_i，记录最小值v_min，将行向量V_i中每个元素和最小值做差分处理，得到差分重排行向量D_i，将最小值作为D_i的第一个元素。

(a-4)、依次对采集次数m、变量个数n和D_i中元素进行前缀偏移编码。对于数据d，满足：c₀2⁰+c₁2¹+…+c_m2^m<d<c₀2⁰+c₁2¹+…+c_n2ⁿ，其中0≤c_i≤3且当c_i>0时，c_i-1＝3。前缀码长度计算起始数据和偏移码长度 偏移量d_s＝d-C_pstart，偏移码C_s为L_s位d_s的二进制编码。数据d的前缀偏移编码即为前缀码C_p和偏移码C_s的组合码。

(a-5)、从前缀偏移编码序列第二位开始，依次和前一位做异或运算，获得稀疏二进制编码。

b)稀疏序列编码

(b-1)、获取稀疏序列长度n和非零元素个数k。

(b-2)、根据n和k计算序列分组长度L和分组编码位数i。其中，

(b-3)、用2位二进制记录编码信息：00,01,10,11分别表示编码位数i为2,3,4,5位。

(b-4)、稀疏序列编码初始化编码位置pStart，读取长度为L的序列进行编码(若此时未编码序列长度小于L则读完剩余序列)。若本次读取的序列为L位全零序列，标记位为0，码本位为空，本序列所对应的最终编码为0，pStart＝pStart+L。若本次读取的序列不为全零序列，首先将标志位置1，并根据序列首个非零位置p记录对应码字，将移动编码位置移动到首个非零位的下一位：pStart＝pStart+p+1。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

1)本发明算法复杂度低。序列稀疏化处理部分只涉及转置、差分运算和前缀偏移编码。稀疏序列压缩部分只需要实现基本数据的计数操作，适用于能量和计算能力有限的设备。

2)本发明引入数据相关性重排，可以更好的消除数据序列之间存在的时间相关性冗余。通过前缀偏移编码将整数序列压缩转变为稀疏二进制序列压缩，可以提高压缩效果。

3)本发明所涉及的字典信息不需要预先存储在内存中，只需几位二进制记录字典位数信息即可恢复出字典信息。减少了通用字典压缩算法所需要的存储和维护消耗。

附图说明

图1为本发明方法的流程图。

图2为前缀偏移编码稀疏化流程图。

图3为稀疏二进制序列编码流程图。

具体实施方式

下面结合附图，对本发明的具体实施作进一步说明。

本方法的整体压缩流程如图1所示。在一个上传周期内，移动节点间隔相同时间多次进行数据采集，每一次数据采集涉及多个环境变量。在一个上传周期内，移动节点采集到的数据序列可表示为：D＝{D₁,D₂,D₃,…,D_m}，其中m表示本上传周期内的采集次数，D_i表示单次采集序列，D_i＝{v₁,v₂,…,v_n}。v_j表示第j个变量数值，n表示采集的变量个数，一般在数据帧格式中进行规定。

在序列稀疏化处理部分，首先记录本次上传周期内采集次数m和变量个数n。并通过数据帧中的数据域格式，构建初始序列矩阵A。

在多次采集的数据序列中，相同变量数据变化趋势相同，数据序列局部时间相关性强于整体时间相关性。对初始序列矩阵进行转置操作，得到的转置矩阵称为相关性重排矩阵，记作A^T。

A^T由n个相关性重排行向量V_i组成，每个行向量记录了当前变量第1次到第m次采集的数据值。对相关性重排行向量V_i，记录最小值v_min，将每个元素和最小值做差分处理，得到差分重排行向量D_i，将最小值v_min作为差分重排行向量D_i的第一个元素。

在实际应用中，一个环境变量在一段时间内的采样值有着明显的时间相关性。即后一个时刻的采样值仅和前一个时刻的采样值有关，且变化幅度较小。针对此特性，本发明采用前缀偏移编码，结合二进制相邻位异或运算对采集次数m、变量个数n和行向量D_i中的元素进行稀疏化处理。

前缀偏移编码稀疏化流程图如图2所示，由前缀编码和相邻位异或运算两部分组成。前缀偏移编码是将一个整数值转换成一组二进制序列的编码过程。首先对采集次数m和变量个数n进行编码，再对差分重排行向量D_i中元素进行编码。编码由前缀码C_p和偏移码C_s组成。前缀码长度逐渐递增，且任何一个编码都不是其他编码的前缀。本发明中，前缀码长度记作L_p，由L_p-1位1和1位0组成。偏移码长度记作L_s，偏移码长度和前缀码长度关系满足 起始数据C_pstart表示以C_p作前缀可表示的最小数据，即前缀码为C_p，偏移码为L_s位全零序列的前缀偏移编码所表示的数据。前缀偏移编码字典如下表所示。

前缀码长度Lp	前缀码Cp	偏移码长度Ls	偏移码Cs	起始数据Cpstart	可表示范围
						1	0	0	NULL	0	0
2	10	0	NULL	1	1
						3	110	0	NULL	2	2
4	1110	1	0～1	3	3～4
						5	11110	1	0～1	5	5～6
6	111110	1	0～1	7	7～8
						7	1111110	2	00～11	9	9～12
8	11111110	2	00～11	13	13～16
						9	111111110	2	00～11	17	17～20

对于数据d，满足：c₀2⁰+c₁2¹+…+c_m2^m<d<c₀2⁰+c₁2¹+…+c_n2ⁿ，其中0≤c_i≤3且当c_i>0时，c_i-1＝3。前缀码长度计算起始数据和偏移码长度偏移量d_s＝d-C_pstart，偏移码C_s为L_s位d_s的二进制编码。数据d的前缀偏移编码即为前缀码C_p和偏移码C_s的组合码。

前缀偏移编码增加了存储非零整数值所需要的比特位数，数值越大所增加的位数越多。但是编码中出现连1和连0的概率较高，通过相邻位异或运算，可以将前缀偏移编码转变为一组稀疏二进制编码。

稀疏序列编码流程图如图3所示。输入稀疏二进制序列，获取序列长度n和非零元素个数k，并根据n和k计算序列分组长度L和分组编码位数i，其中 i位分组编码位数中，1位为标志位，用来区分序列是否为全零序列。当序列为全零序列时，标志位为0，序列不为全零序列时，标志位为1。其余i-1位二进制编码有2^i-1种方式，分别用来记录当前分组序列中首个非零位置。算法采用2位二进制记录分组编码信息：00,01,10,11分别表示编码位数i为2,3,4,5位。以L＝4，i＝3为例，序列中首个非零位置与最终编码的对应关系如下表所示：

序列首个非零位置p	码本位	最终编码
			0	00	100
1	01	101
			2	10	110
3	11	111

稀疏序列编码初始化编码位置pStart，读取长度为L的序列进行编码(若此时未编码序列长度小于L则读完剩余序列)。若本次读取的序列为L位全零序列，标记位为0，码本位为空，本序列所对应的最终编码为0，pStart＝pStart+L。若本次读取的序列不为全零序列，首先将标志位置1，并根据序列首个非零位置p记录对应码字，将移动编码位置移动到首个非零位的下一位：pStart＝pStart+p+1。

Claims (1)

1.一种基于稀疏化处理的移动节点监测数据序列压缩方法，其压缩过程包含序列稀疏化处理和稀疏序列编码两个过程，具体实现步骤如下：

a)序列稀疏化处理

(a-1)、移动节点根据传输数据帧格式，获取本次上传周期内序列采集次数m和单次采集序列中变量个数n，构建初始序列矩阵A；

(a-2)、对初始序列矩阵A进行转置操作，得到的转置矩阵称为相关性重排矩阵A^T；

(a-3)、对相关性重排矩阵A^T中的行向量V_i，记录最小值v_min，将行向量V_i中每个元素和最小值做差分处理，得到差分重排行向量D_i，将最小值作为D_i的第一个元素；

(a-4)、依次对采集次数m、变量个数n和D_i中元素进行前缀偏移编码；对于数据d，满足：c₀2⁰+c₁2¹+…+c_m2^m<d<c₀2⁰+c₁2¹+…+c_n2ⁿ，其中0≤c_i≤3且当c_i>0时，c_i-1＝3；前缀码长度计算起始数据和偏移码长度 偏移量d_s＝d-C_pstart，偏移码C_s为L_s位d_s的二进制编码，数据d的前缀偏移编码即为前缀码C_p和偏移码C_s的组合码；

(a-5)、从前缀偏移编码序列第二位开始，依次和前一位做异或运算，获得稀疏二进制编码；

b)稀疏序列编码

(b-1)、获取稀疏序列长度n和非零元素个数k；

(b-2)、根据n和k计算序列分组长度L和分组编码位数i，其中，

(b-3)、用2位二进制记录编码信息：00,01,10,11分别表示编码位数i为2,3,4,5位；

(b-4)、稀疏序列编码初始化编码位置pStart，读取长度为L的序列进行编码，若此时未编码序列长度小于L则读完剩余序列；若本次读取的序列为L位全零序列，标记位为0，码本位为空，本序列所对应的最终编码为0，pStart＝pStart+L；若本次读取的序列不为全零序列，首先将标志位置1，并根据序列首个非零位置p记录对应码字，将移动编码位置移动到首个非零位的下一位：pStart＝pStart+p+1。