CN108259041A - 一种基于改进型lzw编码压缩技术的北斗数据扩容方法 - Google Patents

Abstract

本发明提供了一种基于改进型LZW编码压缩技术的北斗数据扩容方法，根据通信申请中的传输方式完成原始数据的编码，初始化字典、输入数据流前缀字符串及重复编码器重复次数，对编码数据流字符的读入及编码结束进行判定，采用重复编码器编码并输出结果，不存在重复字符则利用LZW编码器进行编码。本发明有效减少了编码的长度，提高了压缩效率，在不增加北斗通信用户终端硬件资源的基础上，通过软件算法实现北斗短报文通信数据扩容。

Description

一种基于改进型LZW编码压缩技术的北斗数据扩容方法

技术领域

本发明属于北斗卫星导航领域，涉及一种北斗系统通信用户终端中的通信数据扩容实现方法。

背景技术

北斗短报文通信为授权服务，短报文通信经过卫星转发至地面控制中心，经处理后发送给指定用户。由于北斗系统的信号格式和算法设计，用户单次通信容量受限，军用用户单次通信数据长度最大为1680bit，民用用户单次通信数据长度最大为848bit。随着北斗系统应用领域的扩展、应用层次的深入，北斗短报文通信因其受天气等因素干扰较小得到了广泛的应用，同时用户对通信数据容量提出了更高的需求，在北斗系统通信容量受限情况下，采用数据编码压缩是一种有效可行的数据扩容方法。

北斗短报文通信电文数据类别主要包括为汉字、代码和混码，在进行数据压缩时应该选择无损编码压缩方法。常用的无损压缩方法有Huffman编码、算法编码及LZ算法等。Huffinan编码和算术编码都需要精确的原始数据概率分布知识，实际应用中原始数据统计特性难于获取；Huffinan编码需要对原始数据进行两遍扫描，应用中将会引起较大的计算延时；算法编码的计算量高度复杂，主要应用于图像压缩领域。LZ系列编码算法在自行建立的字典模型上进行数据压缩，主要包括LZ77、LZ78、LZSS和LZW等编码算法，其中LZW算法以其较快的压缩速度和对各种数据的良好适应性使得其成为LZ系列压缩算法中最优秀的压缩算法之一，但LZW算法仍存在以下不足：

1)LZW压缩算法由于前缀性的约束，识别一般每次只在原来基础上增加一个字符，对于连续重复出现的字符串，编码压缩效率较低。

2)LZW压缩算法给不同的码字分配固定长度，当输入数据较大时，数据的压缩效率会有所降低。

发明内容

为了克服现有技术的不足，本发明提供一种适用于北斗短报文通信的改进型LZW编码压缩算法，能够满足北斗短报文通信数据扩容的需求。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1，通过报文通信申请TXA语句，确定通信申请中的传输方式，进而完成原始数据的编码；

当报文传输方式为汉字时，报文通信内容包括GB2312编码收录的6763个汉字，对区号和位号进行分别压缩编码；

当报文传输方式为代码时，报文通信内容包括16进制数，代码用8位ASCII码的低4bit表示；

当报文传输方式为汉字和代码混合时，汉字用16bit GB23122编码表示，字符用8bit ASCII码表示；

步骤2，初始化字典，汉字传输方式下，对区号和位号分别进行编码压缩，区号的字典初始化包括0x10～0x37，位号的字典初始化包括0x01～0x7E；代码传输方式下，代码的字典初始化包括0x0～0xF；混合传输方式下，混合的字典初始化包括0x20～0x7E和0xA1～0xFE；码字初始化n＝n0，其中n0为各传输方式下初始化字典中最后一个码字；将改进后整个字典分为1～256、257～512及513～10243个部分，每个部分所对应的输出码字长度分别为8bit、9bit、10bit；每出现一次码字长度的变化便输出一个变长标志；

步骤3，读入第一个编码输入数据字符c0，前缀字符串P初始化P＝c0；采用重复编码器对报文信息中重复字符串数据进行编码，其余数据由LZW编码器编码，两种编码器的编码通过LZW编码器的编码过程表统一；重复编码器重复次数Rc初始化为1；

步骤4，读入下一个字符c，并判断字符c是否为编码数据流结束字符，若为结束字符则输出P的码字及重复次数Rc，若P的码字长度发生变化则输出一个变长标志，编码结束；若c非结束字符，则转到步骤5；

步骤5，重复编码器判断前缀字符串P与输入字符串c是否相等，若相等则满足重复编码条件，P＝c，重复次数Rc加1，转到步骤4读入新的字符；若不相等则表示不满足重复编码条件，转入步骤6；

步骤6，若重复次数Rc＞1，则表示存在重复字符串，输出P的码字及重复次数Rc，若P的码字长度发生变化则输出一个变长标志；若重复次数等于1，则表示不存在重复字符，转入步骤7利用LZW编码器进行编码；

步骤7，判断P和c组成的字符串P+c是否在字典中，若在字典中，则令P等于P+c，转入步骤4，读入新的字符；若P+c不在字典中，LZW输出P的码字，若P的码字长度发生变化则输出一个变长标志，将P+c加入字典，码字n值加1，P＝c，转步骤4，读入新的字符。

本发明的有益效果是：针对LZW基本算法存在的不足，通过在LZW编码算法的初始阶段构造重复编码器，通过对不同的码字分配变长长度对LZW算法进行改进形成LZW-RC编码压缩算法，提高编码压缩效率。改进后的LZW-RC编码压缩算法自适应能力强，适用于北斗短报文通信各种传输方式。算法完全兼容LZW编码压缩算法，有效减少了编码的长度，对于重复字符较多的代码及汉字传输方式，采用重复编码器编码压缩效果优势明显，对于重复字符较少且不连续混合传输方式，采用LZW编码提高压缩效率。LZW-RC编码压缩算法在不增加北斗通信用户终端硬件资源的基础上，通过软件算法实现北斗短报文通信数据扩容。

附图说明

图1是LZW-RC编码压缩算法流程图；

图2基于LZW-RC编码压缩算法的北斗通信用户终端设计示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

LZW压缩算法的核心是其在压缩过程中维护的一个字典，字典将输入的不定长度的字符串转换为一个固定长度的码字，编码输出码流为相应输入码流在字典中的位置。在压缩过程中根据一定的规则不断地将编码器中首次遇到的字符串加入到字典中，并且为加入的字符串分配一个唯一的码字。基于LZW算法的不足，针对连续重复出现的字符串，在LZW编码前增加重复编码器，统计并输出重复字符串的个数；根据北斗短报文通信数据电文长度，对不同的码字分配变长长度的方法对LZW算法进行改进。改进型LZW算法流程如图1所示。

步骤1：根据通信申请中的传输方式完成原始数据的编码

依据《北斗二号用户设备数据接口要求》，通过报文通信申请TXA语句，获取报文传输方式：0＝汉字，1＝代码，2＝汉字和代码混合。

汉字传输方式下，报文通信内容包括GB2312编码收录的6763个汉字。GB2312对收录字符分区采用区位码表示，每个字符采用2个字节表示，第一个字节为高字节，对应94个区，第二个字节为低字节，对应94个位。GB2312的16～55区收录3755个一级汉字，56～87区收录3008个汉字。鉴于汉字传输方式下二级汉字的使用率低，区号的字典初始化针对一级汉字，因此区号重复出现概率较大，本发明对区号和位号进行分别压缩编码。

代码传输方式下，报文通信内容包括16进制数共(0～9、0xa～0xf、0xA～0xF)，其中代码模式支持大小写数据流输入，但编码和解码时不区分大小写，统一转换为大写0xA～0xF。代码用8位ASCII码的低4bit表示。

混合传输方式下，报文通信内容包括GB2312编码收录汉字6763个、半角

有效字符94个(含代码)。汉字用16bit表示，由于汉字的区号和位号可能与字符的ASCII码相同，在汉字的区号和位号加上0xA0即产生GB2312编码，汉字编码范围为0xB0A1～0xF7FE。字符用8bit ASCII码表示，编码范围0x20～0x7E。混合传输方式下汉字报文数据流由区号和位号组成，第一个字节为高字节，对应区号，第二个字节为低字节，对应位号。

步骤2：初始化字典

汉字传输方式下，对区号和位号分别进行编码压缩，区号的字典初始化包括0x10～0x37，位号的字典初始化包括0x01～0x7E。代码传输方式下，代码的字典初始化包括0x0～0xF。混合传输方式下，混合的字典初始化包括0x20～0x7E和0xA1～0xFE。码字初始化n＝n0，其中n0为各传输方式下初始化字典中最后一个码字。

由于LZW压缩算法给不同的码字分配固定长度的情况(标准码长为12bit)，数据的压缩效率将会有所降低，通过对不同的码字分配变长长度对LZW算法进行改进。军用用户单次通信数据长度最大为1680bit(民用为848bit)，其中汉字传输方式下单次通信容量为120个汉字(民用为个汉字)，代码传输方式下单次通信容量为420个代码(民用为汉字)，混合传输方式下单次通信容量为M个汉字和N个有效字符(军用2M+N≤209，民用2M+N≤)，根据北斗短报文通信电文数据长度，考虑数据压缩后的通信容量裕量，将改进后整个字典分为3个部分，其中1～256、257～512及513～1024分别是第1、第2及第3部分，每个部分所对应的输出码字长度分别为8bit、9bit、10bit。每出现一次码字长度的变化便输出一个变长标志，以提示解码程序代码字长度的变化。

步骤3：输入数据流前缀字符串及重复编码器重复次数的初始化

读入第一个编码输入数据字符c0，前缀字符串P初始化P＝c0。

LZW压缩算法由于前缀性的约束，识别一般每次只在原来基础上增加一个字符，对于连续重复出现的字符串，编码压缩效率较低。北斗短报文通信应用中，基于北斗短报文通信汉字传输方式下的区号及代码传输方式下的代码重复出现概率较大的特点，在LZW算法编码初始阶段，构造了重复字符串检测编码器(以下简称重复编码器)，形成改进型LZW-RC编码压缩算法。

LZW-RC编码压缩算法共有两个编码器，分别为重复编码器和LZW编码器，针对报文信息的不同特点，采用不同的编码器分别编码。重复编码器对报文信息中重复字符串数据进行编码，其余数据由LZW编码器编码。两种编码器的编码通过LZW编码器的编码过程表统一，区别于LZW编码算法编码过程表中的步骤、位置、码字、编码字典、输出码流等项，LZW-RC压缩编码过程表增加重复次数项。

重复编码器重复次数Rc初始化为Rc＝1。

步骤4：编码数据流字符的读入及编码结束的判定

读入下一个字符c，并判断字符c是否为编码数据流结束字符，若为结束字符则输出P的码字(若P的码字长度发生变化则输出一个变长标志)及重复次数Rc，编码结束。若c非结束字符，则转到步骤5。

步骤5：重复编码器编码

重复编码器判断前缀字符串P与输入字符串c是否相等，若相等则满足重复编码条件，P＝c，重复次数Rc＝Rc+1，转到步骤4读入新的字符。若不相等则表示不满足重复编码条件，则转入步骤6。

步骤6：重复编码器编码结果输出

若重复次数Rc＞1，则表示存在重复字符串，输出P的码字(若P的码字长度发生变化则输出一个变长标志)及重复次数Rc。若重复次数等于1，则表示不存在重复字符，则转入步骤7利用LZW编码器进行编码。

步骤7：LZW编码器编码

判断P+c(P+c为P和c组成的字符串，如P＝a，c＝b，则P+c表示的是ab)是否在字典中，若在字典中，则P＝P+c，转入步骤4，读入新的字符；若P+c不在字典中，LZW输出P的码字(若P的码字长度发生变化则输出一个变长标志)，将P+c加入字典，码字n＝n+1，P＝c，转入步骤4，读入新的字符。

基于LZW-RC编码压缩算法的北斗短报文通信用户终端设计方案如图2所示。RDSS射频芯片选择润芯RX3601C，主要完成北斗出站信号的下变频、输出50MHz工作时钟及入站信号调制；FPGA选择Xilinx XC6SLX150，主要完成出站信号的捕获、跟踪等基带信号处理及入站数据流的产生；DSP选TI TMS320C6713，主要实现卫星导航解算及基于LZW-RC算法的短报文通信电文的编码压缩和解码输出。为了兼容军民两用，IC卡接口电路设计2种用户卡接口。

为了测试LZW-RC编码压缩算法的数据压缩效率，分别对北斗短报文通信三种传输方式下的数据压缩率进行仿真验证，记录压缩前文件大小、压缩后的文件大小以及压缩率。表1为采用基本LZW编码压缩算法仿真结果，表2为采用改进型LZW-RC编码压缩算法仿真结果。

表1采用基本LZW编码压缩算法仿真结果

序号	传输方式	压缩前/kb	压缩后	压缩率
					1	汉字	1.68	1.33	79％
2	代码	1.68	1.13	67％
					3	混合	1.68	1.24	74％

表2采用改进型LZW编码压缩算法仿真结果

序号	传输方式	压缩前/kb	压缩后	压缩率
					1	汉字	1.68	1.21	72％
2	代码	1.68	0.93	55％
					3	混合	1.68	1.10	65％

根据不同传输方式下北斗短报文通信电文数据的特点，发明了一种适用于北斗短报文通信的改进型LZW编码压缩算法LZW-RC，可应用于北斗短报文通信用户终端，实现北斗短报文通信数据的扩容。

步骤1：根据通信申请中的传输方式完成原始数据的编码

通过通信申请TXA语句，获取通信申请中的传输方式，0为汉字，1为代码，2为混合。汉字传输方式下对通信内容中的汉字根据GB2312编码表获取区位码，对汉字的区号和位号分别进行编码。代码传输方式下每个代码由对应的ASCII码的低4bit表示。混合传输方式下报文通信内容中的汉字用16bit表示，单个汉字的区号和位号统一编码，半角字符(包括16进制数)用8bit ASCII码表示。

步骤2：初始化字典

汉字传输方式下，对区号和位号分别进行编码压缩，区号的字典初始化包括0x10～0x37，位号的字典初始化包括0x01～0x7E。代码传输方式下，代码的字典初始化包括0x0～0xF。混合传输方式下，混合的字典初始化包括0x20～0x7E和0xA1～0xFE，码字初始化n＝n0，其中n0为初始化字典中最后一个码字。

步骤3：输入数据流前缀字符串及重复编码器重复次数的初始化

读入第一个字符c，前缀字符串P＝c，RC编码器重复次数初始化为Rc＝1。

步骤4：编码数据流字符的读入及编码结束的判定

读入下一个字符c，并判断字符c是否为结束字符，若为结束字符则输出P的码字(若P的码字长度发生变化则输出一个变长标志)及重复次数Rc，编码结束。若c非结束字符，则转到步骤5。

步骤5：重复编码器编码

重复编码器判断前缀字符串与输入字符串是否相等，若相等则满足重复编码条件，P＝c，重复次数Rc＝Rc+1，转到步骤4读入新的字符。若不相等则表示不满足RC编码条件，则转入步骤6。

步骤6：重复编码器输出

若重复次数大于1，则表示存在重复字符，输出P的码字(若P的码字长度发生变化则输出一个变长标志)及重复次数Rc。若重复次数等于1，则表示不存在重复字符，则转入步骤7开始LZW编码。

步骤7：LZW编码器编码

判断P+c是否在字典中，若在字典中，则P＝P+c，转入步骤4，读入新的字符；若P+c不在字典中，输出P的码字(若P的码字长度发生变化则输出一个变长标志)，将P+c加入字典，码字n＝n+1，P＝c，转入步骤4，读入新的字符。

仿真中，通过步骤1、步骤2、步骤3、步骤4、步骤6及步骤7即可实现基本的LZW编码压缩算法，采用LZW编码压缩算法及改进型LZW-RC编码压缩算法对北斗短报文通信三种传输方式下的数据压缩率进行仿真验证，仿真结果如表1和表2所示。由表1和表2可以得出，基于改进型的LZW-RC编码压缩算法优于LZW编码压缩算法，可以更加高效的实现北斗短报文通信内容的压缩，从而在北斗系统通信容量受限的情况下，实现短报文通信的数据扩容。

Claims (1)

1.一种基于改进型LZW编码压缩技术的北斗数据扩容方法，其特征在于包括下述步骤：

步骤1，通过报文通信申请TXA语句，确定通信申请中的传输方式，进而完成原始数据的编码；

当报文传输方式为汉字时，报文通信内容包括GB2312编码收录的6763个汉字，对区号和位号进行分别压缩编码；

当报文传输方式为代码时，报文通信内容包括16进制数，代码用8位ASCII码的低4bit表示；

当报文传输方式为汉字和代码混合时，汉字用16bit GB23122编码表示，字符用8bitASCII码表示；

步骤2，初始化字典，汉字传输方式下，对区号和位号分别进行编码压缩，区号的字典初始化包括0x10～0x37，位号的字典初始化包括0x01～0x7E；代码传输方式下，代码的字典初始化包括0x0～0xF；混合传输方式下，混合的字典初始化包括0x20～0x7E和0xA1～0xFE；码字初始化n＝n0，其中n0为各传输方式下初始化字典中最后一个码字；将改进后整个字典分为1～256、257～512及513～10243个部分，每个部分所对应的输出码字长度分别为8bit、9bit、10bit；每出现一次码字长度的变化便输出一个变长标志；

步骤3，读入第一个编码输入数据字符c0，前缀字符串P初始化P＝c0；采用重复编码器对报文信息中重复字符串数据进行编码，其余数据由LZW编码器编码，两种编码器的编码通过LZW编码器的编码过程表统一；重复编码器重复次数Rc初始化为1；

步骤4，读入下一个字符c，并判断字符c是否为编码数据流结束字符，若为结束字符则输出P的码字及重复次数Rc，若P的码字长度发生变化则输出一个变长标志，编码结束；若c非结束字符，则转到步骤5；

步骤5，重复编码器判断前缀字符串P与输入字符串c是否相等，若相等则满足重复编码条件，P＝c，重复次数Rc加1，转到步骤4读入新的字符；若不相等则表示不满足重复编码条件，转入步骤6；

步骤6，若重复次数Rc＞1，则表示存在重复字符串，输出P的码字及重复次数Rc，若P的码字长度发生变化则输出一个变长标志；若重复次数等于1，则表示不存在重复字符，转入步骤7利用LZW编码器进行编码；

步骤7，判断P和c组成的字符串P+c是否在字典中，若在字典中，则令P等于P+c，转入步骤4，读入新的字符；若P+c不在字典中，LZW输出P的码字，若P的码字长度发生变化则输出一个变长标志，将P+c加入字典，码字n值加1，P＝c，转步骤4，读入新的字符。