CN1937582B

CN1937582B - 待压缩数据的预处理方法以及压缩数据的传输方法

Info

Publication number: CN1937582B
Application number: CN2006101096261A
Authority: CN
Inventors: 白杰; 李薇; 鲁征宇
Original assignee: Individual
Current assignee: Individual
Priority date: 2006-08-11
Filing date: 2006-08-11
Publication date: 2012-08-15
Anticipated expiration: 2026-08-11
Also published as: CN1937582A

Abstract

本发明公开了一种待压缩数据的预处理方法，包括：选择一个具有至少两个字符子集的字符集，所述两个字符子集具有互不相同的编码；使用所述字符集中第一字符子集的字符编码规则，对待压缩数据的二进制流进行编码，将所述二进制流变成字符流，所述字符流中的字符为所述字符集中第一字符子集中的字符。该方法能够保证发送到数据接收端的控制数据和实际数据得到明确的区分，进而保证利用解码得到的控制数据对实际数据的解压缩，有效恢复或还原实际数据。本发明还公开了一种利用待压缩数据的预处理方法实现的压缩数据的传输方法。

Description

待压缩数据的预处理方法以及压缩数据的传输方法

技术领域

本发明涉及数据压缩过程中被压缩数据的待预处理方法以及压缩数据的传输方法。

背景技术

网络中的数据在被传输前，为了减少实际传输的数据量，通常需要对待传输的数据进行压缩，以减少网络传输资源的占用以及减少传输失败的机会，提高数据传输的效率。被传输的数据通常由发出数据的节点进行打包处理，即将被传输的数据按照某种通信协议包装成该协议规定格式的数据包，例如IP数据包，TCP数据包等，这些数据包被传输到网络传输设备压缩发送。数据包通常包括包头和包的主体，包头一般用于存放源地址、目的地址、校验和、长度等控制信息，包的主体通常用于承载数据本身。也就是说，数据的传输是以“包”为单位的，数据包中的数据即有实际的符合某种规则的含义，例如目的地址，无论其最终的二进制的表示形式是什么，都代表了数据包的目的地址，按照规则可以解释成其原本的含义；同时，从二进制的角度看，数据包中的数据又是杂乱无章的。

对于数据压缩来说，压缩后的数据也需要分为两部分，控制信息或控制数据和实际数据，这要求压缩后的数据必须与某些或某个字符集相对应，该字符集的一部分用于描述或代表实际数据，而另一部分描述或代表控制数据，这样，在数据接收端，可以有效利用该字符集中的描述或代表控制数据的部分内容将经过压缩的实际数据还原为本来的含义。如果压缩后的数据不与某个或某种字符集对应，或者压缩后的数据与该字符集的全部内容对应，由于数据包中数据的无需或杂乱，将无法利用所述字符集中的部分内容生成实际压缩数据的控制数据，从而无法恢复或还原实际数据。

例如，被传输的数据包通常有多个数据包构成一个数据包流，参考图1(A)，这样的数据包流被压缩后形成压缩后的新的数据包流，参考图1(B)，图1(B)所示的数据包流包括数据区2和控制区1，在数据包接收端，靠控制区1的数据将数据区2中的实际数据恢复到压缩前的状态。因此，需要表示控制区数据的字符与表示数据区数据的字符分属于不同的字符集或者分属于一个字符集的不同的、相互不重复的部分。而且即使字符集不同，表示这两种数据的字符也不能有重复。如果压缩后的数据包与一个字符集的对应关系如图1(C)所示，即数据区2的实际数据对应有三个部分11、12、13字符区域的字符集的全部，则控制区1中的控制数据要么不能产生，要么与数据区2的实际数据对应的字符重复，这样在压缩后的数据流中将无法区分控制数据和实际数据，接收端无法进行被压缩数据的解压缩或恢复。

发明内容

为解决上述问题，本发明提供一种有利于数据压缩和恢复的待压缩数据的预处理方法和压缩数据的传输方法。

本发明提供的待压缩数据的预处理方法，包括：

选择一个具有至少两个字符子集的字符集，所述两个字符子集具有互不相同的编码；

使用所述字符集中第一字符子集的字符编码规则，对待压缩数据的二进制流进行编码，将所述二进制流变成字符流，所述字符流中的字符为所述字符集中第一字符子集中的字符。

所述字符集为ASCII字符集，所述第一子集为ASCII字符集中的字符编码部分。

优选地，采用ASCII字符集中的字符编码部分的后7位或者后6位二进制对待压缩数据的二进制流进行编码。

也可以使用所述字符集为ISO-8859-1字符集，所述第一子集为ISO-8859-1字符集中的后7位或者后6位二进制编码对应的字符子集。

本发明提供的另一种待压缩数据的预处理方法，包括：

选择二个字符集，所述两个字符集或用于编码的子集具有互不相同的编码；

使用二个字符集中的第一字符集或用于编码的子集的字符编码规则，对待压缩数据的二进制流进行编码，将所述二进制流变成字符流，所述字符流中的字符为所述第一字符集或用于编码的子集中的字符。

所述的二个字符集为ASCII字符集和ISO-8859-1字符集。

本发明提供的压缩数据的传输方法，包括：

使用所述字符集中第一字符子集的字符编码规则，对待压缩数据的二进制流进行编码，将所述二进制流变成字符流，所述字符流中的字符为所述字符集中第一字符子集中的字符；

对编码后的字符流进行压缩生成压缩数据；

使用所述字符集中第二字符子集的字符编码规则生成所述压缩数据的控制数据；

将所述压缩数据和所述控制数据打包发送。

具体地，采用ASCII字符集中的字符编码部分的后7位或者后6位二进制对待压缩数据的二进制流进行编码。

所述字符集还可以采用ISO-8859-1字符集，所述第一子集为ISO-8859-1字符集中的后7位或者后6位二进制编码对应的字符子集。

由于本发明选择一个具有至少两个字符子集的字符集，且所述两个字符子集具有互不相同的编码，这样，当使用所述字符集中第一字符子集的字符编码规则对待压缩数据的二进制流进行编码时，可以使用第二字符子集的字符编码规则对控制数据进行编码，因此，能够保证发送到数据接收端的控制数据和实际数据得到明确的区分，进而保证利用解码得到的控制数据对实际数据的解压缩，有效恢复或还原实际数据。

附图说明

图1(A)是被传输的数据包流图；

图1(B)是图1(A)所述数据包流被压缩后形成的数据流图；

图1(C)是压缩后的数据包与一个字符集第一种对应关系图；

图1(D)是压缩后的数据包与一个字符集第二种对应关系图；

图2是本发明所述待压缩数据的预处理方法的实施例流程图；

图3是本发明采用的ASCII码表；

图4是本发明所述压缩数据传输方法的实施例流程图。

具体实施方式

下面：结合附图对本发明进行进一步的说明。

首先参考图1(D)，图1(D)是压缩后的数据包与一个字符集第二种对应关系图。在本发明中，实现数据压缩传输以及在数据接收端对压缩的数据进行解压缩，需要依赖包含在压缩数据流中的控制数据，因此，要有效区分所述控制数据和压缩数据，必须使这两部分数据对应不同的字符集或字符集编码互不相同的部分。假设字符集有三部分字符，第一部分11为控制字符，第二部分12为数字，第三部分13为英文字母，由于这三部分的编码互不相同，因此，可以如图1(D)所示，使控制数据的编码对应所述第一部分字符，而压缩数据的编码对应第二、第三部分，就能够保证压缩的数据和控制数据采用不同的编码，从而能够在数据接收端有效区分出压缩数据和控制数据，从而实现压缩数据的解压缩。当然，只要控制数据的对应部分不同于压缩数据的对应部分，而所对应部分的字符编码的个数(或者说对应部分的字符的个数)能够满足编码的数据个数要求，就能够实现本发明。例如，使控制数据的编码对应所述第二部分字符，而压缩数据的编码对应第三部分。

图2是本发明所述待压缩数据的预处理方法的实施例流程图。按照图2，首先在步骤21选择一个具有至少两个字符子集的字符集，所述两个字符子集具有互不相同的编码。这样选择字符集，是为了利用该字符集的不同子集的编码不同的特点，对压缩数据和控制数据进行不同的编码，以便在数据接收端能够准确获得压缩数据和控制数据。实际中，在计算机领域使用的任何一个字符集都满足步骤1中所述的具有至少两个字符子集的条件，关于这一点，下文还有详细的说明。

然后在步骤22，从所述字符集中确定该两个子集。所述子集的确定在于编码的需求。由于待传输的数据流为二进制数据流，子集的确定在于要对多少位二进制数据进行编码。例如，如果对5位二进制进行编码，所述子集的容量最少为2⁵个字符，即32个字符；如果对7位二进制进行编码，所述子集的容量最少为2⁷个字符，即128个字符。显然，确定对二进制编码的位数是决定字符子集容量或大小的因素，所述二进制位数越多，编码压缩的效率可能越高。但是，所述二进制位数过多也会降低编码压缩的效率，因此，最佳的二进制位数之一，例如七位可能更好的体现编码压缩的效率和计算机运行效率之间的平衡。

最后在步骤23，使用所述字符集中第一字符子集的字符编码规则，对待压缩数据的二进制流进行编码，将所述二进制流变成字符流，所述字符流中的字符为所述字符集中第一字符子集中的字符。这里所述第一子集，实际上步骤2确定的子集中的任意一个，只要这个子集满足对待压缩的数据，即待压缩的二进制码流的编码需求。另一个子集，用于在采用任意一种算法对编码后的数据进行压缩时，生成相应的控制数据，即用该子集进行编码的控制数据。

在本实施例中，所述字符集为ASCII字符集，所述第一子集为ASCII字符集中的字符编码部分。用其他的子集的编码，例如数字部分的子集对控制数据的二进制流进行编码。在本例中，采用ASCII字符集中的字符编码部分的后7位二进制编码对待压缩数据的二进制流编码，也可以用6位二进制对待压缩数据的二进制流进行编码。

图3是本发明采用的ASCII码表，如果用6位二进制对待压缩数据的二进制流进行编码，则需要占用该表的一半，本例中占用大写字母A以后的64个字符组成的字符集，其余的字符编码部分用于将来对控制数据进行编码。

由于任何实际传输的数据，例如文本、图像、数字等都可以转化为二进制形式的数据，因此，对于下述待压缩的二进制数据001011101010101010来说，从最低位起，每6位划分为一组，则分别为00001011，101010，101010，将上述三组数加上大写字母A的二进制编码数41H(H表示十六进制)，则上述三组数对应的ASCII码字符集的字符K，j，j。即K，j，j为处理后的待要所数据。

在本发明的另一个实施例中，所述字符集为ISO-8859-1字符集，所述第一子集为ISO-8859-1字符集中的后7位或者后6位二进制编码对应的字符子集。前文已有说明，实施上目前计算机领域使用的很多字符集都可以用于本发明，例如ISO-8859-1字符集，UNICODE字符集等。只要该字符集的两个子集具有不同的编码且满足对二进制编码位数的要求即可。

在本发明的第三个实施例中，选择二个字符集，所述两个字符集或该两个字符集中用于编码的子集具有互不相同的编码；而使用二个字符集中的第一字符集或用于编码的子集的字符编码规则，对待压缩数据的二进制流进行编码，将所述二进制流变成字符流，所述字符流中的字符为所述第一字符集或用于编码的子集中的字符。例如，所述的二个字符集可以为ASCII字符集和ISO-8859-1字符集。

本质上，在本发明中，无论什么样的字符集，甚至对于随意编制的字符集，只要能够用一个二进制将对于待压缩数据的编码和控制数据的编码区分把出来，采用的编码用的二进制位数可以有很多，例如20位，只是编码后的字符在显示器上难以用通常的可理解的形式显示出来而已。也就是说，在确定的可编码的二进制位数确定后，再增加至少一个二进制位用于识别是对待压缩数据编码还是对控制数据编码即可。所述增加的二进制位可以放在编码的前部、中部或后部的任意一个位置。由于此种处理方式过于简单，在此不再举例。

在本发明的第四个实施例中，第一个字符集选择ASCII字符集，用ASCII字符集的全部，即7位二进制为待压缩数据的编码。在计算机中，数据的处理通常以字节(八位二进制)或字节的倍数为单位，由于基本ASCII字符集只采用八位二进制中的低七位用于字符的编码，八位二进制中的最高位不使用，因此用八位二进制中的低七位对待压缩数据编码，最高位可以用于区分采用七位二进制对控制数据编码的字符，同时可以兼顾计算机处理数据的效率。由于基本ASCII字符集用于编码的八位二进制中只使用低七位，最高位为“0”，因此在此方案中，可以采用最高位为“1”的任何一个八位二进制中的低七位对控制数据编码，例如采用扩展ASCII字符集的最高位为“1”的部分。

图4是本发明所述压缩数据传输方法的实施例流程图。

按照图4，首先在步骤41选择一个具有至少两个字符子集的字符集，所述两个字符子集具有互不相同的编码。这样选择字符集，是为了利用该字符集的不同子集的编码不同的特点，对压缩数据和控制数据进行不同的编码，以便在数据接收端能够准确获得压缩数据和控制数据。

然后在步骤42，从所述字符集中确定该两个子集。所述子集的确定在于编码的需求。由于待传输的数据流为二进制数据流，子集的确定在于要对多少位二进制数据进行编码。通常，需要选择一个考虑计算机处理效率的最佳二进制位数，以获得最佳的编码压缩的效率。例如最佳位数为“7”、“15”、“31”等，选择计算机字长的最高位区分对控制数据的编码。

在步骤43，使用所述字符集中第一字符子集的字符编码规则，对待压缩数据的二进制流进行编码，将所述二进制流变成字符流，所述字符流中的字符为所述字符集中第一字符子集中的字符。

在本实施例中，所述字符集为扩展ASCII字符集，所述第一子集为基本ASCII字符集中的全部字符编码部分，即采用七位二进制对待压缩数据编码。用其它的子集的编码，即扩展ASCII字符集的最高位为“1”的部分(扩展部分)对控制数据的二进制流进行编码。当然，也可以采用其它方式的编码，例如基本ASCII字符集中的字符编码部分，或者采用基本ASCII字符集中的字符编码部分的后7位或者后6位二进制对待压缩数据的二进制流进行编码。如果采用ISO-8859-1字符集，所述第一子集为ISO-8859-1字符集中的后7位或者后6位二进制编码对应的字符子集，等等。

在步骤44，对编码后的字符流进行压缩生成压缩数据。所述压缩可以采用任意一种方法，例如采用本发明人同日申请的数据动态压缩方法中描述的方案。

然后在步骤45，根据步骤44压缩后的数据的特性，使用所述字符集中第二字符子集的字符编码规则生成所述压缩数据的控制数据，即使用扩展ASCII字符集的扩展部分生成所述控制数据，最后在步骤46，将所述压缩数据和所述控制数据打包发送出去。

所述字符流中的字符为所述第一字符集或用于编码的子集中的字符。例如，所述的二个字符集可以为ASCII字符集和ISO-8859-1字符集。

假设对一段二进制数据编码后的数据流为：A B A C A C B A C A，在经过步骤44对其进行压缩后形成的数据流为：A B A C<2，2><4，5>，在该数据流中，有需要原文输出的字符，也有标识其它信息的数组，由于数组无法直接用二进制来表示，因此，就需要确定控制数据，并且要保证对控制数据的编码不同于对待压缩数据的编码。在上述例子中，使用基本ASCII编码表中字符编码对待压缩数据进行了编码，由于基本ASCII字符集用于编码的八位二进制中只使用低七位，最高位为“0”，因此在此方案中，可以采用最高位为“1”的其它编码对控制数据编码。在本例中，一个八位二进制的控制数据的编码，除最高位为“1”，用于区别对待压缩数据的编码，剩下的七位，高三位用于功能编码，后四位用于表示二进制位数。假设本例有三个命令功能，分别为：输出字符(编码000)、输出数组(编码001)、有效位数(编码002)(约定从最后一个字符起)，则数据流A B A C<2，2><4，5>的输出为：(字符集中编号为84H的字符)A B A C(字符集中编号为94H的字符)2245，其中，84H(10000100)的二进制含义，最高位“1”是区别符号，后续的000表示输出字符功能，后续的0100表示下面输出4为数组的内容。有关该方面的细节内容由于超出了本发明的讨论范畴，在此不再详细讨论。

在本例中，还可以这样处理最后输出的数据：对于数据流A B A C<2，2><4，5>来说，需要区分数据流中哪些字符表示原文，哪些字符表示数组，对于八个二进制位分为一组的发送数据流来说，只要约定在八个字符前面的字符位控制字符即可，因此可以用八位二进制中某位为“0”表示原文输出，某位为“1”表示数组输出，所以控制数据大编码就表示为：00001111B(等于0FH)，因此得到完整的压缩编码，集控制数据加上编码数据的输出字符串位：F A B AC 2 2 4 5。

由于本实施例的实现细节前文已有说明，在此不再赘述。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种待压缩数据的预处理方法，其特征在于包括：

2.如权利要求1所述的待压缩数据的预处理方法，其特征在于，所述字符集为ASCII字符集，所述第一子集为ASCII字符集中的字符编码部分。

3.如权利要求2所述的待压缩数据的预处理方法，其特征在于，采用ASCII字符集中的字符编码部分的后7位或者后6位二进制对待压缩数据的二进制流进行编码。

4.如权利要求1所述的待压缩数据的预处理方法，其特征在于，所述字符集为ISO-8859-1字符集，所述第一子集为ISO-8859-1字符集中的后7位或者后6位二进制编码对应的字符子集。

5.一种待压缩数据的预处理方法，其特征在于包括：

6.如权利要求5所述的待压缩数据的预处理方法，其特征在于，所述的二个字符集为ASCII字符集和ISO-8859-1字符集。

7.一种压缩数据的传输方法，包括：

对编码后的字符流进行压缩生成压缩数据；

将所述压缩数据和所述控制数据打包发送。

8.如权利要求7所述的压缩数据的传输方法，其特征在于，所述字符集为ASCII字符集，所述第一子集为ASCII字符集中的字符编码部分。

9.如权利要求8所述的压缩数据的传输方法，其特征在于，采用ASCII字符集中的字符编码部分的后7位或者后6位二进制对待压缩数据的二进制流进行编码。

10.如权利要求7所述的压缩数据的传输方法，其特征在于，所述字符集采用ISO-8859-1字符集，所述第一子集为ISO-8859-1字符集中的后7位或者后6位二进制编码对应的字符子集。