CN113868206A - 一种数据压缩方法、解压缩方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种数据压缩方法、解压缩方法、装置及存储介质，压缩方法包括：获取待压缩数据的二进制编码文件；将二进制编码文件划分为多个依次排列的二进制编码段，对每个二进制编码段进行编码处理；编码处理包括：提取二进制编码段中标识bit的分布特征，标识bit为0或1；将所有二进制编码段的分布特征按照二进制编码段在二进制编码文件中的排列顺序进行组合获得二进制编码文件的压缩文件。将数据处理的单位降低到单个bit，以bit为单位进行压缩编码，处理的粒度更细，去掉了基于bit的数据冗余，压缩效果更好。单次压缩效果达到7%‑10%，为提高压缩效率可对多个二进制编码段并行压缩，还可通过多次压缩达到更好的压缩比。

Description

一种数据压缩方法、解压缩方法、装置及存储介质

技术领域

本发明涉及数据压缩技术领域，特别是涉及一种数据压缩方法、解压缩方法、装置及存储介质。

背景技术

随着多媒体和信息技术的不断发展，处于互联网环境中的个人和机构每天均会产生大量数据，而大规模的数据则给储存设备和通信交换系统都带来巨大压力。为此，一般会对产生的数据进行适当压缩，以降低数据对存储空间的需求和节约数据传输所需的带宽。数据压缩分为有损压缩和无损压缩，相对有损压缩无损压缩可能够完全恢复原始数据而不引起任何失真。

在现代无损压缩编码算法中，往往采用以字节为单位的基于统计学原理的压缩编码算法。典型的无损压缩算法有：哈夫曼压缩方法、基于算术编码的压缩方法、基于游程编码的压缩方法、基于字典编码技术的LZW压缩方法等。游程编码和LZW编码属于基于字典模型的压缩算法，而哈夫曼编码和算术编码属于基于统计模型的压缩算法，前者与原始数据的排列次序有关而与其出现频率无关，后者则正好相反。这些算法均是以字节为单位对信息进行编码压缩。这样势必会带来bit级别的数据冗余，某些信息本来一个bit就可以表示，却被编码为一个字节，浪费了存储空间。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种数据压缩方法、解压缩方法、装置及存储介质。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种数据压缩方法，包括：获取待压缩数据的二进制编码文件；将所述二进制编码文件划分为多个依次排列的二进制编码段，对每个二进制编码段进行编码处理；所述编码处理包括：提取二进制编码段中标识bit的分布特征，所述标识bit为0或1；将所有二进制编码段的分布特征按照二进制编码段在二进制编码文件中的排列顺序进行组合获得所述二进制编码文件的压缩文件。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种数据压缩方法，包括：获取待压缩数据的二进制编码文件；按照本发明第一个方面的一种数据压缩方法对所述二进制编码文件进行多次压缩直到达到预设条件，获得压缩文件，并记录压缩次数，为所述压缩文件添加后缀，所述后缀包括压缩次数。

为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种数据解压缩方法，包括：获取按照本发明第一方面所述的一种数据压缩方法获得的压缩文件；从所述压缩文件中依次识别出所有前缀以及所述前缀对应的分布特征；还原出每个分布特征对应的二进制编码段；还原出的二进制编码段按照分布特征在压缩文件中的排列顺序进行依次拼接，完成数据解压缩处理。

为了实现本发明的上述目的，根据本发明的第四个方面，本发明提供了一种数据解压缩方法，包括：获取本发明第二方面所述的一种数据压缩方法获得的压缩文件，从压缩文件的后缀中获取压缩次数；按照本发明第三个方面所述的一种数据解压缩方法对压缩文件进行多次解压，并记录解压次数，直到解压次数等于压缩次数时停止解压。

为了实现本发明的上述目的，根据本发明的第五个方面，本发明提供了一种数据压缩装置，包括：数据获取模块，用于获取待压缩数据的二进制编码文件；二进制编码段提取模块，将所述二进制编码文件划分为多个依次排列的二进制编码段；编码处理模块，提取二进制编码段中标识bit的分布特征，将所有二进制编码段的分布特征按照二进制编码段在二进制编码文件中的排列顺序进行组合获得所述二进制编码文件的压缩文件。

为了实现本发明的上述目的，根据本发明的第六个方面，本发明提供了一种解压缩装置，包括：压缩文件获取模块，获取按照本发明第一个方面所述的一种数据压缩方法获得的压缩文件；识别模块，从所述压缩文件中依次识别出所有前缀以及所述前缀关联的分布特征；二进制编码段还原模块，依据每个分布特征还原出所述分布特征对应的二进制编码段；拼接模块，还原出的二进制编码段按照对应的分布特征在压缩文件中的排列顺序进行依次拼接，完成数据解压缩处理。

为了实现本发明的上述目的，根据本发明的第七个方面，本发明提供了一种存储介质，所述存储介质用于存储指令，所述指令用于执行如本发明第一个方面或第二方面所述的一种数据压缩方法或者如本发明第三个方面或第四个方面所述的一种数据解压缩方法。

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明提供的数据压缩方法是对待压缩数据的二进制比特流进行压缩处理，将数据处理的单位降低到单个bit，以bit为单位进行压缩编码，处理的粒度更细，去掉了基于bit的数据冗余，压缩效果更好。在压缩过程中，通过分布特征来表达二进制编码段，分布特征包括了标识bit数量以及其位置特征，这样能缩短大部分二进制编码段的长度，起到很好的压缩效果，实验证明，单次压缩效果达到了7％-10％。同时，为提高压缩效率，还可以并行地对多个二进制编码段进行压缩处理获得对应分布特征，本发明提供的压缩方法，还可以通过多次压缩达到更好的压缩比。本发明数据压缩方法提供的压缩文件中，除表示二进制编码段的分布特征外，不需要其他特殊标记，在解压时能够自动识别出分布特征的前缀作为二进制编码段之间的隔断标志，进而得到多个位置特征，为提高解压效率，可以并行地对多个分布特征进行还原。

附图说明

图1是本发明第一种优选实施方式中数据压缩方法的流程示意图；

图2是本发明第二种优选实施方式中数据压缩方法的流程示意图；

图3是本发明第三种优选实施方式中数据解压缩方法的流程示意图；

图4是本发明第四种优选实施方式中数据解压缩方法的流程示意图；

图5是本发明第一种压缩文件结构示意图；

图6是本发明第二种压缩文件结构示意图；

图7是本发明第三种压缩文件结构示意图；

图8是本发明第四种压缩文件结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了第一种数据压缩方法，在一种优选实施方式中，如图1所示，包括：

步骤101，获取待压缩数据的二进制编码文件；二进制编码文件即待压缩数据的二进制01样式的码流。

步骤102，将二进制编码文件划分为多个依次排列的二进制编码段；

步骤103，对每个二进制编码段进行编码处理；编码处理包括：提取二进制编码段中标识bit的分布特征，标识bit为0或1，该分布特征主要是二进制编码段中标识bit(0或1)的数量以及分布位置情况；可以将0作为标识bit，也可以将1作为标识bit。当0作为标识bit时，则1作为非标识bit，当1作为标识bit时，则0作为非标识bit。

步骤104，将所有二进制编码段的分布特征按照二进制编码段在二进制编码文件中的排列顺序进行组合获得二进制编码文件的压缩文件。

在本实施方式中，待压缩数据优选但不限于为文档数据、图片数据或图像数据。

在本实施方式中，在步骤102和步骤103中，对于多个二进制编码段可以并行或串行进行编码处理。当并行处理时，可先执行步骤102，先将二进制编码文件划分为多个依次排列的二进制编码段，并记录各二进制编码段的排列顺序，再对多个二进制编码段并行执行步骤103，最后执行步骤104。并行处理能够提升效率。当串行处理时，可交叉执行步骤102和步骤103，先从二进制编码文件中取出一个二进制编码段，再基于步骤103对该二进制编码段进行编码处理获得分布特征，再返回步骤102取出下一个二进制编码段，再对下一个二进制编码段执行步骤103获得分布特征，将该分布特征拼接在上一次的分布特征后面，依次往复，直到完成二进制编码文件中所有二进制编码段的提取、编码处理以及分布特征拼接后，得到压缩文件。串行处理不需要记录二进制编码段的排列顺序，不易出错，可靠性高。

在本实施方式中，在步骤102中，多个二进制编码段的长度可以相同也可以不同，多个二进制编码段的长度相同时能够简化计算以及节省空间。需要说明的是，当压缩方和解压缩方对二进制编码段的长度以及标识bit达成共识时，在压缩文件中不需要设置二进制编码段的长度标签和标识bit，当压缩方和解压缩方对二进制编码段的长度或者标识bit未达成共识时，在压缩文件中还需要设置二进制编码段的长度标签和标识bit，以便解压缩方解压处理。二进制编码段的长度可自定义设置，如40bit、20bit等。

在本实施方式中，优选的，分布特征包括位置特征和与位置特征关联的前缀；前缀为二进制编码段中标识bit的数量K，K为整数；位置特征包括K个标识bit在二进制编码段中的位置信息的融合值。前缀除了具备不同二进制编码段位置特征的区分以外，还具有表示标识bit的数量的作用，非单纯的间隔符，能够减小整体存储空间。优选的，前缀为固定长度比特串,比特串的数值大小与标识bit的数量K相等。为了加大压缩比率，优选的，标识bit可根据二进制编码文件中0、1的总数量确定，选择数量较少的作为标识bit，这样能够减少所有前缀的长度累积值。

在本实施方式中，当二进制编码文件的bit位总量是二进制编码段的长度的整数倍时，压缩文件如图5所示，前缀1和位置特征1表示第一个二进制编码段的分布特征。在步骤102中，当二进制编码文件的bit位总数不是二进制编码段的长度的整数倍时，即从二进制编码文件取出最后一个二进制编码段后，二进制编码文件中剩余的bit位数小于二进制编码段长度，可将剩余的bit位放置在压缩文件的末尾，如图6所示；也可给剩余的bit末尾补足0或1，以满足二进制编码段的长度，对新的二进制编码段进行编码处理，并在压缩文件中设置一个补足标签，如图7所示，补足标签包括补数类型和补数长度，补数类型为0或1。

在一种优选实施方式中，获取二进制编码段的位置特征的过程包括：

设二进制编码段包括N位二进制bit,N为正整数，N≥K；

设二进制编码段中第n个bit的位置序号为n，n∈[0,N-1]；

获取二进制编码段中K个标识bit的位置序号,设第k个标识bit的位置序号为n_k，k∈[1,K]，若k＝1，则第k个标识bit的位置信息为0，若k＞1，则第k个标识bit的位置信息为符合位数为n_k且标识bit数量为k的二进制编码组合数；

获取K个标识bit在二进制编码段中的位置信息的融合值，将该融合值与第1位标识bit的位置序号n₁进行组合获得所述二进制编码段的位置特征。优选的，该融合值为K位标识bit的位置信息的累计和，以便于计算。

在本实施方式中，优选的，符合位数为n_k且标识bit数量为k的二进制编码组合数通过combin函数获取，该数量可表示为combin(n_k,k)，表示在n_k位bit中标识bit数量为k的二进制编码组合数。combin函数，为计算从给定数目的对象集合中提取若干对象的组合数，利用函数combin可以确定一组对象所有可能的组合数。

本发明还公开了第二种数据压缩方法，如图2所示，在一种优选实施方式中，该数据压缩方法包括：

步骤201，获取待压缩数据的二进制编码文件；

步骤202，按照本发明提供的第一种数据压缩方法对二进制编码文件进行多次压缩直到达到预设条件，获得压缩文件，并记录压缩次数，为压缩文件添加后缀，后缀包括压缩次数，最终的压缩文件的结构如图8所示。

在本实施方式中，预设条件可以为预设的最大压缩次数或者为压缩比例阈值，当压缩次数达到预设的最大压缩次数或者压缩比率达到压缩比例阈值时，停止压缩。

本发明还公开了第一种数据解压缩方法，如图3所示，在一种优选实施方式中，该数据解压缩方法包括：

步骤301，获取按照本发明第一种数据压缩方法获得的压缩文件；

步骤302，从压缩文件中依次识别出所有前缀以及前缀对应的分布特征；

步骤303，依据每个分布特征还原出分布特征对应的二进制编码段，具体包括：从分布特征的前缀中获取标识bit的个数K；基于分布特征中的位置特征、标识bit的个数K和二进制编码段的长度N还原出二进制编码段；

步骤304，还原出的二进制编码段按照对应的分布特征在压缩文件中的排列顺序进行依次拼接，完成数据解压缩处理。

在本实施方式中，优选的，基于分布特征中的位置特征、标识bit的个数K和二进制编码段的长度N还原出二进制编码段的过程包括：从该位置特征中取出K位标识bit的位置信息累计和，记为第一数值；获取符合bit数为N且包含K个标识bit的所有二进制编码，求取每个二进制编码的K位标识bit的位置信息累计和，记为第二数值，若第二数值与第一数值相等，则认为该二进制编码为还原得到的二进制编码段，若第二数值与第一数值不相等，则认为该二进制编码不是还原得到的二进制编码段，进行下一个二进制编码验证。

在一种优选实施方式中，还原出每个分布特征对应的二进制编码段，具体包括：

从分布特征中提取出前缀和位置特征，从位置特征中分离出K位标识bit的位置信息融合值M和第1位标识bit的位置序号n₁；

获取K位标识bit在二进制编码段的位置序号，具体包括：

步骤S1，设置滑动位置序号变量i、标识bit数量变量j和差值变量△M，所述i的初始值为N-1，所述j的初始值为K，所述△M的初始值为M；

步骤S2，获取符合位数为i且标识bit的数量为j的二进制编码的数量q，若q＜△M，则认为n_i为一个标识bit的位置序号，令j＝j-1,△M＝△M-q，i＝i-1，进入步骤S3,若q＞△M，则令i＝i-1，进入步骤S3；若q＝△M，则位置序号小于等于i的bit位均为标识bit,结束获取K位标识bit在二进制编码段的位置序号的步骤；

步骤S3，若j＝1,则已获取到K位标识bit在二进制编码段的位置序号，若j大于1，则返回执行步骤S2；

根据获取的K位标识bit在二进制编码段的位置序号还原二进制编码段。

在本实施方式的一种应用场景中，设N为16，标识bit为1。从前缀中得到标识bit的数量K为8，从位置信息融合值中得到n₁为3，则计算出8位标识bit的位置信息累计和M为6759。△M初始值为6759。还原的过程为：

计算最高位为1时的组合数，combin(15,8)＝6435，因为6435＜△M，则位置序号为15的位置上为标识bit,为1，△M更新为(6759-6435)＝324。

测试位置序号为14的位置是否为标识bit，计算combin(14,7)＝3432，由于3432大于324，因此位置序号为14的位置上是非标识bit，为0；

依次类推，直到位置序号为11时，计算combin(11,7)＝330，由于330大于324，因此位置序号为11的位置上是非标识bit，为0；

测试位置序号为10的位置是否为标识bit，计算combin(10,7)＝120，由于120小于324，因此位置序号为10的位置上是标识bit，为1；△M更新为(324-120)＝204；

依次类推，直到判断出测试位置序号为4的位置为标识bit，为1，由于n₁为3，因此最终得到的原始二进制编码段为1000011111011000。

本发明还公开了第二种数据解压缩方法，如图4所示，在一种优选实施方式中，该数据解压缩方法包括：

步骤401，获取根据本发明第二种数据压缩方法获得的压缩文件，从压缩文件的后缀中获取压缩次数；

步骤402，按照本发明第一种数据解压缩方法对压缩文件进行多次解压，并记录解压次数，直到解压次数等于压缩次数时停止解压。

本发明还公开了一种数据压缩装置，在一种优选实施方式中，该数据压缩装置包括：数据获取模块，用于获取待压缩数据的二进制编码文件；二进制编码段提取模块，将二进制编码文件划分为多个依次排列的二进制编码段；编码处理模块，提取二进制编码段中标识bit的分布特征，将所有二进制编码段的分布特征按照二进制编码段在二进制编码文件中的排列顺序进行组合获得二进制编码文件的压缩文件。

本发明还公开了一种解压缩装置，在一种优选实施方式中，该解压缩装置包括：压缩文件获取模块，获取本发明提供的第一种数据压缩方法获得的压缩文件；识别模块，从压缩文件中依次识别出所有前缀以及前缀关联的分布特征；二进制编码段还原模块，依据每个分布特征还原出分布特征对应的二进制编码段，具体包括：从分布特征的前缀中获取标识bit的个数K；基于分布特征中的位置特征、标识bit的个数K和二进制编码段的长度N还原出二进制编码段；拼接模块，还原出的二进制编码段按照对应的分布特征在压缩文件中的排列顺序进行依次拼接，完成数据解压缩处理。

本发明还公开了一种设备，该设备包括上述解压装置和上述数据压缩装置，还设备可以是个人电脑、手机等。

本发明还公开了一种存储介质，在一种优选实施方式中，存储介质用于存储指令，指令用于执行本发明提供的数据压缩方法或者本发明提供的数据解压缩方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种数据压缩方法，其特征在于，包括：

获取待压缩数据的二进制编码文件；

将所述二进制编码文件划分为多个依次排列的二进制编码段，对每个二进制编码段进行编码处理；

所述编码处理包括：提取二进制编码段中标识bit的分布特征，所述标识bit为0或1；

将所有二进制编码段的分布特征按照二进制编码段在二进制编码文件中的排列顺序进行组合获得所述二进制编码文件的压缩文件。

2.如权利要求1所述的数据压缩方法，其特征在于，所述分布特征包括位置特征和与所述位置特征关联的前缀；

所述前缀为所述二进制编码段中标识bit的数量K，所述K为整数；

所述位置特征包括K个标识bit在所述二进制编码段中的位置信息的融合值。

3.如权利要求2所述的数据压缩方法，其特征在于，获取二进制编码段的位置特征的过程包括：

设二进制编码段包括N位二进制bit,N为正整数，N≥K；

设二进制编码段中第n个bit的位置序号为n，n∈[0,N-1]；

获取二进制编码段中K个标识bit的位置序号,设第k个标识bit的位置序号为n_k，k∈[1,K]，若k＝1，则第k个标识bit的位置信息为0，若k＞1，则第k个标识bit的位置信息为符合位数为n_k且标识bit数量为k的二进制编码组合数；

获取K个标识bit在二进制编码段中的位置信息的融合值，将所述融合值与第1位标识bit的位置序号n₁进行组合获得所述二进制编码段的位置特征。

4.一种数据压缩方法，其特征在于，包括：

获取待压缩数据的二进制编码文件；

按照权利要求1-3任一项所述的一种数据压缩方法对所述二进制编码文件进行多次压缩直到达到预设条件，获得压缩文件，并记录压缩次数，为所述压缩文件添加后缀，所述后缀包括压缩次数。

5.一种数据解压缩方法，其特征在于，包括：

获取按照权利要求1-3任一项所述的一种数据压缩方法获得的压缩文件；

从所述压缩文件中依次识别出所有前缀以及所述前缀对应的分布特征；

依据每个分布特征还原出所述分布特征对应的二进制编码段；

还原出的二进制编码段按照对应的分布特征在压缩文件中的排列顺序进行依次拼接，完成数据解压缩处理。

6.如权利要求5所述的数据解压缩方法，其特征在于，所述还原出每个分布特征对应的二进制编码段，具体包括：

从分布特征中提取出前缀和位置特征，从位置特征中分离出K位标识bit的位置信息融合值M和第1位标识bit的位置序号n₁；

获取K位标识bit在二进制编码段的位置序号，具体包括：

步骤S1，设置滑动位置序号变量i、标识bit数量变量j和差值变量△M，所述i的初始值为N-1，所述j的初始值为K，所述△M的初始值为M；

步骤S2，获取符合位数为i且标识bit的数量为j的二进制编码组合数q，若q＜△M，则认为n_i为一个标识bit的位置序号，令j＝j-1,△M＝△M-q，i＝i-1，进入步骤S3,若q＞△M，则令i＝i-1，进入步骤S3；若q＝△M，则位置序号小于等于i的bit位均为标识bit,结束所述获取K位标识bit在二进制编码段的位置序号的步骤；

步骤S3，若j＝1,则已获取到K位标识bit在二进制编码段的位置序号，若j大于1，则返回执行步骤S2；

根据获取的K位标识bit在二进制编码段的位置序号还原二进制编码段。

7.一种数据解压缩方法，其特征在于，包括：

获取根据权利要求4所述的一种数据压缩方法获得的压缩文件，从压缩文件的后缀中获取压缩次数；

按照权利要求5或6所述的一种数据解压缩方法对压缩文件进行多次解压，并记录解压次数，直到解压次数等于压缩次数时停止解压。

8.一种数据压缩装置，其特征在于，包括：

数据获取模块，用于获取待压缩数据的二进制编码文件；

二进制编码段提取模块，将所述二进制编码文件划分为多个依次排列的二进制编码段；

编码处理模块，提取二进制编码段中标识bit的分布特征，将所有二进制编码段的分布特征按照二进制编码段在二进制编码文件中的排列顺序进行组合获得所述二进制编码文件的压缩文件。

9.一种解压缩装置，其特征在于，包括：

压缩文件获取模块，获取按照权利要求1-3任一项所述的一种数据压缩方法获得的压缩文件；

识别模块，从所述压缩文件中依次识别出所有前缀以及所述前缀关联的分布特征；

二进制编码段还原模块，依据每个分布特征还原出所述分布特征对应的二进制编码段；

拼接模块，还原出的二进制编码段按照对应的分布特征在压缩文件中的排列顺序进行依次拼接，完成数据解压缩处理。

10.一种存储介质，所述存储介质用于存储指令，所述指令用于执行如权利要求1-4任一项所述的一种数据压缩方法或者如权利要求5-7任一项所述的一种数据解压缩方法。

Images