CN101478370B - 基于文件系统的文件压缩方法及装置 - Google Patents

Abstract

本发明公开了一种基于文件系统的文件压缩方法及装置，其中，该方法包括：在文件系统中，获取待压缩的多个文件，将多个文件合成作为合成文件；生成文件头，其中，文件头中包含多个文件的各自的文件大小信息；对文件头连同合成文件进行压缩，得到压缩文件。通过本发明，将多个单独文件合并成一个合成文件进行压缩，相比于现有技术，可以提高压缩效率，即，改善压缩效果，可以进一步减小对设备存储空间的占用率，无需通过增加存储设备即可解决存储设备空间不足以存储各压缩文件的问题。

Description

基于文件系统的文件压缩方法及装置

技术领域

本发明涉及数据通信领域，具体地，涉及基于文件系统的文件压缩方法及装置。

背景技术

随着计算机系统的应用越来越广泛，计算机系统中的数据存储和数据管理已经成为降低计算机系统成本的重要因素之一。为了降低系统数据或文件占用的存储空间，需要进行数据压缩。数据的压缩效果与压缩算法及压缩方式相关。

对于一般文件系统本身而言，都会占用存储设备的一定空间，而文件系统中的数据或文件占用大部分空间。对于不同的文件系统，其占存储空间的比例会有所差异，这与文件系统的实现有关。另外，文件系统一般都支持不同的压缩算法，比如Linux系统主流文件系统支持的压缩算法有Jffs2、Squashfs、Cramfs等，内部采用的压缩算法有lzma、gzip、lzh等，不同的压缩算法压缩效果不同。

对于大多数嵌入式设备上文件系统而言，存在存储空间有限的问题，如果存储文件较多，则对各文件分别压缩后，可能仍会存在存储空间无法存储压缩后的所有文件的状况，这是因为，当存在较多的文件系统时，需要对文件系统内的每个文件进行压缩，在此期间，压缩过程要开辟额外空间数据，当文件较多时，压缩算法本身开销所占额外空间数据也比较多，这样，压缩算法的效果就会受到影响，进而造成文件所占存储设备空间增大。

针对上述问题，可以通过增加存储设备来扩大存储空间来解决该问题，但是该方法会增加成本。因此，需要一种能够因为存储空间受限而无法有效地存储压缩文件的问题。

发明内容

考虑到相关技术中存在的对文件系统中的单个文件进行压缩时占用较大的存储设备空间的问题而提出本发明，为此，本发明旨在提供一种改进的基于文件系统的文件压缩方案，以解决上述问题。

为达到上述目的，根据本发明的一个方面，提供了一种基于文件系统的文件压缩方法。

根据本发明的基于文件系统的文件压缩方法包括：在文件系统中，获取待压缩的多个文件，将多个文件合成作为合成文件；生成文件头，其中，文件头中包含多个文件的各自的文件大小信息；对文件头连同合成文件进行压缩，得到压缩文件。

优选地，在进行压缩之前，该方法还包括：对合成文件进行循环冗余校验，并在文件头中包含得到的循环冗余校验数据。

优选地，在进行压缩之后，该方法还包括解压缩处理，解压缩处理包括：从文件系统中获取压缩文件，将压缩文件解压缩到系统内存，得到包括合成文件和文件头的解压缩文件；对解压缩得到的合成文件进行循环冗余校验，得到循环冗余校验结果；将循环冗余校验结果与文件头中的循环冗余校验数据进行比较，如果二者一致，则根据文件头中的文件大小信息，从合成文件中分解出多个文件。

优选地，在分解出多个文件之后，该方法还包括：将合成文件删除。

优选地，上述文件头中还包含多个文件的各自的文件名信息。

根据本发明的另一个方面，提供了一种基于文件系统的文件压缩装置。

根据本发明的基于文件系统的文件压缩装置包括：合成器，用于获取文件系统中待压缩的多个文件，并将多个文件合成作为合成文件；生成器，用于生成文件头，其中，文件头中包含多个文件的文件大小信息；压缩器，用于对合成文件和文件头进行压缩处理，得到压缩文件。

优选地，该装置还包括：解压器，用于从文件系统中获取压缩文件，并将压缩文件解压缩到系统内存，得到合成文件和文件头；读取器，用于读取文件头中的文件大小信息；分解器，用于根据文件大小信息从合成文件中分解出多个文件。

优选地，该装置还包括：第一校验器，用于对获取单元生成的合成文件进行循环冗余校验，并输出循环冗余校验数据；其中，生成器还用于获取第一校验器生成的循环冗余校验数据，并在生成的文件头中包含循环冗余校验数据。

优选地，该装置还包括：解压器，用于从文件系统中获取压缩文件，并将压缩文件解压缩到系统内存，得到合成文件和文件头；第二校验器，用于对解压器解压缩得到的合成文件进行循环冗余校验，得到循环冗余校验结果；读取器，用于读取文件头中的循环冗余校验数据、文件大小信息；比较器，用于将循环冗余校验结果和循环冗余校验数据进行比较，并输出比较结果；分解器，用于根据文件大小信息从合成文件中分解出多个文件；调度器，用于根据比较器输出的比较结果，对分解器进行调度。

通过本发明，将多个单独文件合并成一个合成文件进行压缩，相比于现有技术，可以提高压缩效率，即，改善压缩效果，可以进一步减小对设备存储空间的占用率，无需通过增加存储设备即可解决存储设备空间不足以存储各压缩文件的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据相关技术的文件压缩处理的示意图；

图2是根据本发明实施例的文件压缩处理的示意图；

图3是根据本发明实施例的基于文件系统的文件压缩装置的结构框图；

图4是根据本发明优选实施例的基于文件系统的文件压缩装置的结构框图；

图5是根据本发明实施例的基于文件系统的文件压缩方法的流程图；

图6是根据本发明优选实施例的基于文件系统的文件压缩方法的流程图。

具体实施方式

图1给出了相关技术中文件系统中的文件压缩处理的示意图，如图1所示，各个文件被单独压缩，存在各文件以及大小为file1(300k)，file2(1100k)，file3(150k)，file4(500k)，file5(90k)，file6(150k)，file7(1400k)，file8(360k)。假设采用一般压缩方法，以lzma压缩算法来压缩各个文件，则上述各文件压缩后的大小为file2(300k/140k)，file2(1100k/500k)，file3(150k/98k)，file4(500k/350k)，file5(90k/40k)，file6(150k/90k)，file7(1400/850k)，file8(360k/200k)。其中，1k表示1024字节数据。

通过以上描述可以看出，在相关技术中，经过压缩之后，存储这些文件所占储存设备的空间为140+500+98+350+40+90+850+200＝2268k。

在本发明实施例中，为了进一步节约存储空间，采用一种可以提高系统数据/文件的压缩效率或压缩效果的方案。具体地，将多个文件合成为一个大文件，对该合成的大文件进行压缩，相比于对分散的各个文件分别进行压缩的做法，可以改善压缩效果，这也是由压缩处理本身的特点所决定的。为了便于后续的解压缩处理，在实施压缩处理时，还可以单独设置一文件头，并在该文件头中包含诸如文件大小信息(便于后续正确的解压缩得到各个文件)、对合成文件的循环冗余校验(CRC校验，便于后续验证数据是否受损)、以及文件名信息(便于后续的正确解压缩)等，如上所述，该文件头的设置是为了便于后续的解压缩，因此，本发明不限于此，可以通过多种合适的途径或手段来实现，在此不再一一列举。

以下进一步结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。如果不冲突，本发明实施例及实施例中的特征可以相互组合。

装置实施例

根据本发明实施例，首先提供了一种基于文件系统的压缩装置，在下文中提到的本发明实施例的文件系统可以是诸如Linux系统的嵌入式系统的文件系统，也可以是其他系统的文件系统，本发明对此没有限制。

图3给出了该装置的结构框图，如图3所示，该装置包括：合成器1、生成器3、压缩器5，上述三个器件可以理解为用于实现压缩功能的压缩部；解压器2、读取器4、分解器6，该三个器件可以理解为用于实现解压缩功能的解压缩部。以下具体描述上述各个部件的细节。

合成器1用于获取文件系统中待压缩的多个文件，并将多个文件合成作为合成文件，例如，图2的中间列所示出的合成文件；这里的合成操作可以是文件拼接操作，也可以是其它更复杂一些的合成操作，只要可以达到将多个文件合成为一个文件的目的即可，本发明对此没有限制，因此，该合成器可以用任意合适的文件合成算法或程序来实现。

生成器3用于生成文件头，如上所述，在本发明实施例中，文件头中可以包含各个文件的文件大小信息，优选地，还可以包含各个文件的文件名称信息。合成文件头与合成文件的位置关系可以参照图2给出的示意图来理解。一般地，文件头的大小不超过1k，其所占的存储空间可以忽略。需要说明的是，上述文件头和合成文件也可以看作一个整体来理解，这不影响本发明的本质，例如，在图2中，将文件头(合成文件头)和合成文件作为一个合成文件示出。

压缩器5，连接至合成器1和生成器3，用于对合成器1合成的合成文件和生成器3生成的文件头进行压缩处理，得到压缩文件，压缩文件可以放置在文件系统中，生成系统固件。以图2的示意图为例，经过压缩后，得到的文件为Filetotal。

仍以图2所示的过程为例，合成文件的大小为300+1100+150+500+90+150+1400+360＝4050k。如果对合成文件采用lzma压缩算法，则压缩后得到的Filetotal文件的大小约为1550k。

通过上述的合成器1、生成器3、压缩器5的操作，即可实现将多个单独文件作为一个大文件进行整体压缩，可以获得较好的文件压缩效果。相应地，在进行了文件压缩之后，在系统启动后，可能需要使用各类文件，这时还需要进行解压缩操作，因此，本发明实施例的文件压缩装置提供了用于进行解压缩操作的解压器2、读取器4、分解器6。

具体地，解压器2用于从文件系统中获取压缩文件，并将压缩文件解压缩到系统内存，解压缩后，将得到合成文件和文件头；读取器4用于读取文件头中的文件大小信息；分解器6连接至上述的解压器2和读取器4，用于根据读取器4读取的文件大小信息，从解压器2解压缩得到的合成文件中分解出多个文件，可以看出，文件头中携带的文件大小信息，实际上起到了定位信息的作用，依据文件大小信息，可以对各个文件进行定位，避免误分解操作。如果文件头中还包含文件名称信息，则可以将解压后得到的文件根据文件名称信息进行进一步验证，如果各文件的文件名均匹配，则表示解压缩成功，文件完整。

在数据或文件的压缩过程中，可能会对数据或文件造成损坏，一旦文件受损，则无法进行正确的解压缩操作，也就无法还原得到压缩前的文件。为了确认文件是否受损，本发明优选实施例中给出了一种采用CRC校验的解决方案。

图4是根据本发明优选实施例的文件压缩装置的结构框图。如图4所示，在图3所示的架构的基础上，该文件压缩装置还包括如下所述的部件。

在压缩部侧还设置有：第一校验器7，连接至合成器1和生成器3，用于对合成器1的合成文件进行CRC校验，并将得到的CRC校验数据输出到生成器3，这样，生成器3将在其生成的文件头中包含该CRC校验数据。

相应地，在解压部侧的读取器4除了读取文件大小信息，还用于读取文件头中的CRC校验数据；在解压部侧还设置有：第二校验器8，连接至解压器2，用于对解压缩得到的合成文件进行CRC校验，得到CRC校验结果；比较器10，连接至读取器4和第二校验器8，用于将第二校验器8的CRC校验结果和读取器4读取的CRC校验数据进行比较，并输出比较结果，即，二者是否一致；调度器12，用于根据比较器10输出的比较结果，对分解器8进行调度，具体地，如果比较器10输出的比较结果为CRC校验数据与CRC校验结果一致，则说明数据无损，则调度分解器8进行分解操作，否则，说明数据有损坏，则不调度分解器8进行分解，而选择进行其他处理，比如，数据修复等，这不影响本发明的本质，因此，在此不再赘述。

通过本发明实施例提供的技术方案，可以有效地验证数据是否受损，从而可以保证解压缩数据的完整性和正确性。此外，根据实施的需要，可以对上述的各个部件进行修改，例如，可以将上述的两个校验器合一设置用于实现CRC校验功能，还可以将校验器与比较器、调度器合一设置来综合实现各自的功能。对于CRC校验，可以采用其他可以实现数据完整性验证的校验方法来替换，本发明不再一一列举。

方法实施例

根据本发明实施例，还提供了一种基于文件系统的文件压缩方法，优选地，该方法可以使用上述装置实施例给出的装置来实现。其中，图5是该压缩方法的流程图，图6是该压缩方法的优选实现方式的流程图，需要说明的是，在以下的图5和图6中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。

首先，如图5所示，根据本发明实施例的文件压缩方法大致可以包括如下的合成步骤、生成步骤、压缩步骤，该各步骤是针对文件系统来执行的。需要说明的是，在下文中对各步骤的描述顺序仅仅是为了便于理解，而不用于对本发明实施例的实现进行任何限制。

具体地，在文件系统中，获取待压缩的多个文件(即，多个原始数据文件)，将多个文件整体作为合成文件，如上所述，这里的合成可以是拼接或其他合成操作(合成步骤)；生成文件头，该文件头中包含多个文件的各自的文件大小信息，并且优选地还包括文件名信息(生成步骤)；接下来，对文件头连同所述合成文件进行压缩，得到压缩文件，例如，图2所示的Filetotal(压缩步骤)，如上所述，得到的文件大小约为1550k。

为了可以在解压缩过程中验证数据的完整性，如图6所示，可以在压缩过程中，对合成文件首先进行CRC校验，并将得到的CRC校验数据包含在文件头中(CRC校验步骤)，如上所述，合成文件头的大小一般不会超过1k字节。

之后，将压缩后的Filetotal文件放入文件系统，构建生成系统固件。当将压缩后的文件放入文件系统时，文件系统会将该文件默认为一般文件，再次对其进行压缩，由于Filetotal文件已经被压缩，因此，文件系统的二次压缩会实际占用略大的空间，例如，可能达到1600k。即使是占用了1600k，与相关技术中的压缩方案相比，也可以节约2268k-1600k＝668k的存储空间，节约了大约29％。

基于上述的压缩处理，在系统启动后需要各个文件时，可以进行解压缩操作，具体可以进行如图6所示的如下解压缩处理，解压缩处理可以针对系统内存来进行。

系统启动后，首先获取压缩文件，即，Filetotal文件，将其解压缩到系统内存，解压缩后将得到合成文件和文件头(解压缩步骤)；

优选地，对解压缩得到的合成文件进行CRC校验(CRC校验步骤)，将CRC校验结果与文件头中包含的CRC校验数据进行比较(比较步骤)，以验证数据是否受损。

如果比较解压缩得到CRC校验结果与文件头中的CRC校验数据一致，则证明数据没有受损，则根据文件头中的文件大小信息，将解压缩后的合成文件在系统内存中分解出file1、file2、file3、file4、file5、file6、file7、file8。之后，为了节约内存，优选地，可以删除原有的Filetotal文件。需要说明的是，如果在压缩过程中没有进行CRC校验，则在解压缩过程中，如图5所示，只需进行解压缩步骤和分解步骤即可，上述的CRC校验步骤和比较步骤则无需执行。

通过以上处理，可以将文件先合成压缩后存储到存储设备，而后将整体数据文件还原到内存。由于设备在启动后对于数据在内部存储设备或外部存储设备的使用方式相同，而整个数据压缩还原过程通过CRC校验来保证数据的无损，因此，可以节约系统文件对外存储设备空间的占用率。以上是以lzma压缩算法为例来进行说明的，在实际应用中，采用其他不同压缩算法(例如，gzip等)使用本发明实施例提供的技术方案进行文件压缩测试，相比于相关技术，系统文件(固件)对存储设备所占空间的比例都下降了25％-35％左右，随着合成文件增多，节省的空间比例也越大。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于文件系统的文件压缩方法，其特征在于，包括：

在文件系统中，获取待压缩的多个文件，将所述多个文件合成作为合成文件；

生成文件头，其中，所述文件头中包含所述多个文件的各自的文件大小信息；

对所述文件头连同所述合成文件进行压缩，得到压缩文件；

在进行压缩之前，对所述合成文件进行循环冗余校验，并在所述文件头中包含得到的循环冗余校验数据。

2.根据权利要求1所述的方法，其特征在于，在进行压缩之后，还包括解压缩处理，所述解压缩处理包括：

从所述文件系统中获取所述压缩文件，将所述压缩文件解压缩到系统内存，得到包括所述合成文件和所述文件头的解压缩文件；

对解压缩得到的所述合成文件进行循环冗余校验，得到循环冗余校验结果；

将所述循环冗余校验结果与所述文件头中的循环冗余校验数据进行比较，如果二者一致，则根据所述文件头中的所述文件大小信息，从所述合成文件中分解出所述多个文件。

3.根据权利要求2所述的方法，其特征在于，在分解出所述多个文件之后，还包括：将所述合成文件删除。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述文件头中还包含所述多个文件的各自的文件名信息。

5.一种基于文件系统的文件压缩装置，其特征在于，包括：

合成器，用于获取文件系统中待压缩的多个文件，并将所述多个文件合成作为合成文件；

生成器，用于生成文件头，其中，所述文件头中包含所述多个文件的文件大小信息；

压缩器，用于对所述合成文件和所述文件头进行压缩处理，得到压缩文件；

第一校验器，用于对所述合成器生成的所述合成文件进行循环冗余校验，并输出循环冗余校验数据。

6.根据权利要求5所述的装置，其特征在于，还包括：

解压器，用于从文件系统中获取所述压缩文件，并将所述压缩文件解压缩到系统内存，得到所述合成文件和所述文件头；

读取器，用于读取所述文件头中的所述文件大小信息；

分解器，用于根据所述文件大小信息从所述合成文件中分解出所述多个文件。

7.根据权利要求5所述的装置，其特征在于，

所述生成器还用于获取所述第一校验器生成的循环冗余校验数据，并在生成的所述文件头中包含所述循环冗余校验数据。

8.根据权利要求7所述的装置，其特征在于，还包括：

解压器，用于从所述文件系统中获取所述压缩文件，并将所述压缩文件解压缩到系统内存，得到所述合成文件和所述文件头；

第二校验器，用于对所述解压器解压缩得到的所述合成文件进行循环冗余校验，得到循环冗余校验结果；

读取器，用于读取所述文件头中的所述循环冗余校验数据、文件大小信息；

比较器，用于将所述循环冗余校验结果和所述循环冗余校验数据进行比较，并输出比较结果；

分解器，用于根据所述文件大小信息从所述合成文件中分解出所述多个文件；

调度器，用于根据所述比较器输出的所述比较结果，对所述分解器进行调度。

Images