CN1979475A - 一种压缩文件处理方法 - Google Patents
一种压缩文件处理方法 Download PDFInfo
- Publication number
- CN1979475A CN1979475A CN 200510127775 CN200510127775A CN1979475A CN 1979475 A CN1979475 A CN 1979475A CN 200510127775 CN200510127775 CN 200510127775 CN 200510127775 A CN200510127775 A CN 200510127775A CN 1979475 A CN1979475 A CN 1979475A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- data block
- information
- journal file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明是一种压缩文件处理方法，包括步骤：前台传输一系列压缩日志文件至后台；后台生成可部分解压缩的整体压缩日志文件；部分解压缩整体压缩日志文件。实施本发明，当用户需要查看整体压缩日志文件的某一部分时，只需要解压缩对应的一个或者多个数据块即可，可以大大提高前后台对压缩日志文件的处理效率。
Description
技术领域
本发明涉及信息处理技术，尤其是涉及一种前后台之间压缩日志文件的压缩文件处理方法。
背景技术
前台处理部分(简称前台)在运行过程中会实时生成日志文件，日志文件经前台压缩后传送并保存至后台管理部分(简称后台)，后台可根据需要调用查看压缩日志文件。现有技术中，前后台通常采用普通压缩格式传送并保存压缩日志文件，其特点在于，压缩日志文件是一个整体，当用户需要查看压缩日志文件的某一部分时，需要对整体压缩日志文件进行解压缩处理，才能查看其具体内容。
对于文件较小或者内容不多的压缩日志文件，现有技术中的方法可以得到较好的应用。但对于文件较大或者内容较多的压缩日志文件，现有技术中的方法显示出如下不足：当压缩后的日志文件大小为几百兆，用户只需查看压缩日志文件的某一部分时，需要消耗大量的处理机资源对全部压缩日志文件进行解压缩；当压缩日志文件内容较多，解压缩后的文件由于存在大量内容，而用户需要查看的仅为其中一部分内容时，这种情况下必然会影响查找的效率。
综上所述，现有技术的方法针对于文件较大或者内容较多的压缩日志文件存在处理机资源浪费和查找效率低的问题。
发明内容
针对以上现有技术的不足，本发明的目的在于，提供一种方法，能够解决对于文件较大的整体压缩日志文件，用户只需查看其中某一部分内容时，需要对全部压缩日志文件进行解压缩的问题。
为实现本目的，本发明是一种压缩文件处理方法，包括步骤：
(1)前台传输一系列压缩日志文件至后台；
(2)后台生成可部分解压缩的整体压缩日志文件；
(3)部分解压缩整体压缩日志文件。
步骤(2)所述的整体压缩日志文件包括一个文件头部和多个数据块。
所述的文件头部定义为固定长度256k。
所述的文件头部中定义数据块时间信息数组和数据块位置偏移量数组：该数据块时间信息数组中存放数据块内数据保存时间信息；该数据块位置偏移量数组中存放数据块在内存中相对于文件头部位置的偏移量信息。
所述的数据块包括数据块头部和数据区，该数据块头部中定义数据区长度信息、数据区时间信息和压缩的格式信息。
所述的数据块头部的长度根据数据区的大小定义。
所述的数据块的大小定义最大的限定值2M，当数据保存至数据块中时，超过2M部分的数据将被保存在下一个数据块中。
所述的多个数据块中的某个数据块被单独解压缩时，该数据块被解压缩成可查看的单独一个文件。
步骤(2)所述的后台生成可部分解压缩的整体压缩日志文件包括步骤：
(a)定义文件头部；
(b)写入数据块数据；
(c)存储整体压缩日志文件
步骤(a)所述的定义文件头部是后台在内存中标记文件头部起始位置，并根据文件头部的长度在内存中标记该头部的具体位置。
步骤(b)所述的写入数据块数据是后台按照该一系列压缩日志文件的先后顺序逐个对压缩日志文件进行处理，并对压缩日志文件的数据进行二次压缩作为对应的数据块的数据。
所述的对压缩日志文件进行处理是后台在文件头部中注册压缩日志文件的信息作为数据块的信息。
所述的数据块的信息包括数据块时间信息、数据块位置偏移量。
步骤(3)所述的部分解压缩整体压缩日志文件是用户通过解压缩工具打开该整体压缩日志文件，先读取整体压缩日志文件的头部信息，当用户根据需要选定只解压缩其中的一个或多个数据块时，根据头部信息中数据块位置偏移量将读文件指针偏移至要解压缩的数据块，并按照该数据块头部中的数据区长度信息读取其后该长度的一段文件数据并写入到一临时文件中，然后针对该临时文件进行解压缩。
实施本发明，当用户需要查看整体压缩日志文件的某一部分时，只需要解压缩对应的一个或者多个数据块即可，可以大大提高前后台对压缩日志文件的处理效率。
附图说明
图1是本发明的压缩文件格式示意图；
图2是本发明的压缩文件中数据块的结构示意图；
图3是前台传输一系列压缩后的日志文件至后台的示意图；
图4是本发明的后台生成可部分解压缩的整体压缩日志文件的示意图；
图5是本发明的读取整体压缩日志文件的头部信息的示意图；
图6是本发明的读取需要解压缩的数据块的示意图；
图7是本发明的解压缩数据块的示意图。
图8是本发明的原理流程图。
具体实施方式
本发明公开了一种压缩文件格式，其特点是可以对该压缩文件中某一部分进行部分解压缩。如图1所示，整个压缩文件由一个文件头部和多个数据块组成，其中，文件头部定义为固定长度256k，其中记录该压缩文件的整体信息，在文件头部中定义一系列数组，该些数组用来存放数据块信息，数组包括数据块时间信息数组、数据块位置偏移量数组等，其中，数据块时间信息数组中存放数据块内数据保存时间信息；数据块位置偏移量数组中存放数据块在内存中相对于文件头部位置的偏移量信息。另外，本发明规定根据不同应用，还可对文件头部的定义进行扩展。
图2是本发明的压缩文件中数据块的结构示意图，如图2所示，数据块作为可部分解压缩的基本单元包括数据块头部和数据区，其中，数据块头部中定义了数据区的具体信息，主要包括数据区长度信息、数据区时间信息、压缩的格式信息等；数据块头部根据数据区的大小可定义相应的长度，每个数据块的大小定义最大的限定值2M，当数据保存至数据块中时，超过2M部分的数据将被保存在下一个数据块中。当多个数据块中的某一个数据块被单独解压缩时，该数据块可以被解压缩成可查看的单独一个文件。
本发明中，为了便于用户对整体压缩日志文件中的某一部分内容进行调用查看，前后台之间使用采用上述压缩文件格式对压缩日志文件进行处理，如图8所示，其处理流程如下：
步骤(1)、前台传输一系列压缩日志文件至后台：
前台实时生成的日志文件是一系列小文件，文件大小不超过2M。如图3所示，前台对日志文件进行一次压缩，并将生成的一系列压缩日志文件传输至后台。
步骤(2)、后台生成可部分解压缩的整体压缩日志文件：
后台接收到一系列压缩日志文件后，通过如下步骤生成该可部分解压缩的压缩日志文件：
(a)定义文件头部：后台在内存中标记文件头部起始位置，并根据文件头部的长度(256K)在内存中标记该头部的具体位置。
(b)写入数据块数据：后台按照该一系列压缩日志文件的先后顺序逐个对压缩日志文件进行处理，并对压缩日志文件的数据进行二次压缩作为对应的数据块的数据。
如图4所示：
首先，后台在文件头部中注册第一个压缩日志文件的信息作为第一个数据块的信息，信息包括数据块时间信息、数据块位置偏移量等，然后二次压缩第一个压缩日志文件的数据作为第一个数据块的数据，则可以生成第一个数据块；
然后，后台使用相同方法处理第二个压缩日志文件生成第二个数据块；
最后，直至将所有前台传输的压缩日志文件处理完毕生成最后一个数据块。
(c)存储整体压缩日志文件：后台将由文件头部及诸多数据块构成的整体压缩日志文件存储在后台存储区中。
步骤(3)、部分解压缩整体压缩日志文件：
当用户需要调用查看该整体压缩日志文件的某一部分或某几个部分时，即可通过解压缩其中的一个或者多个数据段来实现。
用户通过解压缩工具打开该整体压缩日志文件，如图5所示，先读取整体压缩日志文件的头部信息，则用户可以获取整体压缩日志文件信息的总揽，将读文件指针移到第一个数据块起始位置处，当用户根据需要选定只解压缩其中的一个或多个数据块时，如图6所示，根据头部信息中数据块位置偏移量将读文件指针偏移至要解压缩的数据块，并按照该数据块头部中的数据区长度信息读取其后该长度的一段文件数据并写入到一临时文件中，然后针对该临时文件进行解压缩，如图7所示，则用户可查看到该部分的数据信息。
实施本发明，可以大大提高前后台对压缩日志文件的处理效率，当用户需要查看整体压缩日志文件的某一部分时，只需要解压缩对应的一个或者多个数据块即可。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (14)
1.一种压缩文件处理方法，其特征在于：包括步骤：
(1)前台传输一系列压缩日志文件至后台；
(2)后台生成可部分解压缩的整体压缩日志文件；
(3)部分解压缩整体压缩日志文件。
2.如权利要求1所述的方法，其特征在于：步骤(2)所述的整体压缩日志文件包括一个文件头部和多个数据块。
3.如权利要求2所述的方法，其特征在于：所述的文件头部定义为固定长度256k。
4.如权利要求2所述的方法，其特征在于：所述的文件头部中定义数据块时间信息数组和数据块位置偏移量数组：该数据块时间信息数组中存放数据块内数据保存时间信息；该数据块位置偏移量数组中存放数据块在内存中相对于文件头部位置的偏移量信息。
5.如权利要求2所述的方法，其特征在于：所述的数据块包括数据块头部和数据区，该数据块头部中定义数据区长度信息、数据区时间信息和压缩的格式信息。
6.如权利要求5所述的方法，其特征在于：所述的数据块头部的长度根据数据区的大小定义。
7.如权利要求2所述的方法，其特征在于：所述的数据块的大小定义最大的限定值2M，当数据保存至数据块中时，超过2M部分的数据将被保存在下一个数据块中。
8.如权利要求2所述的方法，其特征在于：所述的多个数据块中的某个数据块被单独解压缩时，该数据块被解压缩成可查看的单独一个文件。
9.如权利要求1所述的方法，其特征在于：步骤(2)所述的后台生成可部分解压缩的整体压缩日志文件包括步骤：
(a)定义文件头部；
(b)写入数据块数据；
(c)存储整体压缩日志文件
10.如权利要求9所述的方法，其特征在于：步骤(a)所述的定义文件头部是后台在内存中标记文件头部起始位置，并根据文件头部的长度在内存中标记该头部的具体位置。
11.如权利要求9所述的方法，其特征在于：步骤(b)所述的写入数据块数据是后台按照该一系列压缩日志文件的先后顺序逐个对压缩日志文件进行处理，并对压缩日志文件的数据进行二次压缩作为对应的数据块的数据。
12.如权利要求11所述的方法，其特征在于：所述的对压缩日志文件进行处理是后台在文件头部中注册压缩日志文件的信息作为数据块的信息。
13.如权利要求12所述的方法，其特征在于：所述的数据块的信息包括数据块时间信息、数据块位置偏移量。
14.如权利要求1所述的方法，其特征在于：步骤(3)所述的部分解压缩整体压缩日志文件是用户通过解压缩工具打开该整体压缩日志文件，先读取整体压缩日志文件的头部信息，当用户根据需要选定只解压缩其中的一个或多个数据块时，根据头部信息中数据块位置偏移量将读文件指针偏移至要解压缩的数据块，并按照该数据块头部中的数据区长度信息读取其后该长度的一段文件数据并写入到一临时文件中，然后针对该临时文件进行解压缩。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510127775 CN1979475A (zh) | 2005-12-07 | 2005-12-07 | 一种压缩文件处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200510127775 CN1979475A (zh) | 2005-12-07 | 2005-12-07 | 一种压缩文件处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1979475A true CN1979475A (zh) | 2007-06-13 |
Family
ID=38130647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200510127775 Pending CN1979475A (zh) | 2005-12-07 | 2005-12-07 | 一种压缩文件处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1979475A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572964A (zh) * | 2014-12-30 | 2015-04-29 | 北京奇虎科技有限公司 | 一种压缩文件的解压方法和装置 |
| CN104572966A (zh) * | 2014-12-30 | 2015-04-29 | 北京奇虎科技有限公司 | 一种压缩文件的解压方法和装置 |
| CN106815227A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种存储信息的方法和设备 |
| CN111414339A (zh) * | 2020-03-13 | 2020-07-14 | 浙江大华技术股份有限公司 | 一种文件的处理方法、系统、装置、设备及介质 |
| CN112817926A (zh) * | 2021-02-22 | 2021-05-18 | 北京安华金和科技有限公司 | 文件处理方法及装置、存储介质及电子装置 |
-
2005
- 2005-12-07 CN CN 200510127775 patent/CN1979475A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104572964A (zh) * | 2014-12-30 | 2015-04-29 | 北京奇虎科技有限公司 | 一种压缩文件的解压方法和装置 |
| CN104572966A (zh) * | 2014-12-30 | 2015-04-29 | 北京奇虎科技有限公司 | 一种压缩文件的解压方法和装置 |
| CN106815227A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种存储信息的方法和设备 |
| CN111414339A (zh) * | 2020-03-13 | 2020-07-14 | 浙江大华技术股份有限公司 | 一种文件的处理方法、系统、装置、设备及介质 |
| CN111414339B (zh) * | 2020-03-13 | 2023-04-25 | 浙江大华技术股份有限公司 | 一种文件的处理方法、系统、装置、设备及介质 |
| CN112817926A (zh) * | 2021-02-22 | 2021-05-18 | 北京安华金和科技有限公司 | 文件处理方法及装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7924183B2 (en) | Method and system for reducing required storage during decompression of a compressed file | |
| US8782018B2 (en) | Storage device and data processing device utilizing determined dictionary compression | |
| KR101074010B1 (ko) | 블록 단위 데이터 압축 및 복원 방법 및 그 장치 | |
| CN103136109B (zh) | 一种具有压缩功能的固态存储系统ftl写入及读取方法 | |
| US20140215170A1 (en) | Block Compression in a Key/Value Store | |
| WO2007138600A4 (en) | METHOD AND SYSTEM FOR TRANSFORMING LOGIC DATA OBJECTS FOR STORAGE PURPOSES | |
| CN104715039A (zh) | 基于硬盘和内存的列式存储和查询方法及设备 | |
| CN1979475A (zh) | 一种压缩文件处理方法 | |
| CN105094709A (zh) | 一种固态盘存储系统的动态数据压缩方法 | |
| CN109800182A (zh) | 一种降低写放大的数据存储处理方法及其系统 | |
| CN101478370A (zh) | 基于文件系统的文件压缩方法及装置 | |
| CN114466196B (zh) | 视频数据处理方法、系统、装置及计算机可读存储介质 | |
| CN101546434A (zh) | 一种bmp图片文件的压缩、解压缩方法及系统 | |
| CN102156719A (zh) | 全球导航系统的观测值文件编解码方法 | |
| CN101630415A (zh) | 一种基于图像识别的文件压缩及解压缩处理方法 | |
| CN103795894A (zh) | 一种基于fpga的二值图像无损压缩与解压缩ip核及应用 | |
| US20050102304A1 (en) | Data compressor, data decompressor, and data management system | |
| CN102982046B (zh) | 一种网页数据压缩存储方法和系统 | |
| CN110019347A (zh) | 一种区块链的数据处理方法、装置及终端设备 | |
| JP5188348B2 (ja) | データアクセス装置 | |
| CN101894098B (zh) | 一种内嵌字体数据处理方法及装置 | |
| CN106293542B (zh) | 一种文件解压缩的方法及装置 | |
| CN109933291B (zh) | 一种sram数据的处理方法、装置、设备及存储介质 | |
| JP5510768B2 (ja) | 画像処理装置 | |
| CN101553800B (zh) | 将主机系统sam/vsam文件转换为开放系统sam/vsam文件的转换装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |