CN114124106A - 一种lz4解压缩方法、系统、存储介质及设备 - Google Patents
一种lz4解压缩方法、系统、存储介质及设备 Download PDFInfo
- Publication number
- CN114124106A CN114124106A CN202210103736.6A CN202210103736A CN114124106A CN 114124106 A CN114124106 A CN 114124106A CN 202210103736 A CN202210103736 A CN 202210103736A CN 114124106 A CN114124106 A CN 114124106A
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- information
- incomplete
- input data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006837 decompression Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6005—Decoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6017—Methods or arrangements to increase the throughput
- H03M7/6023—Parallelization
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供了一种LZ4解压缩方法、系统、存储介质及设备,方法包括:将待解压数据中的若干序列分为多个输入数据,并将多个输入数据依次输入至LZ4解码模块中,以使每个输入数据具有第一不完整序列、至少一个完整序列以及第二不完整序列中的至少一项;根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息;基于所有标记信息对若干序列分别进行解析,以得到解析结果;对解析结果进行解码,以得到解码数据,并基于解码数据完成对待解压数据的解压缩。本发明提高了LZ4解压缩的效率,并且达到了节省资源的效果。
Description
技术领域
本发明涉及数据压缩技术领域,尤其涉及一种LZ4解压缩方法、系统、存储介质及设备。
背景技术
随着信息技术的快速发展,数据量呈爆炸性增长,因此数据压缩越来越受到人们的重视。目前,无损压缩算法大多数都是基于软件方式实现的。由于软件方式实现的无损压缩算法在很多场合下已经不能满足高速数字系统的需求,所以基于硬件的无损压缩算法实现方式成为了新的研究热点。
自LZ77(Lempel-Ziv-1977)压缩算法被提出以来,各种基于字典匹配的LZ压缩算法的变体相继被提出,其中包括LZ78、LZW(Lempel-Ziv-Welch Encoding,串表压缩算法)、LZO(Lempel-Ziv-Oberhumer)、LZSS等。大部分基于LZ77的变体被广泛用于文本和位图的无损压缩,其压缩编码的效率可以很大程度上逼近信源的信息熵值。然而大部分LZ算法及其变体的压缩和解压缩的平均速度仅200-600MBps(比特率),已经不能适应现代计算机设备中动辄GBps以上的总体带宽。于是提出了一种压缩和解压缩速度远高于目前无损压缩和解压缩的LZ变体算法——LZ4算法。
LZ4压缩算法的速度优势在于:在建立字典的过程中,减少了计算散列值和更新散列表单元的次数,并且在输出编码方面采用直接编码的方式,减小了算法输出过程中的延迟。
现有的LZ4解压缩过程为:检测输入数据的LZ4帧头,根据帧头来解析帧描述,并解析块大小;判断输入数据是否是压缩数据,如果是,解析序列令牌;再判断块是否结束,如果结束,进行块校验;然后判断帧是否结束,如果结束,进行内容校验,当校验完毕,当前帧解析结束,得到解压缩数据。该过程需要消耗较大的CPU和内存资源,导致在对庞大的数据量进行LZ4解压缩时,处理效率低下,解压缩造成的延迟比较大,拖慢了数据访问速度。
发明内容
有鉴于此,本发明的目的在于提出一种LZ4解压缩方法、系统、存储介质及设备,用以解决现有技术中的LZ4解压缩方法在对庞大的数据量进行解压缩时速度慢的问题。
基于上述目的,本发明提供了一种LZ4解压缩方法,包括以下步骤:
将待解压数据中的若干序列分为多个输入数据,并将多个输入数据依次输入至LZ4解码模块中,以使每个输入数据具有第一不完整序列、至少一个完整序列以及第二不完整序列中的至少一项;
根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息;
基于所有标记信息对若干序列分别进行解析,以得到解析结果;
对解析结果进行解码,以得到解码数据,并基于解码数据完成对待解压数据的解压缩。
在一些实施例中,根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息包括:
响应于当前输入数据具有至少一个完整序列以及第二不完整序列,根据LZ4帧结构对至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到相应的多个标记信息;
根据第二不完整序列的标记信息确定下一个输入数据的第一不完整序列的起始类型,以得到起始类型标记信息。
在一些实施例中,根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息还包括:
响应于下一个输入数据具有第一不完整序列,基于LZ4帧结构以及第一不完整序列的起始类型标记信息对第一不完整序列的数据内容所属的类型进行相应标记,以得到至少一个标记信息。
在一些实施例中,标记信息和起始类型标记信息分别为令牌标记、原文标记、原文长度标记、偏移量标记以及匹配长度标记中的一项。
在一些实施例中,基于所有标记信息对若干序列分别进行解析,以得到解析结果包括:
根据令牌标记识别出若干序列中的每个序列,并根据原文标记、原文长度标记、偏移量标记以及匹配长度标记分别识别出每个序列中对应的原文信息、原文长度信息、偏移量信息以及匹配长度信息。
在一些实施例中,对解析结果进行解码,以得到解码数据包括:
针对每个序列,根据其中的原文长度信息将对应的原文信息分别写入至输出缓冲以及共享缓冲中,并根据其中的偏移量信息和匹配长度信息从共享缓冲中对对应的原文信息进行复制;
响应于复制完成,将复制的原文信息写入至输出缓冲中,以在输出缓冲中得到每个序列的完整原数据;
基于若干序列的完整原数据得到解码数据。
在一些实施例中,基于解码数据完成对待解压数据的解压缩包括:
基于解码数据和从待解压数据中识别出的帧头数据完成对待解压数据的解压缩。
本发明的另一方面,还提供了一种LZ4解压缩系统,包括:
序列划分模块,配置用于将待解压数据中的若干序列分为多个输入数据,并将多个输入数据依次输入至LZ4解码模块中,以使每个输入数据具有第一不完整序列、至少一个完整序列以及第二不完整序列中的至少一项;
标记模块,配置用于根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息;
解析模块,配置用于基于所有标记信息对若干序列分别进行解析,以得到解析结果;以及
解压缩完成模块,配置用于对解析结果进行解码,以得到解码数据,并基于解码数据完成对待解压数据的解压缩。
本发明的又一方面,还提供了一种计算机可读存储介质,存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述方法。
本发明的再一方面,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该计算机程序被处理器执行时执行上述方法。
本发明至少具有以下有益技术效果:
本发明的LZ4解压缩方法,通过对待解压数据中若干序列进行多次输入,以得到多个输入数据,并对输入数据中的第一不完整序列、至少一个完整序列、第二不完整序列的数据内容所属类型进行相应标记,然后根据标记信息对每个序列进行解析和解码,有利于采用硬件并通过并行的方式实现解析和解码处理,可以有效提高LZ4解压缩的速度和效率,并且支持待解压数据的实时处理,能够减少解压缩过程中的数据缓冲,从而节省资源和功耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为根据本发明实施例提供的LZ4解压缩方法的示意图;
图2为根据本发明实施例提供的实现LZ4解压缩方法的硬件结构示意图;
图3为根据本发明实施例提供的LZ4帧结构示意图;
图4为根据本发明实施例提供的系统数据缓冲控制模块的结构示意图;
图5为根据本发明实施例提供的写原文和复制原文的时序示意图;
图6为根据本发明实施例提供的LZ4解压缩系统的示意图;
图7为根据本发明实施例提供的实现LZ4解压缩方法的计算机可读存储介质的示意图;
图8为根据本发明实施例提供的执行LZ4解压缩方法的计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。
需要说明的是,本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量,可见“第一”“第二”仅为了表述的方便,不应理解为对本发明实施例的限定。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的,本发明实施例的第一个方面,提出了一种LZ4解压缩方法的实施例。图1示出的是本发明提供的LZ4解压缩方法的实施例的示意图。如图1所示,本发明实施例包括如下步骤:
步骤S10、将待解压数据中的若干序列分为多个输入数据,并将多个输入数据依次输入至LZ4解码模块中,以使每个输入数据具有第一不完整序列、至少一个完整序列以及第二不完整序列中的至少一项;
步骤S20、根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息;
步骤S30、基于所有标记信息对若干序列分别进行解析,以得到解析结果;
步骤S40、对解析结果进行解码,以得到解码数据,并基于解码数据完成对待解压数据的解压缩。
本发明实施例的LZ4解压缩方法,通过对待解压数据中若干序列进行多次输入,以得到多个输入数据,并对输入数据中的第一不完整序列、至少一个完整序列、第二不完整序列的数据内容所属类型进行相应标记,然后根据标记信息对每个序列进行解析和解码,有利于采用硬件并通过并行的方式实现解析和解码处理,可以有效提高LZ4解压缩的速度和效率,并且支持待解压数据的实时处理,能够减少解压缩过程中的数据缓冲,从而节省资源和功耗。
在一些实施例中,根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息包括:响应于当前输入数据具有至少一个完整序列以及第二不完整序列,根据LZ4帧结构对至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到相应的多个标记信息;根据第二不完整序列的标记信息确定下一个输入数据的第一不完整序列的起始类型,以得到起始类型标记信息。
在一些实施例中,根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息还包括:响应于下一个输入数据具有第一不完整序列,基于LZ4帧结构以及第一不完整序列的起始类型标记信息对第一不完整序列的数据内容所属的类型进行相应标记,以得到至少一个标记信息。
在一些实施例中,标记信息和起始类型标记信息分别为令牌标记、原文标记、原文长度标记、偏移量标记以及匹配长度标记中的一项。
在一些实施例中,基于所有标记信息对若干序列分别进行解析,以得到解析结果包括:根据令牌标记识别出若干序列中的每个序列,并根据原文标记、原文长度标记、偏移量标记以及匹配长度标记分别识别出每个序列中对应的原文信息、原文长度信息、偏移量信息以及匹配长度信息。
在一些实施例中,对解析结果进行解码,以得到解码数据包括:针对每个序列,根据其中的原文长度信息将对应的原文信息分别写入至输出缓冲以及共享缓冲中,并根据其中的偏移量信息和匹配长度信息从共享缓冲中对对应的原文信息进行复制;响应于复制完成,将复制的原文信息写入至输出缓冲中,以在输出缓冲中得到每个序列的完整原数据;基于若干序列的完整原数据得到解码数据。
在一些实施例中,基于解码数据完成对待解压数据的解压缩包括:基于解码数据和从待解压数据中识别出的帧头数据完成对待解压数据的解压缩。
以下为本发明的LZ4解压缩方法的一示例性实施例:
本实施例采用硬件方式实现LZ4解压缩方法,根据LZ4压缩数据格式对LZ4格式的待解压数据进行解压缩。图2示出了实现LZ4解压缩方法的硬件结构示意图。如图2所示,硬件结构主要包含4个模块:输入缓冲控制模块、系统数据缓冲控制模块、校验控制模块和自检测模块。
输入缓冲控制模块完成LZ4解压缩模块的寄存器配置、与上游模块的握手、LZ4解码处理等过程。
具体地,输入缓冲控制模块主要包括三个部分:寄存器配置模块、数据流控制模块以及LZ4解码模块。寄存器配置模块主要完成对控制寄存器的解析和状态寄存器的更新,比如错误状态记录、复位控制等。数据流控制模块主要完成任务调度和与上游模块的握手。LZ4解码模块主要完成LZ4格式的解码,并向系统数据缓冲控制模块输出偏移量、匹配长度等关键信息。
数据流控制模块主要控制输入数据,使输入数据有序地输入到LZ4解码模块中。
解码过程为根据LZ4压缩的编码格式,将接收的数据进行帧头处理,根据帧结构关系,解析出对应数据的原文并输出。
图3示出了LZ4帧结构示意图。如图3所示,根据LZ4帧结构特点,LZ4解码模块处理包括三个部分:帧头(frame header)、原文长度(literal length)和匹配长度(matchlength),这三部分可直接从输入数据中获取。
写原文(write literals)和写入复制原文(copy literals)需要解析的参数的支持。原文长度计算和系统数据缓冲控制模块的复制原文可以并行进行,匹配长度计算和写原文可以并行进行。
LZ4解码模块先解析帧头,帧头解析完成之后开始解析原文。
收到的待解压数据中可以包含多个令牌,由于每个序列中具有一个令牌,因此待解压数据中可能存在多个序列。为了提高吞吐量和解码速度,可以在硬件电路中进行多个序列的并行解码。通过对输入的数据按照序列归属分析,LZ4输入的数据可能具有上一个序列的后边部分(即第一不完整序列)、至少一个完整序列、序列前边部分(即第二不完整序列)的至少一项。
将“x序列”定义为在一个待解压数据中包含x个序列。即:
x*(token+literal length+literal+offset+match length)<=N
其中,token(令牌)的长度为1个字节,literal length(原文长度)和literal(原文)的长度最小为0个字节,offset(偏移量,即匹配位置)长度为2个字节,match length(匹配长度)长度最小为0个字节,那么一个序列的最小长度为3个字节,所以每个待解压数据最多有N/3(向下取整)个完整序列,其中N为待解压数据的总字节数。
在硬件实现时LZ4解码模块考虑最大化设计,支持且保证在一个时钟周期内可以同时标记N/3(向下取整)个完整序列的解码信息,即多个完整序列可以并行解码。
将“remain data”定义为一个不完整的序列,“remain data”可以是一个输入数据的一部分,也可以是一个输入数据,这取决于解码的内容。其中属于第一不完整序列的“remain data”标记为“remain data0”,属于第二不完整序列的“remain data”标记为“remain data1”。
将start type(起始类型)定义为当前输入数据第一个字节的内容类型,它由上一个输入数据的最后一个字节的内容决定,一共有五种起始类型:即令牌、原文长度、原文、偏移量和匹配长度。
“write©”是由系统数据缓冲控制模块完成的,将解码出的原文写到系统内的输出缓冲和共享缓冲内,根据offset(偏移量)和match length(匹配长度)从共享缓冲内将解码的原文拷贝出来。
根据上述阐释,以一个输入数据中具有第一不完整序列+至少一个完整序列+第二不完整序列为例,对一个N字节的待解压数据进行解码的具体步骤为:
1)读取一个输入数据“Data0”,根据起始类型解析“remain data0”。
2)根据第1)步的解析信息完成“remain data0”的“write©”。同时标记当前输入数据的“x序列”,需要标记的信息包含:令牌标记、原文标记、原文长度标记、偏移量标记和匹配长度标记。其中令牌标记和原文标记也可以是分别标记令牌起始位置和原文起始位置。
3)根据第2)步标记的信息,完成“x序列”的“write©”。同时解析“remaindata1”。
4)根据第3)步的解析信息完成“remain data1”的“write©”。同时标记起始类型。
5)根据第4)步的起始类型,回到第1)步开始解析下一个输入数据。
系统数据缓冲控制模块用于完成输入缓冲控制模块解码的数据缓冲(写入输出缓冲和共享缓冲),以及给输入缓冲控制模块的反馈信号。
系统数据缓冲控制模块主要包含三个流程处理部分:原文输出、原文复制输出以及原文复制结束信息反馈(给解压缩流程控制器)。
图4示出了系统数据缓冲控制模块的结构示意图。如图4所示,系统数据缓冲控制模块处理的过程为:首先,根据原文长度将原文写入输出缓冲以及共享缓冲内;其次,根据偏移量和匹配长度从共享缓冲内复制原文,并将复制原文写入输出缓冲以及共享缓冲内。复制原文完成后,反馈一个复制原文结束信号,即当前一个序列解码结束。将当前序列解码结束信号反馈给输入缓冲控制模块,输入缓冲控制模块根据序列解码结束信号的状态对LZ4解码和系统数据缓冲控制模块的复制原文进行并行处理。
图5示出了写原文和复制原文的时序示意图。如图5所示,共享缓冲具有独立的读写接口,因此复制原文和复制原文的写入(即write©)可以是并行的。
校验控制模块用于完成LZ4待解压数据的校验(校验待解压的数据是否损毁)以及解压后数据的校验。
为了提升解码的速度和性能,上述输入缓冲控制模块、系统数据缓冲控制模块及校验控制模块之间、模块内部均尽可能地采用并行处理,同时在资源和性能之间做了权衡,在保证性能的前提下尽可能地减少资源的使用。
自检测模块可以通过配置参数来自身产生LZ4格式的数据,模仿外部输入输送给输入缓冲控制模块,和其他控制流程及功能模块配合完成对数据的解码输出,然后观测输出的处理结果,判断电路当前的执行状态是否正常。通过对输出数据进行观测,快捷迅速地完成对实现LZ4解压缩方法的硬件电路的检测。输入缓冲控制模块中的数据流控制模块可以配置为测试模式,从而控制自检测模块产生数据流控制信号并配合其余子模块完成自检测功能。自检测功能可以迅速定位故障,帮助诊断硬件问题。
自检测模块根据B.Checksum标志对待解压数据进行校验,目的是在解压缩之前检测数据是否被损坏;根据C.Checksum标志对解压后数据进行校验,目的是在解压缩之后确认解压的数据是否正确。Checksum表示检查和,用以校验数据项的和。
本实施例中,通过硬件实现解压缩可以解决软件解压缩存在的缺点,提高解压缩的速度,达到实时处理,并且也能够节省宝贵的CPU资源和内存资源。由此,硬件方式相比软件方式实现的速度快很多,依靠电路实现便不需要循环的指令计算,而且能采取并行的实现方式,进而降低了资源消耗。
本发明实施例的第二个方面,还提供了一种LZ4解压缩系统。图6示出的是本发明提供的LZ4解压缩系统的实施例的示意图。如图6所示,一种LZ4解压缩系统包括:序列划分模块10,配置用于将待解压数据中的若干序列分为多个输入数据,并将多个输入数据依次输入至LZ4解码模块中,以使每个输入数据具有第一不完整序列、至少一个完整序列以及第二不完整序列中的至少一项;标记模块20,配置用于根据LZ4解码模块中的LZ4帧结构对第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个输入数据的至少一个标记信息;解析模块30,配置用于基于所有标记信息对若干序列分别进行解析,以得到解析结果;以及解压缩完成模块40,配置用于对解析结果进行解码,以得到解码数据,并基于解码数据完成对待解压数据的解压缩。
本发明实施例的第三个方面,还提供了一种计算机可读存储介质,图7示出了根据本发明实施例提供的实现LZ4解压缩方法的计算机可读存储介质的示意图。如图7所示,计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任意一项实施例的方法。
应当理解,在相互不冲突的情况下,以上针对根据本发明的LZ4解压缩方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的LZ4解压缩系统和存储介质。
本发明实施例的第四个方面,还提供了一种计算机设备,包括如图8所示的存储器402和处理器401,该存储器402中存储有计算机程序,该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
如图8所示,为本发明提供的执行LZ4解压缩方法的计算机设备的一个实施例的硬件结构示意图。以如图8所示的计算机设备为例,在该计算机设备中包括一个处理器401以及一个存储器402,并还可以包括:输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接,图8中以通过总线连接为例。输入装置403可接收输入的数字或字符信息,以及产生与LZ4解压缩系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的LZ4解压缩方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储LZ4解压缩方法的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器402可选包括相对于处理器401远程设置的存储器,这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的LZ4解压缩方法。
最后需要说明的是,本文的计算机可读存储介质(例如,存储器)可以是易失性存储器或非易失性存储器,或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的,非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM),该RAM可以充当外部高速缓存存储器。作为例子而非限制性的,RAM 可以以多种形式获得,比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性,已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能,但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例,但是应当注意,在不背离权利要求限定的本发明实施例公开的范围的前提下,可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外,尽管本发明实施例公开的元素可以以个体形式描述或要求,但除非明确限制为单数,也可以理解为多个。
应当理解的是,在本文中使用的,除非上下文清楚地支持例外情况,单数形式“一个”旨在也包括复数形式。还应当理解的是,在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述,不代表实施例的优劣。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子;在本发明实施例的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上的本发明实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种LZ4解压缩方法,其特征在于,包括以下步骤:
将待解压数据中的若干序列分为多个输入数据,并将所述多个输入数据依次输入至LZ4解码模块中,以使每个所述输入数据具有第一不完整序列、至少一个完整序列以及第二不完整序列中的至少一项;
根据所述LZ4解码模块中的LZ4帧结构对所述第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个所述输入数据的至少一个标记信息;
基于所有标记信息对所述若干序列分别进行解析,以得到解析结果;
对所述解析结果进行解码,以得到解码数据,并基于所述解码数据完成对所述待解压数据的解压缩。
2.根据权利要求1所述的方法,其特征在于,根据所述LZ4解码模块中的LZ4帧结构对所述第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个所述输入数据的至少一个标记信息包括:
响应于当前输入数据具有至少一个完整序列以及第二不完整序列,根据所述LZ4帧结构对所述至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到相应的多个标记信息;
根据所述第二不完整序列的标记信息确定下一个输入数据的第一不完整序列的起始类型,以得到起始类型标记信息。
3.根据权利要求2所述的方法,其特征在于,根据所述LZ4解码模块中的LZ4帧结构对所述第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个所述输入数据的至少一个标记信息还包括:
响应于所述下一个输入数据具有所述第一不完整序列,基于所述LZ4帧结构以及所述第一不完整序列的所述起始类型标记信息对所述第一不完整序列的数据内容所属的类型进行相应标记,以得到至少一个标记信息。
4.根据权利要求2或3所述的方法,其特征在于,所述标记信息和所述起始类型标记信息分别为令牌标记、原文标记、原文长度标记、偏移量标记以及匹配长度标记中的一项。
5.根据权利要求4所述的方法,其特征在于,基于所有标记信息对所述若干序列分别进行解析,以得到解析结果包括:
根据所述令牌标记识别出所述若干序列中的每个序列,并根据所述原文标记、原文长度标记、偏移量标记以及匹配长度标记分别识别出所述每个序列中对应的原文信息、原文长度信息、偏移量信息以及匹配长度信息。
6.根据权利要求5所述的方法,其特征在于,对所述解析结果进行解码,以得到解码数据包括:
针对所述每个序列,根据其中的原文长度信息将对应的原文信息分别写入至输出缓冲以及共享缓冲中,并根据其中的偏移量信息和匹配长度信息从所述共享缓冲中对所述对应的原文信息进行复制;
响应于复制完成,将所述复制的原文信息写入至所述输出缓冲中,以在所述输出缓冲中得到所述每个序列的完整原数据;
基于所述若干序列的完整原数据得到解码数据。
7.根据权利要求1所述的方法,其特征在于,基于所述解码数据完成对所述待解压数据的解压缩包括:
基于所述解码数据和从所述待解压数据中识别出的帧头数据完成对所述待解压数据的解压缩。
8.一种LZ4解压缩系统,其特征在于,包括:
序列划分模块,配置用于将待解压数据中的若干序列分为多个输入数据,并将所述多个输入数据依次输入至LZ4解码模块中,以使每个所述输入数据具有第一不完整序列、至少一个完整序列以及第二不完整序列中的至少一项;
标记模块,配置用于根据所述LZ4解码模块中的LZ4帧结构对所述第一不完整序列、至少一个完整序列以及第二不完整序列的数据内容分别所属的类型进行相应标记,以得到每个所述输入数据的至少一个标记信息;
解析模块,配置用于基于所有标记信息对所述若干序列分别进行解析,以得到解析结果;以及
解压缩完成模块,配置用于对所述解析结果进行解码,以得到解码数据,并基于所述解码数据完成对所述待解压数据的解压缩。
9.一种计算机可读存储介质,其特征在于,存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的方法。
10.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210103736.6A CN114124106B (zh) | 2022-01-28 | 2022-01-28 | 一种lz4解压缩方法、系统、存储介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210103736.6A CN114124106B (zh) | 2022-01-28 | 2022-01-28 | 一种lz4解压缩方法、系统、存储介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114124106A true CN114124106A (zh) | 2022-03-01 |
CN114124106B CN114124106B (zh) | 2022-04-26 |
Family
ID=80361743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210103736.6A Active CN114124106B (zh) | 2022-01-28 | 2022-01-28 | 一种lz4解压缩方法、系统、存储介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114124106B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817831A (zh) * | 2022-06-30 | 2022-07-29 | 四川公路工程咨询监理有限公司 | 建筑工程经济用的计算辅助方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105207678A (zh) * | 2015-09-29 | 2015-12-30 | 东南大学 | 一种改进型lz4压缩算法的硬件实现系统 |
CN106849956A (zh) * | 2016-12-30 | 2017-06-13 | 华为机器有限公司 | 压缩方法、解压缩方法、装置和数据处理系统 |
CN110334066A (zh) * | 2019-05-09 | 2019-10-15 | 苏州浪潮智能科技有限公司 | 一种基于FPGA的Gzip解压缩方法、装置及系统 |
CN110990358A (zh) * | 2019-09-30 | 2020-04-10 | 咪咕文化科技有限公司 | 一种解压缩方法、电子设备及计算机可读存储介质 |
-
2022
- 2022-01-28 CN CN202210103736.6A patent/CN114124106B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105207678A (zh) * | 2015-09-29 | 2015-12-30 | 东南大学 | 一种改进型lz4压缩算法的硬件实现系统 |
CN106849956A (zh) * | 2016-12-30 | 2017-06-13 | 华为机器有限公司 | 压缩方法、解压缩方法、装置和数据处理系统 |
CN110334066A (zh) * | 2019-05-09 | 2019-10-15 | 苏州浪潮智能科技有限公司 | 一种基于FPGA的Gzip解压缩方法、装置及系统 |
CN110990358A (zh) * | 2019-09-30 | 2020-04-10 | 咪咕文化科技有限公司 | 一种解压缩方法、电子设备及计算机可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817831A (zh) * | 2022-06-30 | 2022-07-29 | 四川公路工程咨询监理有限公司 | 建筑工程经济用的计算辅助方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114124106B (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11599770B2 (en) | Methods and devices for programming a state machine engine | |
US9866218B2 (en) | Boolean logic in a state machine lattice | |
US11775320B2 (en) | Overflow detection and correction in state machine engines | |
US8680888B2 (en) | Methods and systems for routing in a state machine | |
US8726256B2 (en) | Unrolling quantifications to control in-degree and/or out-degree of automaton | |
EP2668574B1 (en) | Utilizing special purpose elements to implement a fsm | |
JP6109186B2 (ja) | 状態機械格子におけるカウンタ動作 | |
US8847797B1 (en) | Byte-aligned dictionary-based compression and decompression | |
CN107888197B (zh) | 一种数据压缩方法和装置 | |
US10949290B2 (en) | Validation of a symbol response memory | |
CN114124106B (zh) | 一种lz4解压缩方法、系统、存储介质及设备 | |
US20200294629A1 (en) | Gene sequencing data compression method and decompression method, system and computer-readable medium | |
CN116015311A (zh) | 基于滑动字典实现的Lz4文本压缩方法 | |
WO2024124843A1 (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
CN113592701B (zh) | 将梯度压缩算法开发注册到深度学习框架中的方法及系统 | |
US9697899B1 (en) | Parallel deflate decoding method and apparatus | |
US10915547B2 (en) | Optimizing data conversion using pattern frequency | |
CN114050831A (zh) | 一种基于lz77的解码方法、系统、设备以及介质 | |
CN113890540A (zh) | 一种并行加速lz77解码方法及装置 | |
CN107547906B (zh) | 一种jpeg图像解码的方法与装置 | |
CN112400280A (zh) | 信息处理装置、信息处理系统、程序和信息处理方法 | |
JP2002135129A (ja) | スライド辞書の故障検出方法及び故障検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |