CN116185303A - 一种提高压缩卡压缩效率的方法、装置及设备 - Google Patents

一种提高压缩卡压缩效率的方法、装置及设备 Download PDF

Info

Publication number
CN116185303A
CN116185303A CN202310251046.XA CN202310251046A CN116185303A CN 116185303 A CN116185303 A CN 116185303A CN 202310251046 A CN202310251046 A CN 202310251046A CN 116185303 A CN116185303 A CN 116185303A
Authority
CN
China
Prior art keywords
length value
original data
segment
search buffer
predefined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310251046.XA
Other languages
English (en)
Inventor
张译
王磊
孙明刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Original Assignee
Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd filed Critical Shandong Yunhai Guochuang Cloud Computing Equipment Industry Innovation Center Co Ltd
Priority to CN202310251046.XA priority Critical patent/CN116185303A/zh
Publication of CN116185303A publication Critical patent/CN116185303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G06F13/4081—Live connection to bus, e.g. hot-plugging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提出一种提高压缩卡压缩效率的方法、装置及设备。方法包括以下步骤：根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。本发明公开的方案降低了存储系统中内存的使用率，提高了压缩卡对数据压缩的效率。

Description

一种提高压缩卡压缩效率的方法、装置及设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种提高压缩卡压缩效率的方法、装置及设备。
背景技术
存储领域中，大量使用压缩卷来减少数据的体积，“压缩”会大量消耗系统资源，例如CPU和内存，为解决这一问题，“压缩卡”这一辅助设备便应运而生。“压缩卡”是专用于压缩数据的外置协助处理设备，它与存储服务器通过PCIe(peripheral componentinterconnect express，高速串行计算机扩展总线标准)总线连接，需要压缩的数据直接进入“压缩卡”的CPU，压缩完成的数据再被送到存储服务器内。
对于通过压缩卡压缩后的数据体积越小越好，以此节省更多的硬盘资源，降低用户成本。现有技术中在压缩卡中进行压缩的方式，通过一个固定缓冲区(WindowSize)对数据进行压缩，WindowSize包括搜索缓冲区(search buffer)和预读缓冲区(look-aheadbuffer)，这两部分也都是固定值，其中搜索缓冲区存放已经被编码处理的数据，预读缓冲区存放未被编码处理的数据。具体地说，原始数据先读入预读缓冲区，再取出和搜索缓冲区的数据进行比对，检查是否相同；若有相同，原始数据就会被压缩，检查到的相同数据越多，得到的压缩率越优，压缩效果越好。
现有技术中这种压缩方式存在的问题是WindowSize的两个缓冲区的长度是固定值，导致在处理不同的原始数据时，不能随机更改WindowSize大小，不能针对具体的原始数据对压缩过程进行相适应的调整，不利于提高压缩效率。
发明内容
有鉴于此，本发明提出了一种提高压缩卡压缩效率的方法、装置及设备，其中，本发明提出的一种提高压缩卡压缩效率的方法通过设定一个与待压缩的原始数据相适应的搜索缓冲区和预读缓冲区大小，参考被压缩原始数据中的重复字符串最大长度设置搜索缓冲区和预读缓冲区大小。由于不同的原始数据的重复字符串最大长度是不一样的，基于此将WindowSize大小由固定值更改为依据原始数据得出的自适应值，以此达到最优的压缩率。
基于以上目的，本发明的实施例的一个方面提供了一种提高压缩卡压缩效率的方法，所述方法包括以下步骤：根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。
在一些实施例中，所述方法还包括：根据当前分段的所述搜索缓冲区的长度值对用于存放未压缩的数据的预读缓冲区的长度值进行更新，得到所述当前分段对应的所述预读缓冲区的更新长度值。
在一些实施例中，所述对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩包括：
根据当前分段对应的所述搜索缓冲区的更新长度值、所述预读缓冲区的更新长度值以及前分段的起始位置对所述原始数据进行压缩。
在一些实施例中，所述根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值包括：根据所述原始数据的总长度所在的区间对所述原始数据的总长度按照对应的分段次数进行分段，得到对所述原始数据分段的预定义长度值。
在一些实施例中，所述根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值还包括：根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值。
在一些实施例中，所述根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值包括：响应于对所述原始数据分段的预定义长度值小于所述搜索缓冲区的预定义长度值，以所述搜索缓冲区的预定义长度值作为对所述原始数据分段的长度值。
在一些实施例中，所述根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值还包括：响应于对所述原始数据分段的预定义长度值不小于所述搜索缓冲区的预定义长度值，以对所述原始数据分段的预定义长度值作为对所述原始数据分段的长度值。
在一些实施例中，所述根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新包括：响应于当前分段中的最长重复字符串存在多个，从所述多个最长重复字符串中任取一个对所述当前分段中的所述搜索缓冲区的长度值进行更新。
本发明实施例的另一个方面，还提供了一种提高压缩卡压缩效率的装置，所述装置包括：第一模块，配置用于根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；第二模块，配置用于根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；第三模块，配置用于对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；第四模块，配置用于从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。
在一些实施例中，所述装置还包括：第四模块，配置用于根据当前分段的所述搜索缓冲区的长度值对用于存放未压缩的数据的预读缓冲区的长度值进行更新，得到所述当前分段对应的所述预读缓冲区的更新长度值。
在一些实施例中，所述第三模块进一步配置用于：根据当前分段对应的所述搜索缓冲区的更新长度值、所述预读缓冲区的更新长度值以及前分段的起始位置对所述原始数据进行压缩。
在一些实施例中，所述第一模块进一步配置用于：根据所述原始数据的总长度所在的区间对所述原始数据的总长度按照对应的分段次数进行分段，得到对所述原始数据分段的预定义长度值。
在一些实施例中，所述第一模块进一步配置用于：根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值。
在一些实施例中，所述第一模块进一步配置用于：响应于对所述原始数据分段的预定义长度值小于所述搜索缓冲区的预定义长度值，以所述搜索缓冲区的预定义长度值作为对所述原始数据分段的长度值。
在一些实施例中，所述第一模块进一步配置用于：响应于对所述原始数据分段的预定义长度值不小于所述搜索缓冲区的预定义长度值，以对所述原始数据分段的预定义长度值作为对所述原始数据分段的长度值。
在一些实施例中，所述第二模块进一步配置用于：响应于当前分段中的最长重复字符串存在多个，从所述多个最长重复字符串中任取一个对所述当前分段中的所述搜索缓冲区的长度值进行更新。
本发明实施例的另一方面，还提供一种计算机设备，包括至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任一方法的步骤。
本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上任一方法步骤的计算机程序。
本发明至少具有以下有益效果：本发明提供一种提高压缩卡压缩效率的方法、装置及设备，其中本发明提供的一种提高压缩卡压缩效率的方法在压缩过程中，将被压缩的原始数据截成多个不等长度数据段分段进行压缩，每次分段都要重新计算搜索缓冲区长度、预读缓冲区长度，以使两者满足最优压缩率的条件，降低了存储系统中内存的使用率，提高了压缩卡对数据压缩的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的实施例。
图1示出了本发明提供的一种提高压缩卡压缩效率的方法的实施例的示意图；
图2示出了本发明提供的一种提高压缩卡压缩效率的装置的实施例的示意图；
图3示出了本发明提供的一种计算机设备的实施例的示意图；
图4示出了本发明提供的一种计算机可读存储介质的实施例的示意图。
具体实施方式
以下描述了本发明的实施例。然而，应该理解，所公开的实施例仅仅是示例，并且其它实施例可以采取各种替代形式。
此外，需要说明的是术语“包括”、“包含”或其任何其它变形旨在涵盖非排他性的包括，以使包含一系列要素的过程、方法、物品或装置不仅包括那些要素，也可以包括未明确列出的或这些过程、方法、物品或装置所固有的要素。
下面将结合附图说明本申请的一个或多个实施例。
基于以上目的，本发明实施例的第一个方面，提出了涉及一种提高压缩卡压缩效率的方法的实施例。图1示出的是本发明提供的涉及一种提高压缩卡压缩效率的方法的实施例的示意图。如图1所示，本发明实施例的涉及一种提高压缩卡压缩效率的方法包括以下步骤：
S1、根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；
S2、根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；
S3、对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；
S4、从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。
根据本发明的若干实施例，方法还包括：根据当前分段的搜索缓冲区的长度值对用于存放未压缩的数据的预读缓冲区的长度值进行更新，得到当前分段对应的预读缓冲区的更新长度值。
根据本发明的若干实施例，对原始数据从当前分段的起始位置按照搜索缓冲区的更新长度值进行压缩包括：
根据当前分段对应的搜索缓冲区的更新长度值、预读缓冲区的更新长度值以及前分段的起始位置对原始数据进行压缩。
根据本发明的若干实施例，根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对原始数据分段的长度值包括：根据原始数据的总长度所在的区间对原始数据的总长度按照对应的分段次数进行分段，得到对原始数据分段的预定义长度值。
根据本发明的若干实施例，根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对原始数据分段的长度值还包括：根据对原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对原始数据分段的长度值。
根据本发明的若干实施例，根据对原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对原始数据分段的长度值包括：响应于对原始数据分段的预定义长度值小于搜索缓冲区的预定义长度值，以搜索缓冲区的预定义长度值作为对原始数据分段的长度值。
根据本发明的若干实施例，根据对原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对原始数据分段的长度值还包括：响应于对原始数据分段的预定义长度值不小于搜索缓冲区的预定义长度值，以对原始数据分段的预定义长度值作为对原始数据分段的长度值。
根据本发明的若干实施例，根据当前分段中的最长重复字符串的长度值对当前分段中的搜索缓冲区的长度值进行更新包括：响应于当前分段中的最长重复字符串存在多个，从多个最长重复字符串中任取一个对当前分段中的搜索缓冲区的长度值进行更新。
以下为本发明提供的一种提高压缩卡压缩效率的方法的另一实施例。
根据被压缩的原始数据的总长度L0(单位：字节)，设定search buffer的预定义长度LS，LS的最大值是64K(单位：字节)，同时定义一个预定义分母Y。Y是根据原始数据的总长度L0所在区间进行分段取值的，具体地，如表1所示：
预定义分母Y 原始数据的总长度L0
16 <＝1M字节
800 <＝50M字节
8000 <＝500M字节
10000 >500M字节
表1
search buffer的长度值是根据原始数据的初始长度值进行确定的，若L0/Y≥64K，则search buffer的LS＝64K；若L0/Y＜64K，则search buffer的LS＝L0/Y。
在本实施例中，以search buffer的长度值为64K进行计算，对于被压缩的原始数据从起始位置M处开始截取64K字节的长度区间，在这个区间内，寻找最长的重复字符串，记录该最长重复字符串的长度为L，并记录该“重复字符串”最后一次出现时它的最后一个字符的位置N，然后，search buffer的长度更新为L＝(N-M+1)，look-ahead buffer的长度根据search buffer的长度更新为L；当出现2种或者2种以上的最长重复字符串，从其中任取1种即可，因为哪个最长重读字符串对本申请没有影响。根据本次得到的search buffer长度、look-ahead buffer长度、以及本次待压缩数据的起始位置，进行本次的压缩。当searchbuffer里的空间全部填充完毕结束本次压缩。然后按照对原始数据的分段进行下一次的压缩，直到所有的待压缩源数据被处理完毕。search buffer足够大时，look-ahead buffer的大小等于“最大重复字符串长度”，会得到最优的压缩率；look-ahead buffer大小足够大时，只有在search buffer包括了该最大的重复字符串，才会得到最优的压缩率。所以look-ahead buffer长度至少是search buffer长度。基于此，将被压缩的原始数据截成多个不等长度数据段，分段进行压缩，每次分段都要重新计算search buffer长度、look-aheadbuffer长度，使这两者满足最优压缩率的条件，整个的压缩过程是分段进行的，每一段的search buffer长度、look-ahead buffer长度以及进行压缩处理的数据长度，都是可变的，search buffer长度在每次压缩都会相对变小(相比于使用固定值)，降低了内存的使用。
本发明的实施例的第二个方面，提出了一种提高压缩卡压缩效率的装置。图2示出的是本发明提供的一种提高压缩卡压缩效率的装置的实施例的示意图。如图2所示，本发明提供的一种提高压缩卡压缩效率的装置包括：第一模块011，配置用于根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；第二模块012，配置用于根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；第三模块013，配置用于对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；第四模块014，配置用于从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。
根据本发明的若干实施例，所述装置还包括：第四模块，配置用于根据当前分段的所述搜索缓冲区的长度值对用于存放未压缩的数据的预读缓冲区的长度值进行更新，得到所述当前分段对应的所述预读缓冲区的更新长度值。
根据本发明的若干实施例，所述第三模块进一步配置用于：根据当前分段对应的所述搜索缓冲区的更新长度值、所述预读缓冲区的更新长度值以及前分段的起始位置对所述原始数据进行压缩。
根据本发明的若干实施例，所述第一模块进一步配置用于：根据所述原始数据的总长度所在的区间对所述原始数据的总长度按照对应的分段次数进行分段，得到对所述原始数据分段的预定义长度值。
根据本发明的若干实施例，所述第一模块进一步配置用于：根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值。
根据本发明的若干实施例，所述第一模块进一步配置用于：响应于对所述原始数据分段的预定义长度值小于所述搜索缓冲区的预定义长度值，以所述搜索缓冲区的预定义长度值作为对所述原始数据分段的长度值。
根据本发明的若干实施例，所述第一模块进一步配置用于：响应于对所述原始数据分段的预定义长度值不小于所述搜索缓冲区的预定义长度值，以对所述原始数据分段的预定义长度值作为对所述原始数据分段的长度值。
根据本发明的若干实施例，所述第二模块进一步配置用于：响应于当前分段中的最长重复字符串存在多个，从所述多个最长重复字符串中任取一个对所述当前分段中的所述搜索缓冲区的长度值进行更新。
基于以上目的，本发明实施例的第三个方面，提出了一种计算机设备，图3示出的是本发明提供的一种计算机设备的实施例的示意图。如图3所示，本发明提供的一种计算机设备的实施例，包括以下模块：至少一个处理器021；以及存储器022，存储器022存储有可在处理器021上运行的计算机指令023，该计算机指令023由处理器021执行时实现如上所述的方法的步骤，其中所述步骤包括：根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。
在一些实施例中，所述方法还包括：根据当前分段的所述搜索缓冲区的长度值对用于存放未压缩的数据的预读缓冲区的长度值进行更新，得到所述当前分段对应的所述预读缓冲区的更新长度值。
在一些实施例中，所述对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩包括：
根据当前分段对应的所述搜索缓冲区的更新长度值、所述预读缓冲区的更新长度值以及前分段的起始位置对所述原始数据进行压缩。
在一些实施例中，所述根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值包括：根据所述原始数据的总长度所在的区间对所述原始数据的总长度按照对应的分段次数进行分段，得到对所述原始数据分段的预定义长度值。
在一些实施例中，所述根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值还包括：根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值。
在一些实施例中，所述根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值包括：响应于对所述原始数据分段的预定义长度值小于所述搜索缓冲区的预定义长度值，以所述搜索缓冲区的预定义长度值作为对所述原始数据分段的长度值。
在一些实施例中，所述根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值还包括：响应于对所述原始数据分段的预定义长度值不小于所述搜索缓冲区的预定义长度值，以对所述原始数据分段的预定义长度值作为对所述原始数据分段的长度值。
在一些实施例中，所述根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新包括：响应于当前分段中的最长重复字符串存在多个，从所述多个最长重复字符串中任取一个对所述当前分段中的所述搜索缓冲区的长度值进行更新。
本发明还提供了一种计算机可读存储介质。图4示出的是本发明提供的一种计算机可读存储介质的实施例的示意图。如图4所示，计算机可读存储介质031存储有被处理器执行上述步骤的计算机程序032。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，设置系统参数的方法的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、D0L或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种提高压缩卡压缩效率的方法，其特征在于，包括：
根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；
根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；
对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；
从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据当前分段的所述搜索缓冲区的长度值对用于存放未压缩的数据的预读缓冲区的长度值进行更新，得到所述当前分段对应的所述预读缓冲区的更新长度值。
3.根据权利要求2所述的方法，其特征在于，所述对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩包括：
根据当前分段对应的所述搜索缓冲区的更新长度值、所述预读缓冲区的更新长度值以及前分段的起始位置对所述原始数据进行压缩。
4.根据权利要求1所述的方法，其特征在于，所述根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值包括：
根据所述原始数据的总长度所在的区间对所述原始数据的总长度按照对应的分段次数进行分段，得到对所述原始数据分段的预定义长度值。
5.根据权利要求4所述的方法，其特征在于，所述根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值还包括：
根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值。
6.根据权利要求5所述的方法，其特征在于，所述根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值包括：
响应于对所述原始数据分段的预定义长度值小于所述搜索缓冲区的预定义长度值，以所述搜索缓冲区的预定义长度值作为对所述原始数据分段的长度值。
7.根据权利要求5所述的方法，其特征在于，所述根据对所述原始数据分段的预定义长度值与搜索缓冲区的预定义长度值的大小确定对所述原始数据分段的长度值还包括：
响应于对所述原始数据分段的预定义长度值不小于所述搜索缓冲区的预定义长度值，以对所述原始数据分段的预定义长度值作为对所述原始数据分段的长度值。
8.根据权利要求1所述的方法，其特征在于，所述根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新包括：
响应于当前分段中的最长重复字符串存在多个，从所述多个最长重复字符串中任取一个对所述当前分段中的所述搜索缓冲区的长度值进行更新。
9.一种提高压缩卡压缩效率的装置，其特征在于，包括：
第一模块，配置用于根据对原始数据分段的预定义分段次数和搜索缓冲区的预定义长度值确定对所述原始数据分段的长度值；
第二模块，配置用于根据当前分段中的最长重复字符串的长度值对所述当前分段中的所述搜索缓冲区的长度值进行更新，得到所述当前分段对应的所述搜索缓冲区的更新长度值；
第三模块，配置用于对所述原始数据从所述当前分段的起始位置按照所述搜索缓冲区的更新长度值进行压缩；
第四模块，配置用于从所述当前分段完成压缩的终止位置按照分段的长度值进行下一次分段及压缩，重复直至所述原始数据完成压缩。
10.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-8任意一项所述方法的步骤。
CN202310251046.XA 2023-03-10 2023-03-10 一种提高压缩卡压缩效率的方法、装置及设备 Pending CN116185303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310251046.XA CN116185303A (zh) 2023-03-10 2023-03-10 一种提高压缩卡压缩效率的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310251046.XA CN116185303A (zh) 2023-03-10 2023-03-10 一种提高压缩卡压缩效率的方法、装置及设备

Publications (1)

Publication Number Publication Date
CN116185303A true CN116185303A (zh) 2023-05-30

Family

ID=86444384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310251046.XA Pending CN116185303A (zh) 2023-03-10 2023-03-10 一种提高压缩卡压缩效率的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116185303A (zh)

Similar Documents

Publication Publication Date Title
US10387375B2 (en) Data compression algorithm selection and tiering
CN102687404B (zh) 用于数据压缩的数据值出现信息
CN110799959B (zh) 一种数据压缩方法与解压方法以及相关设备
CN107305586B (zh) 索引生成方法、索引生成装置及搜索方法
CN109802684B (zh) 进行数据压缩的方法和装置
US20070229323A1 (en) Methods of creating a dictionary for data compression
JP6794782B2 (ja) 情報処理装置、情報処理プログラム、及び情報処理方法
KR20130036094A (ko) 개별적으로 액세스 가능한 데이터 유닛의 스토리지 관리 방법
CN111125033B (zh) 一种基于全闪存阵列的空间回收方法及系统
CN116578542B (zh) 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统
US20060143009A1 (en) Lattice encoding
CN111611250A (zh) 数据存储设备、数据查询方法、装置、服务器及存储介质
JP2017073615A (ja) 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法および復号化装置
CN111291037A (zh) 一种数据存储和查询方法、装置、设备及计算机存储介质
CN111984203B (zh) 一种数据重删方法、装置及电子设备和存储介质
CN108880559B (zh) 数据压缩方法、数据解压缩方法、压缩设备及解压缩设备
CN110597461B (zh) 块链式账本中的数据存储方法、装置及设备
CN115361026A (zh) 一种lz系列压缩算法自适应优化方法
CN116185303A (zh) 一种提高压缩卡压缩效率的方法、装置及设备
CN116303297B (zh) 文件压缩处理方法、装置、设备及介质
KR20180014124A (ko) 정보 처리 장치 및 데이터 관리 방법
CN110288666B (zh) 一种数据压缩方法及装置
CN113742332A (zh) 数据存储方法、装置、设备及存储介质
US11569841B2 (en) Data compression techniques using partitions and extraneous bit elimination
CN112800183B (zh) 内容名称数据处理方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination