CN107317584B - 加速压缩方法以及加速压缩装置 - Google Patents

加速压缩方法以及加速压缩装置 Download PDF

Info

Publication number
CN107317584B
CN107317584B CN201710506637.1A CN201710506637A CN107317584B CN 107317584 B CN107317584 B CN 107317584B CN 201710506637 A CN201710506637 A CN 201710506637A CN 107317584 B CN107317584 B CN 107317584B
Authority
CN
China
Prior art keywords
hash
compression
data
buffer
register
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710506637.1A
Other languages
English (en)
Other versions
CN107317584A (zh
Inventor
武芳芳
罗时灿
李晓阳
喻津
孟磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhaoxin Semiconductor Co Ltd
Original Assignee
Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhaoxin Integrated Circuit Co Ltd filed Critical Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority to CN201710506637.1A priority Critical patent/CN107317584B/zh
Priority to US15/797,423 priority patent/US10891082B2/en
Publication of CN107317584A publication Critical patent/CN107317584A/zh
Application granted granted Critical
Publication of CN107317584B publication Critical patent/CN107317584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0661—Format or protocol conversion arrangements
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明实施例提出一种加速压缩方法，由压缩加速器的配置逻辑执行，包含以下步骤：从处理器核心取得输入参数，并且依据输入参数从压缩参数表取得配置设定。依据输入参数配置第一缓存器与第二缓存器之间的数据传送路径，其中第一缓存器储存原始数据。传送配置设定给数据传送路径上的装置，用以压缩原始数据以产生压缩数据及储存压缩数据至第二缓存器。

Description

加速压缩方法以及加速压缩装置
技术领域
本发明涉及一种微处理器技术，特别是一种加速压缩方法以及使用此方法的装置。
背景技术
字符串匹配方法通常可归类为：基于内容可寻址内存(CAM-,ContentAddressable Memory-based)；及基于哈希(hash-based)二种。以上所述的字符串匹配都需要优化的最长字符串匹配方法，而优化传统上以软件实现。然而，软件的执行效能往往劣于专属硬件的执行效能。传统上，为了将字符串压缩成不同格式，例如，ZLIB、GZIP、LZS、LZ4或LZO等，需要提供不同的加速压缩硬件，造成微处理器的芯片面积扩大。因此，需要一种使用专属硬件的加速压缩方法以及使用此方法的装置，用以克服上述缺陷。
发明内容
本发明实施例提出一种加速压缩方法，由压缩加速器的配置逻辑执行，包含以下步骤：从处理器核心取得输入参数，并且依据输入参数从压缩参数表取得配置设定。依据输入参数配置第一缓存器与第二缓存器之间的数据传送路径，其中第一缓存器储存原始数据。传送配置设定给数据传送路径上的装置，用以压缩原始数据以产生压缩数据及储存压缩数据至第二缓存器。
本发明的实施例提出一种加速压缩装置，至少包含第一及第二缓存器，以及配置逻辑。第一缓存器储存原始数据。配置逻辑从处理器核心取得输入参数；依据输入参数从压缩参数表取得配置设定；依据输入参数配置第一缓存器与第二缓存器之间的数据传送路径；以及传送配置设定给数据传送路径上的装置，用以压缩原始数据以产生压缩数据，并储存压缩数据至第二缓存器。
本发明的前述加速压缩方法及其装置，多个不同算法类型的压缩可复用硬件模块来压缩第一缓存器中的原始数据，而不需针对不同算法类型提供不同的压缩加速器，使得微处理器的面积可以节约。
附图说明
图1是示出依据本发明实施例的微处理器的系统架构图。
图2是示出依据本发明实施例的压缩加速系统的方块图。
图3是示出依据本发明实施例的压缩文件的格式示意图。
图4是示出依据本发明实施例的压缩加速器的硬件方块图。
图5是示出依据本发明实施例的加速压缩方法的流程图。
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，在本说明书中使用的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、组件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、组件、组件，或以上的任意组合。
在权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的组件，并非用来表示之间具有优先权顺序，先行关系，或者是一个组件先于另一个组件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的组件。
图1是示出依据本发明实施例的微处理器的系统架构图。微处理器10可包含多个处理器核心170_1至170_j及多个加速器(Accelerator)150_1至150_i，i、j为整数，随着不同设计需求而有不同。加速器150_1至150_i举例而言可以是加速功能单元(AFU,Accelerator Functional Units)。处理器核心170_1至170_j中包含的任意一个组件都涉及计算机指令的执行，这些组件包括算术逻辑单元(ALU,Arithmetic Logic Unit)、浮点运算单元(FPU,Floating Point Unit)、一级高速缓存(L1Cache)及二级高速缓存(L2Cache)。每一处理器核心采用指令周期，有时亦称提取-译码-执行周期，作为基本操作流程。此流程用以让处理器核心从内存取得程序指令，判定此指令指示进行何种操作，并且执行这些操作。加速器150_1至150_i可执行不同功能，并通过加速器接口(Accelerator Interface)130连接至末级高速缓存(Last-level Cache)110，用以与处理器核心170_1至170_j通过虚拟地址(virtual address)进行数据交换。加速器150_1至150_i中之任一者可协助处理器核心170_1至170_j以更有效率地方式执行特定功能，上述特定功能包括例如压缩，加解密或正则匹配等运算量较大的功能，从而减轻处理器核心170_1至170_j的工作负担。加速器150_1至150_i中的一个可为压缩加速器(compression accelerator)，用以完成字符串压缩功能哈希。
图2是示出依据本发明实施例的压缩加速系统的方块图。压缩加速系统20包含数据缓存器290，用以储存原始的输入串流(input stream)211及输出串流(output stream)213。举例来说，压缩加速系统20还包含处理器核心170_1及加速器150_1，并且加速器150_1为压缩加速器，用以将原始的输入串流211压缩为输出串流213。在压缩时，压缩加速系统20支持多种以硬件实现的压缩计算器及编码器，并且根据输入参数选择需要的计算器及编码器，用以压缩原始的输入串流211来产生符合特定算法类型的输出串流213。加速器150_1包含压缩装置250及编码装置270。输入串流211先传送至压缩装置250。压缩装置250包含哈希计算器253a及最长字符串匹配器255a，哈希计算器253a可包含GIP、ZLIB、LZS、LZ4及LZO等支持的所有哈希运算。哈希计算器253a可通过内存控制器253b存取内存中在哈希运算时所需的数据，例如，变量、比较字符串、哈希链表等。最长字符串匹配器255a可通过内存控制器255b存取内存中在最长字符串匹配时所需的数据，例如，变量、比较字符串等。编码装置270可包含哈夫曼编码器(Huffman encoder)273a、LZS编码器275a、LZ4编码器277a及LZO编码器279a。哈夫曼编码器(Huffman encoder)273a、LZS编码器275a、LZ4编码器277a及LZO编码器279a可分别通过内存控制器273b、275b、277b及279b存取内存中在编码成指定输出格式时所需的数据，例如，变量、映射表等。
配置逻辑240a耦接于压缩装置250、编码装置270及处理器核心170_1之间。处理器核心170_1在加载并执行驱动程序280时驱动配置逻辑240a，用以将输入串流211传送到哈希计算器253a中的指定计算器以完成指定的哈希运算。接着，最长字符串匹配器255a接收哈希运算结果，以及使用最长字符串查找方法进行字符串匹配。配置逻辑240b耦接于哈夫曼编码器273a、LZS编码器275a、LZ4编码器277a、LZO编码器279a及处理器核心170_1之间。当算法类型为ZLIB或GZIP时，执行的驱动程序280驱动配置逻辑240b以传送哈希运算结果及字符串匹配结果至哈夫曼编码器273a，用以将输入串流211编码成ZLIB或GZIP格式的输出串流213。当算法类型为LZS、LZ4或LZO时，执行的驱动程序280驱动配置逻辑240b以传送哈希运算结果及字符串匹配结果至LZS编码器275a、LZ4编码器277a及LZO编码器279a中的相应一者，用以将输入串流211编码成LZS、LZ4及LZO格式中的相应一者的输出串流213。
图3是示出依据本发明实施例的压缩文件的格式示意图。压缩文件30可包含文件首(file header)310、压缩主体(compressed body)330及文件尾(file tail)350。处理器核心170_1在执行相关程序代码时产生文件首310及文件尾350，并且通过本发明所公开的压缩加速器150_1产生压缩主体330。此外，处理器核心170_1可产生包含文件首310、压缩主体330及文件尾350的文件，并通过驱动指定接口储存于非易失储存装置，例如，硬盘、闪存盘、固态硬盘等，或者通过通讯模块传送至其他的远程电子装置。
图4是示出依据本发明实施例的压缩加速器的硬件方块图。由于不同格式的压缩算法存在可以复用的部分，因此压缩加速器40中可设置配置逻辑240，藉由控制多路信号复用器及多路信号分离器来配置数据传送路径，用以将字符串传送至关联于特定格式的计算器或编码器，使得原始字符串可被指定的计算器或编码器处理。配置逻辑240可在可编程逻辑装置(PLD,Programmable Logic Device)、可编程逻辑控制器(PLC,Programmable LogicController)、现场可编程逻辑门阵列(FPGA,Field Programmable Gate Array)或专用集成电路(ASIC,application-specific integrated circuit)中实现固定功能(fixedfunctions)来完成本发明实施例中描述的控制。配置逻辑240储存压缩参数表241，用以纪录关联于特定算法类型(algorithm type)及压缩水平(compression level)的配置设定(configuration settings)。压缩参数表241可使用高速缓存(cache)、静态随机存储器(SRAM,Static Random Access Memory)、只读存储器(ROM,Read Only Memory)或可擦可编程只读存储器(EPROM,Erasable Programmable Read Only Memory)储存。示例的压缩参数表241如表1所示：
Figure BDA0001334821450000041
Figure BDA0001334821450000051
压缩参数表241可包含20笔纪录，每笔纪录包含默认长度的数据，这里纪录的数量为20笔以及算法类型仅为举例，本发明不限于此。每笔纪录储存关联于算法类型的配置设定(configuration settings)，或关联于算法类型及压缩水平的配置设定，例如，字典长度、哈希链表长度、输出格式、最小匹配长度、最大匹配长度、校验类型及哈希算法等信息。“GZIP/ZLIB”为预设常数，代表算法类型为GZIP或ZLIB。“LZ4”为预设常数，代表算法类型为LZ4。“LZO”为预设常数，代表算法类型为LZO。“LZS”代表算法类型为LZS。“WS0”、“WS1”、“WS2”及“WS3”为预设常数，代表不同的字典长度，例如，16K、32K、48K、64K等。“TS0”、“TS1”、“TS2”及“TS3”为预设常数，代表不同的哈希链表长度，例如，16K、32K、64K、128K等。“O0”及“O1”为预设常数，代表特定输出格式，例如为Deflate或者Frame format或者LZO1x-1等格式。“Min0”、“Min1”、“Min2”及“Min3”为预设整数常数，代表不同的最小匹配长度，例如，2、3、4等。“Max0”、“Max1”、“Max2”及“Max3”为预设整数常数，代表不同的最大匹配长度，例如，128、256等。“H0”、“H1”、“H2”及“H3”为预设常数，代表特定哈希算法，例如为Deflate哈希、不同等级的LZ4哈希或者LZO1x-1哈希等哈希算法。处理器核心170_1可传送输入参数410给压缩加速器150_1，其中输入参数410包含算法类型、压缩水平及校验类型，用以指示压缩加速器150_1将输入串流211压缩成特定格式的输出串流213(亦即是，如图3所示的压缩主体330)。值得注意的是，处理器核心170_1在压缩结束产生如图3所示的压缩文件30时，输入参数410会被添加到文件首310供日后解压缩该压缩文件30使用。配置逻辑240可依据输入参数410控制多路信号复用器(multiplexers)420a及430a以及多路信号分离器(demultiplexers)420b及430b，用以配置数据路径，使得预取缓存器450a中的原始数据可输入至指定的哈希计算器及指定的压缩编码器。指定的哈希计算器可为GZIP/ZLIB哈希计算器460a、LZ4哈希计算器460b、LZO哈希计算器460c及LZS哈希计算器460d中的一个。指定的压缩编码器可为霍夫曼编码器480a、LZ4编码器480b、LZO编码器480c及LZS编码器480d中的一个。此外，配置逻辑240可依据输入参数410中的算法类型或算法类型及压缩水平计算内存地址，从此内存地址开始读取指定长度的数据，并且解析出数据中的配置设定。当输入参数410中的算法类型为GZIP或ZLIB时，配合压缩参数表241，内存地址的计算可使用公式(1)：
Addr＝Tstart+(Lvl-1)*Len (1)，
当输入参数410中的算法类型为LZ4时，内存地址的计算可使用公式(2)：
Addr＝Tstart+(C1+Lvl-1)*Len (2)，
当输入参数410中的算法类型为LZO时，内存地址的计算可使用公式(3)：
Addr＝Tstart+(C1+C2)*Len (3)，
当输入参数410中的算法类型为LZS时，内存地址的计算可使用公式(4)：
Addr＝Tstart+(C1+C2+1)*Len (4)，
其中，Addr代表计算后的内存地址，Tstart代表压缩参数表241的起始地址，Len代表每笔纪录的长度，Lvl代表输入参数410中的压缩水平，C1代表GZIP或ZLIB算法类型的最大压缩水平，且C2代表LZ4算法类型的最大压缩水平。本领域技术人员可改变压缩参数表的储存内容及因应不同的压缩参数表设计改变内存地址的计算公式，本发明并不因此局限。接着，配置逻辑240传送配置设定给指定的哈希计算器460a～460d、最长字符串计算器470及指定的压缩编码器480a～480d，用以让指定的哈希计算器、最长字符串计算器470及指定的压缩编码器依据配置设定进行运算，使得预取缓存器450a中的原始数据可被编码成输入参数410指定的算法类型。压缩后的数据可储存于压缩数据缓存器450b，并让处理器核心170_1读取。配置逻辑240另可依据输入参数410中的校验类型，控制多路信号复用器440a及440b以配置数据路径，使得指定的校验编码器(checksum encoder)可产生相应于预取缓存器450a中的原始数据的校验码。指定的校验编码器可为循环冗余校验编码器490a、Alder32编码器490b及快速哈希编码器490c中的一个。
以下说明当输入参数410中的算法类型为GZIP或ZLIB时，配置逻辑240的操作范例。配置逻辑240可控制多路信号复用器420a以连接预取缓存器450a至GZIP/ZLIB哈希计算器460a，使得GZIP/ZLIB哈希计算器460a可从预取缓存器450a读取及计算原始数据，以及控制多路信号分离器420b以连接GZIP/ZLIB哈希计算器460a至哈希比较器465，使得哈希比较器465可取得GZIP/ZLIB哈希计算器460a产生的哈希值(hash value)。此外，配置逻辑240可控制多路信号复用器430a以连接最长字符串计算器470至霍夫曼编码器480a，使得霍夫曼编码器480a可取得最长字符串计算器470输出的原始字符串或者是匹配偏移量及匹配长度，并据以将预取缓存器450a中的原始数据编码成GZIP或ZLIB格式的压缩数据。本领域技术人员可参考1996年5月出版的DEFLATE压缩数据格式规范版本1.3(DEFLATE compresseddata format specification version 1.3)(简称为RFC1951)及1996年5月出版的GZIP文件格式规范版本4.3(GZIP file format specification version 4.3)(简称为RFC1952)实施霍夫曼编码器480a，用以产生GZIP格式的压缩数据。此外，本领域技术人员可参考1996年5月出版的DEFLATE压缩数据格式规范版本1.3(简称为RFC1951)及1996年5月出版的ZLIB压缩数据格式规范版本3.3(ZLIB compressed data format specification version3.3)(简称为RFC1950)实施霍夫曼编码器480a，用以编码ZLIB格式的压缩数据。配置逻辑240可传送从压缩参数表241读取的配置设定给GZIP/ZLIB哈希计算器460a、哈希比较器465、最长字符串计算器470及霍夫曼编码器480a，例如，压缩水平、字典长度“WS0”、哈希链表长度“TS0”、输出格式“O0”、最小匹配长度“Min0”、最大匹配长度“Max0”、哈希算法“H0”等。配置逻辑240可依据输入参数410中的校验类型控制多路信号复用器440a以连接预取缓存器450a至循环冗余校验编码器490a或Alder32编码器490b，使得连接的校验编码器可依据预取缓存器450a中的原始数据产生校验值(checksum value)，以及控制多路信号分离器440b以连接校验编码器490a或490b至校验缓存器450c，压缩时产生的此校验值通过处理器核心170_1回传给驱动程序280，由驱动程序280将该校验值附在如第3图所示的文件尾350，日后在解压缩时对压缩文件30的压缩主体330解压后做同样的校验计算得到另一校验值，判断其是否与压缩时产生的该校验值(例如附在文件尾350中该校验值)相等从而检测文件是否正确被解压缩。例如，输入参数410中指示的算法类型为GZIP或ZLIB且压缩水平为4时，GZIP/ZLIB哈希计算器460a从预取缓存器450a读取3个字符的原始数据并使用哈希算法“H0”进行哈希计算，并且哈希比较器465使用从GZIP/ZLIB哈希计算器460a取得的哈希值遍历(traverse)并更新哈希链表。接着，最长字符串计算器470使用匹配算法求得滑动窗框(即字典)与预取缓存器450a中原始数据字符串之间的字符串的最长匹配。如果匹配成功，最长字符串计算器470输出匹配偏移量offset及匹配长度length给霍夫曼编码器480a，并且通过移位器473将数据预取器475中的滑动窗框向后滑动length个字节。如果匹配不成功，最长字符串计算器470输出原始数据给霍夫曼编码器480a，并且通过移位器473将数据预取器475中的滑动窗框向后滑动1个字节。
以下说明当输入参数410中的算法类型为LZ4时，配置逻辑240的操作范例。配置逻辑240可控制多路信号复用器420a以连接预取缓存器450a至LZ4哈希计算器460b，使得LZ4哈希计算器460b可从预取缓存器450a读取及计算原始数据，以及控制多路信号分离器420b以连接LZ4哈希计算器460b至哈希比较器465，使得哈希比较器465可取得LZ4哈希计算器460b产生的哈希值。此外，配置逻辑240可控制多路信号复用器430a以连接最长字符串计算器470至LZ4编码器480b，使得LZ4编码器480b可取得最长字符串计算器470输出的原始字符串或者是匹配偏移量及匹配长度，并据以将预取缓存器450a中的原始数据编码成LZ4格式的压缩数据。本领域技术人员可参考习知LZ4/LZ4HC格式及编码方法实施LZ4编码器480b，用以产生LZ4格式的压缩数据。配置逻辑240可连接预取缓存器450a至快速哈希编码器490c，使得连接的校验编码器可依据预取缓存器450a中的原始数据产生校验值，以及控制多路信号分离器440b以连接快速哈希编码器490c至校验缓存器450c。配置逻辑240可传送从压缩参数表241读取的配置设定给LZ4哈希计算器460b、哈希比较器465、最长字符串计算器470及LZ4编码器480b，例如，压缩水平、字典长度“WS1”、哈希链表长度“TS1”、输出格式“O1”、最小匹配长度“Min1”、最大匹配长度“Max1”、哈希算法“H1”或“H2”等。
以下说明当输入参数410中的算法类型为LZO时，配置逻辑240的操作范例。配置逻辑240可控制多路信号复用器420a以连接预取缓存器450a至LZO哈希计算器460c，使得LZO哈希计算器460c可从预取缓存器450a读取及计算原始数据，以及控制多路信号分离器420b以连接LZO哈希计算器460c至哈希比较器465，使得哈希比较器465可取得LZO哈希计算器460c产生的哈希值。此外，配置逻辑240可控制多路信号复用器430a以连接最长字符串计算器470至LZO编码器480c，使得LZO编码器480c可取得最长字符串计算器470输出的原始字符串或者是匹配偏移量及匹配长度，并据以将预取缓存器450a中的原始数据编码成LZO格式的压缩数据。本领域技术人员可参考习知LZO1X-1格式及编码方法实施LZO编码器480c，用以产生LZO格式的压缩数据。配置逻辑240可传送从压缩参数表241读取的配置设定给LZO哈希计算器460c、哈希比较器465、最长字符串计算器470及LZO编码器480c，例如，压缩水平、字典长度“WS1”、哈希链表长度“TS1”、输出格式“O1”、最小匹配长度“Min1”、最大匹配长度“Max1”、哈希算法“H2”等。配置逻辑240可依据输入参数410中的校验类型控制多路信号复用器440a以连接预取缓存器450a至循环冗余校验编码器490a或Alder32编码器490b，使得连接的校验编码器可依据预取缓存器450a中的原始数据产生校验值，以及控制多路信号分离器440b以连接校验编码器490a或490b至校验缓存器450c。例如，输入参数410中的算法类型为LZO时，LZO哈希计算器460c从预取缓存器450a读取4个字符的原始数据并使用哈希算法“H3”进行哈希计算，并且哈希比较器465使用从LZO哈希计算器460c取得的哈希值遍历并更新哈希链表。接着，最长字符串计算器470使用匹配算法求得滑动窗框(即字典)与预取缓存器450a中原始数据字符串之间的字符串的最长匹配。如果匹配成功，最长字符串计算器470输出匹配偏移量offset及匹配长度length给LZO编码器480c，并且通过移位器473将数据预取器475中的滑动窗框向后滑动length个字节。如果匹配不成功，最长字符串计算器470输出原始数据给LZO编码器480c，并且通过移位器473将数据预取器475中的滑动窗框向后滑动1个字节。
以下说明当输入参数410中的算法类型为LZS时，配置逻辑240的操作范例。配置逻辑240可控制多路信号复用器420a以连接预取缓存器450a至LZS哈希计算器460d，使得LZS哈希计算器460d可从预取缓存器450a读取及计算原始数据，以及控制多路信号分离器420b以连接LZS哈希计算器460d至哈希比较器465，使得哈希比较器465可取得LZS哈希计算器460d产生的哈希值。此外，配置逻辑240可控制多路信号复用器430a以连接最长字符串计算器470至LZS编码器480d，使得LZS编码器480d可取得最长字符串计算器470输出的原始字符串或者是匹配偏移量及匹配长度，并据以将预取缓存器450a中的原始数据编码成LZS格式的压缩数据。配置逻辑240可传送从压缩参数表241读取的配置设定给LZS哈希计算器460d、哈希比较器465、最长字符串计算器470及LZS编码器480d，例如，字典长度“WS3”、哈希链表长度“TS3”、输出格式“O3”、最小匹配长度“Min3”、最大匹配长度“Max3”、哈希算法“H4”等。
通过以上实施例所示的压缩加速器架构，多个不同算法类型的压缩至少都可复用数据预取器475、预取缓存器450a、哈希比较器465、最长字符串计算器470、移位器473及压缩数据缓存器450b等硬件来压缩数据预取器475中的原始数据，而不需针对不同算法类型提供不同的压缩加速器，使得微处理器的面积可以节约。
图5是示出依据本发明实施例的加速压缩方法的流程图，由配置逻辑240执行。此方法开始于从处理器核心170_1取得输入参数410(步骤S510)，依据输入参数410从压缩参数表241取得配置设定(步骤S530)，依据输入参数410配置两个缓存器之间(例如，预取缓存器450a及压缩数据缓存器450b间，或预取缓存器450a及校验缓存器450c间)的数据传送路径(步骤S550)，以及传送配置设定给数据传送路径上的装置(步骤S570)，使得数据传送路径上的装置可协同合作以处理预取缓存器450a的原始数据并产生输入参数410指定的算法类型或校验类型的结果数据，并储存结果数据至压缩数据缓存器450b及校验缓存器450c中的相应的一个。
关于步骤S550的两个缓存器之间的数据传送路径配置，输入参数410可包含算法类型，以及两个缓存器包含预取缓存器450a及压缩数据缓存器450b。整个传送路径可分为三段子路径：哈希计算、最长字符串匹配及编码。哈希计算子路径上包含多路信号复用器420a、哈希计算器460a至460d、多路信号分离器420b及哈希比较器465，最长字符串匹配子路径上包含最长字符串计算器470，以及压缩编码子路径上包含多路信号复用器430a、压缩编码器480a至480d及多路信号分离器430b。配置逻辑240可依据算法类型配置哈希计算子路径，藉由控制多路信号复用器420a以连接预取缓存器450a至哈希计算器460a至460d中的一个，以及藉由控制多路信号分离器420b以连接上述选择的哈希计算器至哈希比较器465。配置逻辑240可依据算法类型配置编码子路径藉由控制多路信号复用器430a以连接最长字符串计算器470至压缩编码器480a至480d中的一个，以及藉由控制多路信号分离器430b连接上述选择的压缩编码器至压缩数据缓存器450b。哈希计算器460a至460d使用不同的算法将预取缓存器450a中的字符串(原始数据)映射成使用较少比特数的哈希值(hashvalues)。
关于步骤S550的两个缓存器之间的数据传送路径配置，输入参数410可包含校验类型，以及两个缓存器包含预取缓存器450a及校验缓存器450c。整个传送路径上包含多路信号复用器440a、校验编码器490a至490c及多路信号分离器440b。配置逻辑240可依据校验类型配置数据传送路径，藉由控制多路信号复用器450a以连接预取缓存器450a至校验编码器490a至490c中的一个，以及藉由控制多路信号分离器450b以连接上述选择的校验编码器至校验缓存器450c。校验编码器可使用不同算法依据预取缓存器450a中的原始数据产生校验值。
虽然图1、2及4中包含了以上描述的组件，但不排除在不违反发明的精神下，使用更多其他的附加组件，以达成更佳的技术效果。此外，虽然图5的方法流程图采用特定的顺序来执行，但是在不违反发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限制本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。

Claims (20)

1.一种加速压缩方法，由一压缩加速器的一配置逻辑执行，包括：
从一处理器核心取得一输入参数；
依据上述输入参数从一压缩参数表取得一配置设定；
依据上述输入参数配置一第一缓存器与一第二缓存器之间的一数据传送路径，其中，上述第一缓存器储存原始数据；以及
传送上述配置设定给上述数据传送路径上的装置，用以处理上述原始数据以产生压缩数据，并储存上述压缩数据至上述第二缓存器。
2.如权利要求1所述的加速压缩方法，其中，上述输入参数包括一算法类型，上述数据传送路径包括一哈希计算子路径及一编码子路径，以及依据上述输入参数配置一第一缓存器与一第二缓存器之间的一数据传送路径的步骤，还包括：
依据上述算法类型配置上述哈希计算子路径以连接上述第一缓存器至多个哈希计算器中的一个，以及连接上述选择的哈希计算器至一哈希比较器；以及
依据上述算法类型配置上述编码子路径以连接一最长字符串计算器至多个压缩编码器中的一个，以及连接上述选择的压缩编码器至上述第二缓存器。
3.如权利要求2所述的加速压缩方法，其中，上述哈希计算器使用不同的算法将上述第一缓存器中的上述原始数据映射成使用较少比特数的哈希值，以及上述哈希比较器使用从上述选择的哈希计算器取得的上述哈希值遍历并更新一哈希链表。
4.如权利要求2所述的加速压缩方法，其中，上述最长字符串计算器使用一匹配算法求得上述第一缓存器中的一滑动窗框与上述原始数据之间的字符串的最长匹配，以及上述选择的压缩编码器依据上述匹配算法输出的一原始字符串或者一匹配偏移量及一匹配长度，将上述第一缓存器中的上述原始数据编码成符合上述算法类型的上述压缩数据。
5.如权利要求1所述的加速压缩方法，其中，上述输入参数包括一校验类型，以及依据上述输入参数配置一第一缓存器与一第二缓存器之间的一数据传送路径的步骤，还包括：
依据上述校验类型配置上述数据传送路径以连接上述第一缓存器至多个校验编码器中的一个，以及连接上述选择的校验编码器至上述第二缓存器。
6.如权利要求5所述的加速压缩方法，其中，上述校验编码器使用不同算法依据上述第一缓存器中的上述原始数据产生校验值。
7.如权利要求1所述的加速压缩方法，其中还包括：
由上述处理器核心将上述输入参数添加至一压缩文件的一文件首。
8.一种加速压缩装置，包括：
一第一缓存器，储存原始数据；
一第二缓存器；以及
一配置逻辑，从一处理器核心取得一输入参数；依据上述输入参数从一压缩参数表取得一配置设定；依据上述输入参数配置上述第一缓存器与上述第二缓存器之间的一数据传送路径；以及传送上述配置设定给上述数据传送路径上的装置，用以处理上述原始数据以产生压缩数据，并储存上述压缩数据至上述第二缓存器。
9.如权利要求8所述的加速压缩装置，其中，上述输入参数包括一算法类型，上述数据传送路径包括：
一哈希计算子路径，包括多个哈希计算器，
其中，上述配置逻辑依据上述算法类型配置上述哈希计算子路径以连接上述第一缓存器至上述哈希计算器中的一个，以及连接上述选择的哈希计算器至一哈希比较器。
10.如权利要求9所述的加速压缩装置，其中，上述哈希计算子路径包括一多路信号复用器及一多路信号分离器，上述配置逻辑藉由控制上述哈希计算子路径中的上述多路信号复用器以连接上述第一缓存器至上述选择的哈希计算器，及藉由控制上述哈希计算子路径中的上述多路信号分离器以连接上述选择的哈希计算器至上述哈希比较器。
11.如权利要求9所述的加速压缩装置，其中，上述哈希计算器使用不同的算法将上述第一缓存器中的上述原始数据映射成使用较少比特数的哈希值，以及上述哈希比较器使用从上述选择的哈希计算器取得的上述哈希值遍历并更新一哈希链表。
12.如权利要求8所述的加速压缩装置，其中，上述输入参数包括一算法类型，上述数据传送路径包括：
一编码子路径，包括多个压缩编码器，
其中，上述配置逻辑依据上述算法类型配置上述编码子路径以连接一最长字符串计算器至上述压缩编码器中的一个，以及连接上述选择的压缩编码器至上述第二缓存器。
13.如权利要求12所述的加速压缩装置，其中，上述编码子路径包括一多路信号复用器及一多路信号分离器，上述配置逻辑藉由控制上述编码子路径中的上述多路信号复用器以连接上述最长字符串计算器至上述选择的压缩编码器，及藉由控制上述编码子路径中的上述多路信号分离器以连接上述选择的压缩编码器至上述第二缓存器。
14.如权利要求12所述的加速压缩装置，其中，上述最长字符串计算器使用一匹配算法求得上述第一缓存器中的一滑动窗框与上述原始数据之间的字符串的最长匹配，以及上述选择的压缩编码器依据上述匹配算法输出的一原始字符串或者一匹配偏移量及一匹配长度，将上述第一缓存器中的上述原始数据编码成符合上述算法类型的上述压缩数据。
15.权利要求8所述的加速压缩装置，其中，上述输入参数包括一校验类型，上述数据传送路径包括多个校验编码器，上述配置逻辑依据上述校验类型配置上述数据传送路径以连接上述第一缓存器至上述校验编码器中的一个，以及连接上述选择的校验编码器至上述第二缓存器。
16.如权利要求15所述的加速压缩装置，其中，上述数据传送路径还包括一多路信号复用器及一多路信号分离器，以及上述配置逻辑藉由控制上述多路信号复用器以连接上述第一缓存器至上述选择的校验编码器，及藉由控制上述多路信号分离器以连接上述选择的校验编码器至上述第二缓存器。
17.如权利要求15所述的加速压缩装置，其中，上述校验编码器使用不同算法依据上述第一缓存器中的上述原始数据产生校验值。
18.如权利要求8所述的加速压缩装置，其中，上述压缩参数表包括多笔纪录，以及每一上述纪录储存关联于算法类型的配置设定，或者关联于算法类型及压缩水平的配置设定。
19.如权利要求18所述的加速压缩装置，其中，上述输入参数包括一算法类型及一压缩水平，上述配置逻辑依据上述算法类型或上述算法类型及上述压缩水平计算一内存地址，从上述内存地址开始读取指定长度的数据，并且解析出上述数据中的上述配置设定。
20.如权利要求8所述的加速压缩装置，其中，上述第一缓存器、上述第二缓存器、上述数据传送路径及上述配置逻辑设置于一压缩加速器中，以及上述压缩加速器设置于上述处理器核心之外。
CN201710506637.1A 2017-06-28 2017-06-28 加速压缩方法以及加速压缩装置 Active CN107317584B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710506637.1A CN107317584B (zh) 2017-06-28 2017-06-28 加速压缩方法以及加速压缩装置
US15/797,423 US10891082B2 (en) 2017-06-28 2017-10-30 Methods for accelerating compression and apparatuses using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710506637.1A CN107317584B (zh) 2017-06-28 2017-06-28 加速压缩方法以及加速压缩装置

Publications (2)

Publication Number Publication Date
CN107317584A CN107317584A (zh) 2017-11-03
CN107317584B true CN107317584B (zh) 2020-11-06

Family

ID=60180793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710506637.1A Active CN107317584B (zh) 2017-06-28 2017-06-28 加速压缩方法以及加速压缩装置

Country Status (2)

Country Link
US (1) US10891082B2 (zh)
CN (1) CN107317584B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209663B (zh) * 2015-04-23 2020-03-10 华为技术有限公司 数据格式转换装置、缓冲芯片及方法
CN108304469B (zh) * 2017-12-27 2021-12-07 中国银联股份有限公司 用于字符串模糊匹配的方法和装置
US10901827B2 (en) 2018-05-14 2021-01-26 International Business Machines Corporation Failover of a hardware accelerator to software
US10725839B2 (en) * 2018-07-12 2020-07-28 International Business Machines Corporation Helping a hardware accelerator using software
US10924625B2 (en) * 2019-03-20 2021-02-16 Xerox Corporation Dynamic compression acceleration using real-time image data entropy analysis

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028673A1 (en) * 2001-08-01 2003-02-06 Intel Corporation System and method for compressing and decompressing browser cache in portable, handheld and wireless communication devices
WO2012109377A1 (en) * 2011-02-09 2012-08-16 Citrix Systems, Inc. Systems and methods for ntier cache redirection
CN103020205B (zh) * 2012-12-05 2018-07-31 中科天玑数据科技股份有限公司 一种分布式文件系统上基于硬件加速卡的压缩解压缩方法
US9171007B2 (en) * 2013-03-15 2015-10-27 International Business Machines Corporation Compression/decompression accelerator protocol for software/hardware integration
CN103326730B (zh) * 2013-06-06 2016-05-18 清华大学 数据并行压缩方法
US20150295729A1 (en) * 2014-04-09 2015-10-15 Lokesh Bevinamarad Hardware accelerator for tunnel processing
CN107180018B (zh) * 2017-05-17 2018-11-20 上海兆芯集成电路有限公司 基于散列的加速压缩方法以及使用此方法的装置

Also Published As

Publication number Publication date
US20190004738A1 (en) 2019-01-03
CN107317584A (zh) 2017-11-03
US10891082B2 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
CN107317584B (zh) 加速压缩方法以及加速压缩装置
US10554224B2 (en) Method and apparatus for processing data with polar encoding
US20180203797A1 (en) Compression and Decompression of Data at High Speed in Solid State Storage
US6624762B1 (en) Hardware-based, LZW data compression co-processor
US20070109153A1 (en) Method and apparatus for efficient hardware based deflate
EP3820048A1 (en) Data compression and decompression method and related apparatus, electronic device, and system
US20130249716A1 (en) System And Method Of Compression And Decompression
US8125364B2 (en) Data compression/decompression method
US8058898B1 (en) Compression and decompression of configuration data using repeated data frames
US20180069568A1 (en) Hybrid software-hardware implementation of lossless data compression and decompression
US11031951B2 (en) Verifying the correctness of a deflate compression accelerator
CN105052040A (zh) 多流压缩与解压的方法与系统
US20070022225A1 (en) Memory DMA interface with checksum
US10230392B2 (en) Techniques for parallel data decompression
US20080140869A1 (en) Circuits and Methods for Correcting Errors in Downloading Firmware
US8782328B2 (en) Method for transmitting program codes to a memory of a control device, particularly for motor vehicles
US11593286B2 (en) Memory system and information processing system
US7446679B1 (en) Compression and decompression of configuration data for programmable logic devices
JP2002163180A (ja) データ収集装置およびデータ転送方法
US10284226B1 (en) Performing parallel deflate compression
US7480489B2 (en) Wireless device having a distinct hardware accelerator to support data compression protocols dedicated to GSM (V.42)
CN103810054A (zh) 错误检查及校正方法以及相关错误检查及校正电路
US11108405B2 (en) Devices and methods for compression and decompression
US10432216B1 (en) Configurable compression circuit
JP5499700B2 (ja) 情報圧縮装置、情報復元装置、情報圧縮方法、情報復元方法、及びその処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 301, 2537 Jinke Road, Zhangjiang High Tech Park, Pudong New Area, Shanghai 201203

Patentee after: Shanghai Zhaoxin Semiconductor Co.,Ltd.

Address before: Room 301, 2537 Jinke Road, Zhangjiang hi tech park, Shanghai 201203

Patentee before: VIA ALLIANCE SEMICONDUCTOR Co.,Ltd.

CP03 Change of name, title or address