CN116578542A - 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 - Google Patents

基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 Download PDF

Info

Publication number
CN116578542A
CN116578542A CN202310855601.XA CN202310855601A CN116578542A CN 116578542 A CN116578542 A CN 116578542A CN 202310855601 A CN202310855601 A CN 202310855601A CN 116578542 A CN116578542 A CN 116578542A
Authority
CN
China
Prior art keywords
data
compressed
algorithm
module
configurable logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310855601.XA
Other languages
English (en)
Other versions
CN116578542B (zh
Inventor
王晓寄
杨凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pengti Storage Technology Nanjing Co ltd
Original Assignee
Pengti Storage Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pengti Storage Technology Nanjing Co ltd filed Critical Pengti Storage Technology Nanjing Co ltd
Priority to CN202310855601.XA priority Critical patent/CN116578542B/zh
Publication of CN116578542A publication Critical patent/CN116578542A/zh
Application granted granted Critical
Publication of CN116578542B publication Critical patent/CN116578542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了基于可配置逻辑的自适应压缩算法的硬件实现方法及系统，属于数据存储技术领域，该方法包括：高速接口接收来自主机的待压缩数据；将待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理；数据在经过预处理后进行数据分块及分析，统计字符或者字符串出现的频率，记入动态字典中；而后会根据数据类型并参考各个算法的特性，选择合适的算法；最后经过特定算法压缩后输出结果，写入到存储介质。本发明采用了片上可配置逻辑来实现算法策略选择、动态算法及字典，在流片后仍然可以更新算法添加新的算法，在已经实现的算法中也可以增加字典大小，在流片后仍然可以修改算法选择策略。

Description

基于可配置逻辑的自适应压缩算法的硬件实现方法及系统
技术领域
本发明涉及数据存储技术领域，具体涉及基于可配置逻辑的自适应压缩算法的硬件实现方法及系统。
背景技术
在数据存储方面，很多时候系统希望数据被压缩以后再被存储，因而很多存储设备的主控芯片需要支持解压缩功能。存储设备需要支持的压缩算法都属于无损压缩算法，目前在存储设备上实现的压缩算法有很多种，比如：哈夫曼编码、LZW算法、LZ77算法等。
存储设备需要压缩的数据有很多种类型，包含图像、音频、视频、数据库、文本等，上面提及的很多算法都只对特定类型有很好的压缩率，但是对其他类型效果较差，针对这种情况业界提出自适应压缩算法。自适应压缩算法会将数据分成多段，不同段可以采用不同的压缩算法，从而实现比单一算法更好的压缩率。
现有的支持自适应压缩算法的存储设备都是预先设定好几种算法，提供有限的参数设定，但是无法支持新的算法。随着技术的发展，新的压缩算法被人们发现和提出，而已经定制实现的芯片无法再加入新的算法功能，如果要支持就需要重新设计芯片；且因为定制实现的原因，已经实现的算法可以配置或者修改的参数是有限的，比如基于统计建模的压缩算法（LZ77、LZW等）字典的大小，硬件里面字典存储已经固化，最大支持的字典尺寸不可变更。
自适应压缩算法针对不同数据段需要选择最终实现的压缩算法，这类决策算法要么是固定规则，要么只能有限范围的调整。鉴于此，亟需一种新的硬件实现方法，在芯片内包含可配置逻辑，从而可以更新算法、参数及决策方法。
发明内容
针对现有自适应压缩算法中决策算法是固定规则或者只能有限范围调整的问题，提出了基于可配置逻辑的自适应压缩算法的硬件实现方法及系统，可以应用于提供数据压缩功能的各类存储设备，针对不同的数据类型提高压缩率，并在硬件实现后针对新的数据类型更新硬件逻辑，加入新的压缩算法。
为了实现上述目的，本发明通过如下的技术方案来实现：
基于可配置逻辑的自适应压缩算法的硬件实现方法，所述方法包括：
高速接口接收来自主机的待压缩数据；
将所述待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理；
由可配置逻辑实现以下步骤：
将数据预处理后的待压缩数据分割成若干个待压缩数据块；
对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；
将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到接口控制模块；
接口控制模块将压缩后的数据写入到存储介质。
作为本发明的一种优选方案，所述高速接口包括PCI express，SATA，Ethernet，USB；所述输入缓存为片内SRAM。
作为本发明的一种优选方案，所述数据预处理具体包括：去除冗余信息，并获取数据类型。
作为本发明的一种优选方案，所述统计信息包括统计每个待压缩数据块中数据的字符或字符序列出现的频率。
作为本发明的一种优选方案，所述固化压缩算法包括LZ77算法和静态哈夫曼算法，所述动态压缩算法包括动态哈夫曼算法。
作为本发明的一种优选方案，所述可配置逻辑包括两种类型逻辑，一种为FPGA的LUT查找表，综合verilog或systemverilog撰写动态哈夫曼算法及算法决策逻辑，另一种为FPGA的块存储，用于保存所述固化字典和动态字典；通过所述可配置逻辑实现算法更新、字典更新以及算法决策更新。
基于可配置逻辑的自适应压缩算法的硬件实现系统，所述系统包括：数据接收模块、输入缓存模块、数据预处理模块，以及可配置逻辑模块，所述可配置逻辑模块包括数据分割模块、字典创建模块、数据压缩模块、输出缓存模块，以及接口控制模块；
所述数据接收模块用于接收来自主机的待压缩数据，并将所述待压缩数据发送至输入缓存模块；
所述输入缓存模块用于缓存待压缩数据，每集齐设定长度的待压缩数据则发送至数据预处理模块；
所述数据预处理模块用于对所述待压缩数据进行数据预处理，去除所述待压缩数据的冗余信息，并获取数据类型，将数据预处理后的待压缩数据发送至数据分割模块；
所述数据分割模块用于将数据预处理后的待压缩数据分割成若干个待压缩数据块；
所述字典创建模块用于对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
所述数据压缩模块用于在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据发送至输出缓存模块；
所述输出缓存模块用于存放压缩后的数据，每集齐存储介质的物理页大小后发送至接口控制模块；
所述接口控制模块用于将压缩后的数据写入到存储介质。
一种设备，所述设备包括：一个或多个处理器，以及存储器；所述存储器用于存储一个或多个程序，当一个或多个所述程序被一个或多个所述处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
与现有技术相比，本发明的有益效果是：采用了片上可配置逻辑来实现算法策略选择、动态算法及字典，可以实现以往方法无法实现的功能，如：在流片后仍然可以更新算法添加新的算法，在已经实现的算法中也可以增加字典大小，在流片后仍然可以修改算法选择策略。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本发明的方法流程图；
图2为本发明的数据压缩流程图；
图3为本发明实施例中的总体结构图；
图4为本发明实施例中的数据处理流程图；
图5为本发明的系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1、2所示，为本发明的一个实施例，该实施例提供了基于可配置逻辑的自适应压缩算法的硬件实现方法，所述方法包括如下步骤：
S1：高速接口接收来自主机的待压缩数据；高速接口通常是PCI express，SATA，Ethernet，USB等；
S2：将待压缩数据写入输入缓存，输入缓存通常是片内SRAM；输入缓存每集齐设定长度的待压缩数据则进行数据预处理；
数据预处理具体可以包括：去除冗余信息，并获取数据类型等。
主机来源的数据有一些冗余或者校验类的并不需要保存的内容，需要提前处理掉；另外也有一些关于数据类型的信息需要获取，为后面的压缩算法提供信息。
本发明实现的硬件包含片内可配置逻辑，用于支持新的压缩算法、更新参数和决策方法。
以下步骤可通过可配置逻辑实现：
S3：将数据预处理后的待压缩数据分割成若干个待压缩数据块；
S4：对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，统计信息指的是统计每个待压缩数据块中数据的字符或字符序列出现的频率等，创建动态字典；
字典包含固化的字典和动态生成的字典，在扫描分析的过程中，对待压缩数据块通过字典同时进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
固化压缩算法指后续不需要修正的压缩算法，可以包括LZ77算法、静态哈夫曼算法等，动态压缩算法指后续需要修正或者新添加的压缩算法，包括动态哈夫曼算法等。
S5：根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；
S6：将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到接口控制模块；
S7：接口控制模块将压缩后的数据写入到存储介质，存储介质指最终数据存放的介质，比如磁盘、NAND、NOR等。
可配置逻辑可以包括两种类型逻辑，一种为类似于FPGA的LUT查找表，综合verilog或systemverilog撰写动态哈夫曼算法及算法决策逻辑，另一种为类似于FPGA的块存储，用于保存固化字典和动态字典；通过可配置逻辑可以实现算法更新、字典更新以及算法决策更新等。
待压缩数据在经过预处理后进行数据分块及分析，会统计字符或者字符串出现的频率，记入动态字典中；而后会根据数据类型并参考各个算法的特性，选择合适的算法；最后经过特定算法后输出结果。
如图3、4所示，为本发明的一个具体实施例，该实施例SSD硬盘采用PCIE Gen4作为高速数据传输接口，TLC NAND闪存作为存储空间介质。在本实施例中除数据输入部分外，其他都由可配置逻辑实现，另外字典、算法选择、动态哈夫曼算法也由可配置逻辑实现。
通过PCIE Gen4高速接口接收来自主机的待压缩数据；将待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理，提取去除冗余信息，并得到数据类型，将待压缩数据分块；对数据内容进行扫描，提取需要的统计信息，统计信息指的是统计每个待压缩数据块中数据的字符或字符序列出现的频率等，创建动态字典；在扫描分析的过程中，对待压缩数据块同时进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
固化压缩算法指后续不需要修正的压缩算法，可以包括LZ77算法、静态哈夫曼算法等，动态压缩算法指后续需要修正或者新添加的压缩算法，包括动态哈夫曼算法等。
根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到NAND接口控制模块；NAND接口控制模块将压缩后的数据写入到NAND。
如图5所示，为本发明的另一实施例，该实施例提供了基于可配置逻辑的自适应压缩算法的硬件实现系统，该系统包括：可配置逻辑模块，可配置逻辑模块包括数据分割模块、字典创建模块、数据压缩模块、输出缓存模块，以及接口控制模块；
数据接收模块，用于接收来自主机的待压缩数据，并将待压缩数据发送至输入缓存模块；
输入缓存模块，用于缓存待压缩数据，每集齐设定长度的待压缩数据则发送至数据预处理模块；
数据预处理模块，用于对待压缩数据进行数据预处理，去除待压缩数据的冗余信息，并获取数据类型，将数据预处理后的待压缩数据发送至数据分割模块；
数据分割模块用于将数据预处理后的待压缩数据分割成若干个待压缩数据块；
字典创建模块用于对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
数据压缩模块用于在扫描分析的过程中，对待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据发送至输出缓存模块；
输出缓存模块，用于存放压缩后的数据，每集齐存储介质的物理页大小后发送至接口控制模块；
接口控制模块，用于将压缩后的数据写入到存储介质。
在一个实施例中，本发明还提供一种设备，包括：一个或多个处理器，以及存储器；所述存储器用于存储一个或多个程序，当一个或多个所述程序被一个或多个所述处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
在一个实施例中，本发明还提供一种存储介质，其上存储有计算机程序，程序被处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
综上所述，本发明采用了片上可配置逻辑来实现算法策略选择、动态算法及字典，可以实现以往方法无法实现的功能，如：在流片后仍然可以更新算法添加新的算法，在已经实现的算法中也可以增加字典大小，在流片后仍然可以修改算法选择策略。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述方法包括：
高速接口接收来自主机的待压缩数据；
将所述待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理；
由可配置逻辑实现以下步骤：
将数据预处理后的待压缩数据分割成若干个待压缩数据块；
对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；
将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到接口控制模块；
接口控制模块将压缩后的数据写入到存储介质。
2. 根据权利要求1所述的基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述高速接口包括PCI express，SATA，Ethernet，USB；所述输入缓存为片内SRAM。
3.根据权利要求1所述的基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述数据预处理具体包括：去除冗余信息，并获取数据类型。
4.根据权利要求1所述的基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述统计信息包括统计每个待压缩数据块中数据的字符或字符序列出现的频率。
5.根据权利要求1所述的基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述固化压缩算法包括LZ77算法和静态哈夫曼算法，所述动态压缩算法包括动态哈夫曼算法。
6.根据权利要求1所述的基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述可配置逻辑包括两种类型逻辑，一种为FPGA的LUT查找表，综合verilog或systemverilog撰写动态哈夫曼算法及算法决策逻辑，另一种为FPGA的块存储，用于保存所述固化字典和动态字典；通过所述可配置逻辑实现算法更新、字典更新以及算法决策更新。
7.根据权利要求1-6任一项所述的基于可配置逻辑的自适应压缩算法的硬件实现方法的系统，其特征在于，所述系统包括：数据接收模块、输入缓存模块、数据预处理模块，以及可配置逻辑模块，所述可配置逻辑模块包括数据分割模块、字典创建模块、数据压缩模块、输出缓存模块，以及接口控制模块；
所述数据接收模块用于接收来自主机的待压缩数据，并将所述待压缩数据发送至输入缓存模块；
所述输入缓存模块用于缓存待压缩数据，每集齐设定长度的待压缩数据则发送至数据预处理模块；
所述数据预处理模块用于对所述待压缩数据进行数据预处理，去除所述待压缩数据的冗余信息，并获取数据类型，将数据预处理后的待压缩数据发送至数据分割模块；
所述数据分割模块用于将数据预处理后的待压缩数据分割成若干个待压缩数据块；
所述字典创建模块用于对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
所述数据压缩模块用于在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据发送至输出缓存模块；
所述输出缓存模块用于存放压缩后的数据，每集齐存储介质的物理页大小后发送至接口控制模块；
所述接口控制模块用于将压缩后的数据写入到存储介质。
8.一种设备，其特征在于，所述设备包括：一个或多个处理器，以及存储器；所述存储器用于存储一个或多个程序，当一个或多个所述程序被一个或多个所述处理器执行时实现如权利要求1-6中任一所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
CN202310855601.XA 2023-07-13 2023-07-13 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 Active CN116578542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310855601.XA CN116578542B (zh) 2023-07-13 2023-07-13 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310855601.XA CN116578542B (zh) 2023-07-13 2023-07-13 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统

Publications (2)

Publication Number Publication Date
CN116578542A true CN116578542A (zh) 2023-08-11
CN116578542B CN116578542B (zh) 2023-09-29

Family

ID=87536351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310855601.XA Active CN116578542B (zh) 2023-07-13 2023-07-13 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统

Country Status (1)

Country Link
CN (1) CN116578542B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117472910A (zh) * 2023-11-23 2024-01-30 中国人民大学 一种同态压缩数据处理方法和系统
CN117614900A (zh) * 2023-11-22 2024-02-27 江苏城乡建设职业学院 一种用于智能安防系统中的数据传输方法及传输系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248369A (zh) * 2013-05-21 2013-08-14 南京畅洋科技有限公司 基于fpga的压缩系统及其方法
CN105183557A (zh) * 2015-08-26 2015-12-23 东南大学 一种基于硬件的可配置的数据压缩系统
CN115065725A (zh) * 2022-05-12 2022-09-16 北京奇艺世纪科技有限公司 数据处理方法、装置、电子设备及存储介质
CN115483935A (zh) * 2021-05-31 2022-12-16 华为技术有限公司 一种数据处理方法及装置
CN115756964A (zh) * 2022-11-22 2023-03-07 中国人民解放军战略支援部队信息工程大学 一种协处理器固件解析方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248369A (zh) * 2013-05-21 2013-08-14 南京畅洋科技有限公司 基于fpga的压缩系统及其方法
CN105183557A (zh) * 2015-08-26 2015-12-23 东南大学 一种基于硬件的可配置的数据压缩系统
CN115483935A (zh) * 2021-05-31 2022-12-16 华为技术有限公司 一种数据处理方法及装置
CN115065725A (zh) * 2022-05-12 2022-09-16 北京奇艺世纪科技有限公司 数据处理方法、装置、电子设备及存储介质
CN115756964A (zh) * 2022-11-22 2023-03-07 中国人民解放军战略支援部队信息工程大学 一种协处理器固件解析方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117614900A (zh) * 2023-11-22 2024-02-27 江苏城乡建设职业学院 一种用于智能安防系统中的数据传输方法及传输系统
CN117472910A (zh) * 2023-11-23 2024-01-30 中国人民大学 一种同态压缩数据处理方法和系统

Also Published As

Publication number Publication date
CN116578542B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US11334255B2 (en) Method and device for data replication
CN107506153B (zh) 一种数据压缩方法、数据解压方法及相关系统
US20170017407A1 (en) Data object processing method and apparatus
CN107682016B (zh) 一种数据压缩方法、数据解压方法及相关系统
KR20200105432A (ko) 데이터를 압축하기 위한 방법들 및 장치들
US10044370B1 (en) Lossless binary compression in a memory constrained environment
CN109151482B (zh) 星载光谱图像谱段无损有损混合压缩方法
CN102143039B (zh) 数据压缩中数据分段方法及设备
CN101977061B (zh) 一种通用信息的无损压缩与解压缩方法
CN111125033A (zh) 一种基于全闪存阵列的空间回收方法及系统
US10581456B2 (en) Data compression device and data decompression device
WO2015176638A1 (en) Count table maintenance apparatus for maintaining count table during processing of frame and related count table maintenance method
CN111124940B (zh) 一种基于全闪存阵列的空间回收方法及系统
CN116578542B (zh) 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统
Fan et al. Adaptive-length coding of image data for low-cost approximate storage
US10103747B1 (en) Lossless binary compression in a memory constrained environment
KR102434990B1 (ko) 이미지 압축 및 압축 해제 방법 및 시스템
US20230086264A1 (en) Decoding method, encoding method, decoder, and encoder based on point cloud attribute prediction
CN113377391B (zh) 镜像文件的制作和烧录的方法、装置、设备和介质
WO2024021491A1 (zh) 一种数据切片方法、装置和系统
US10841405B1 (en) Data compression of table rows
US9496895B2 (en) Compression method and decompression method
CN112800183B (zh) 内容名称数据处理方法及终端设备
CN107341113B (zh) Cache的压缩方法和装置
Joseph et al. A Novel Approach of Modified Run Length Encoding Scheme for High Speed Data Communication Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230811

Assignee: Suzhou Heyu Finance Leasing Co.,Ltd.

Assignor: Pengti storage technology (Nanjing) Co.,Ltd.

Contract record no.: X2023980046093

Denomination of invention: Hardware Implementation Method and System of Adaptive Compression Algorithm Based on Configurable Logic

Granted publication date: 20230929

License type: Exclusive License

Record date: 20231110

EE01 Entry into force of recordation of patent licensing contract
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Hardware implementation method and system of adaptive compression algorithm based on configurable logic

Effective date of registration: 20231116

Granted publication date: 20230929

Pledgee: Suzhou Heyu Finance Leasing Co.,Ltd.

Pledgor: Pengti storage technology (Nanjing) Co.,Ltd.

Registration number: Y2023980065408

PE01 Entry into force of the registration of the contract for pledge of patent right