CN116578542B - 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 - Google Patents
基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 Download PDFInfo
- Publication number
- CN116578542B CN116578542B CN202310855601.XA CN202310855601A CN116578542B CN 116578542 B CN116578542 B CN 116578542B CN 202310855601 A CN202310855601 A CN 202310855601A CN 116578542 B CN116578542 B CN 116578542B
- Authority
- CN
- China
- Prior art keywords
- data
- compressed
- algorithm
- module
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 78
- 230000006835 compression Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 238000007711 solidification Methods 0.000 claims description 15
- 230000008023 solidification Effects 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013144 data compression Methods 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 3
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了基于可配置逻辑的自适应压缩算法的硬件实现方法及系统，属于数据存储技术领域，该方法包括：高速接口接收来自主机的待压缩数据；将待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理；数据在经过预处理后进行数据分块及分析，统计字符或者字符串出现的频率，记入动态字典中；而后会根据数据类型并参考各个算法的特性，选择合适的算法；最后经过特定算法压缩后输出结果，写入到存储介质。本发明采用了片上可配置逻辑来实现算法策略选择、动态算法及字典，在流片后仍然可以更新算法添加新的算法，在已经实现的算法中也可以增加字典大小，在流片后仍然可以修改算法选择策略。
Description
技术领域
本发明涉及数据存储技术领域，具体涉及基于可配置逻辑的自适应压缩算法的硬件实现方法及系统。
背景技术
在数据存储方面，很多时候系统希望数据被压缩以后再被存储，因而很多存储设备的主控芯片需要支持解压缩功能。存储设备需要支持的压缩算法都属于无损压缩算法，目前在存储设备上实现的压缩算法有很多种，比如：哈夫曼编码、LZW算法、LZ77算法等。
存储设备需要压缩的数据有很多种类型，包含图像、音频、视频、数据库、文本等，上面提及的很多算法都只对特定类型有很好的压缩率，但是对其他类型效果较差，针对这种情况业界提出自适应压缩算法。自适应压缩算法会将数据分成多段，不同段可以采用不同的压缩算法，从而实现比单一算法更好的压缩率。
现有的支持自适应压缩算法的存储设备都是预先设定好几种算法，提供有限的参数设定，但是无法支持新的算法。随着技术的发展，新的压缩算法被人们发现和提出，而已经定制实现的芯片无法再加入新的算法功能，如果要支持就需要重新设计芯片；且因为定制实现的原因，已经实现的算法可以配置或者修改的参数是有限的，比如基于统计建模的压缩算法（LZ77、LZW等）字典的大小，硬件里面字典存储已经固化，最大支持的字典尺寸不可变更。
自适应压缩算法针对不同数据段需要选择最终实现的压缩算法，这类决策算法要么是固定规则，要么只能有限范围的调整。鉴于此，亟需一种新的硬件实现方法，在芯片内包含可配置逻辑，从而可以更新算法、参数及决策方法。
发明内容
针对现有自适应压缩算法中决策算法是固定规则或者只能有限范围调整的问题，提出了基于可配置逻辑的自适应压缩算法的硬件实现方法及系统，可以应用于提供数据压缩功能的各类存储设备，针对不同的数据类型提高压缩率，并在硬件实现后针对新的数据类型更新硬件逻辑，加入新的压缩算法。
为了实现上述目的，本发明通过如下的技术方案来实现：
基于可配置逻辑的自适应压缩算法的硬件实现方法，所述方法包括：
高速接口接收来自主机的待压缩数据；
将所述待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理；
由可配置逻辑实现以下步骤：
将数据预处理后的待压缩数据分割成若干个待压缩数据块；
对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；
将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到接口控制模块；
接口控制模块将压缩后的数据写入到存储介质。
作为本发明的一种优选方案，所述高速接口包括PCI express，SATA，Ethernet，USB；所述输入缓存为片内SRAM。
作为本发明的一种优选方案，所述数据预处理具体包括：去除冗余信息，并获取数据类型。
作为本发明的一种优选方案，所述统计信息包括统计每个待压缩数据块中数据的字符或字符序列出现的频率。
作为本发明的一种优选方案，所述固化压缩算法包括LZ77算法和静态哈夫曼算法，所述动态压缩算法包括动态哈夫曼算法。
作为本发明的一种优选方案，所述可配置逻辑包括两种类型逻辑，一种为FPGA的LUT查找表，综合verilog或systemverilog撰写动态哈夫曼算法及算法决策逻辑，另一种为FPGA的块存储，用于保存所述固化字典和动态字典；通过所述可配置逻辑实现算法更新、字典更新以及算法决策更新。
基于可配置逻辑的自适应压缩算法的硬件实现系统，所述系统包括：数据接收模块、输入缓存模块、数据预处理模块，以及可配置逻辑模块，所述可配置逻辑模块包括数据分割模块、字典创建模块、数据压缩模块、输出缓存模块，以及接口控制模块；
所述数据接收模块用于接收来自主机的待压缩数据，并将所述待压缩数据发送至输入缓存模块；
所述输入缓存模块用于缓存待压缩数据，每集齐设定长度的待压缩数据则发送至数据预处理模块；
所述数据预处理模块用于对所述待压缩数据进行数据预处理，去除所述待压缩数据的冗余信息，并获取数据类型，将数据预处理后的待压缩数据发送至数据分割模块；
所述数据分割模块用于将数据预处理后的待压缩数据分割成若干个待压缩数据块；
所述字典创建模块用于对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
所述数据压缩模块用于在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据发送至输出缓存模块；
所述输出缓存模块用于存放压缩后的数据，每集齐存储介质的物理页大小后发送至接口控制模块；
所述接口控制模块用于将压缩后的数据写入到存储介质。
一种设备，所述设备包括：一个或多个处理器，以及存储器；所述存储器用于存储一个或多个程序，当一个或多个所述程序被一个或多个所述处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
与现有技术相比，本发明的有益效果是：采用了片上可配置逻辑来实现算法策略选择、动态算法及字典，可以实现以往方法无法实现的功能，如：在流片后仍然可以更新算法添加新的算法，在已经实现的算法中也可以增加字典大小，在流片后仍然可以修改算法选择策略。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本发明的方法流程图；
图2为本发明的数据压缩流程图；
图3为本发明实施例中的总体结构图；
图4为本发明实施例中的数据处理流程图；
图5为本发明的系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1、2所示，为本发明的一个实施例，该实施例提供了基于可配置逻辑的自适应压缩算法的硬件实现方法，所述方法包括如下步骤：
S1：高速接口接收来自主机的待压缩数据；高速接口通常是PCI express，SATA，Ethernet，USB等；
S2：将待压缩数据写入输入缓存，输入缓存通常是片内SRAM；输入缓存每集齐设定长度的待压缩数据则进行数据预处理；
数据预处理具体可以包括：去除冗余信息，并获取数据类型等。
主机来源的数据有一些冗余或者校验类的并不需要保存的内容，需要提前处理掉；另外也有一些关于数据类型的信息需要获取，为后面的压缩算法提供信息。
本发明实现的硬件包含片内可配置逻辑，用于支持新的压缩算法、更新参数和决策方法。
以下步骤可通过可配置逻辑实现：
S3：将数据预处理后的待压缩数据分割成若干个待压缩数据块；
S4：对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，统计信息指的是统计每个待压缩数据块中数据的字符或字符序列出现的频率等，创建动态字典；
字典包含固化的字典和动态生成的字典，在扫描分析的过程中，对待压缩数据块通过字典同时进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
固化压缩算法指后续不需要修正的压缩算法，可以包括LZ77算法、静态哈夫曼算法等，动态压缩算法指后续需要修正或者新添加的压缩算法，包括动态哈夫曼算法等。
S5：根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；
S6：将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到接口控制模块；
S7：接口控制模块将压缩后的数据写入到存储介质，存储介质指最终数据存放的介质，比如磁盘、NAND、NOR等。
可配置逻辑可以包括两种类型逻辑，一种为类似于FPGA的LUT查找表，综合verilog或systemverilog撰写动态哈夫曼算法及算法决策逻辑，另一种为类似于FPGA的块存储，用于保存固化字典和动态字典；通过可配置逻辑可以实现算法更新、字典更新以及算法决策更新等。
待压缩数据在经过预处理后进行数据分块及分析，会统计字符或者字符串出现的频率，记入动态字典中；而后会根据数据类型并参考各个算法的特性，选择合适的算法；最后经过特定算法后输出结果。
如图3、4所示，为本发明的一个具体实施例，该实施例SSD硬盘采用PCIE Gen4作为高速数据传输接口，TLC NAND闪存作为存储空间介质。在本实施例中除数据输入部分外，其他都由可配置逻辑实现，另外字典、算法选择、动态哈夫曼算法也由可配置逻辑实现。
通过PCIE Gen4高速接口接收来自主机的待压缩数据；将待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理，提取去除冗余信息，并得到数据类型，将待压缩数据分块；对数据内容进行扫描，提取需要的统计信息，统计信息指的是统计每个待压缩数据块中数据的字符或字符序列出现的频率等，创建动态字典；在扫描分析的过程中，对待压缩数据块同时进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
固化压缩算法指后续不需要修正的压缩算法，可以包括LZ77算法、静态哈夫曼算法等，动态压缩算法指后续需要修正或者新添加的压缩算法，包括动态哈夫曼算法等。
根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到NAND接口控制模块；NAND接口控制模块将压缩后的数据写入到NAND。
如图5所示，为本发明的另一实施例，该实施例提供了基于可配置逻辑的自适应压缩算法的硬件实现系统，该系统包括：可配置逻辑模块，可配置逻辑模块包括数据分割模块、字典创建模块、数据压缩模块、输出缓存模块，以及接口控制模块；
数据接收模块，用于接收来自主机的待压缩数据，并将待压缩数据发送至输入缓存模块；
输入缓存模块，用于缓存待压缩数据，每集齐设定长度的待压缩数据则发送至数据预处理模块；
数据预处理模块，用于对待压缩数据进行数据预处理，去除待压缩数据的冗余信息，并获取数据类型，将数据预处理后的待压缩数据发送至数据分割模块；
数据分割模块用于将数据预处理后的待压缩数据分割成若干个待压缩数据块；
字典创建模块用于对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
数据压缩模块用于在扫描分析的过程中，对待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据发送至输出缓存模块；
输出缓存模块，用于存放压缩后的数据，每集齐存储介质的物理页大小后发送至接口控制模块；
接口控制模块，用于将压缩后的数据写入到存储介质。
在一个实施例中，本发明还提供一种设备，包括：一个或多个处理器，以及存储器；所述存储器用于存储一个或多个程序，当一个或多个所述程序被一个或多个所述处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
在一个实施例中，本发明还提供一种存储介质，其上存储有计算机程序，程序被处理器执行时实现如上所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
综上所述，本发明采用了片上可配置逻辑来实现算法策略选择、动态算法及字典，可以实现以往方法无法实现的功能，如：在流片后仍然可以更新算法添加新的算法，在已经实现的算法中也可以增加字典大小，在流片后仍然可以修改算法选择策略。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (6)
1.基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述方法包括：
高速接口接收来自主机的待压缩数据；
将所述待压缩数据写入输入缓存，输入缓存每集齐设定长度的待压缩数据则进行数据预处理；
所述高速接口包括PCI express，SATA，Ethernet，USB；所述输入缓存为片内SRAM；
由可配置逻辑实现以下步骤：
将数据预处理后的待压缩数据分割成若干个待压缩数据块；
对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；所述统计信息包括统计每个待压缩数据块中数据的字符或字符序列出现的频率；
在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；
根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；
将压缩后的数据存放到输出缓存，每集齐存储介质的物理页大小后送出到接口控制模块；
接口控制模块将压缩后的数据写入到存储介质；
所述可配置逻辑包括两种类型逻辑，一种为FPGA的LUT查找表，综合verilog或systemverilog撰写动态哈夫曼算法及算法决策逻辑，另一种为FPGA的块存储，用于保存所述固化字典和动态字典；通过所述可配置逻辑实现算法更新、字典更新以及算法决策更新。
2.根据权利要求1所述的基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述数据预处理具体包括：去除冗余信息，并获取数据类型。
3.根据权利要求1所述的基于可配置逻辑的自适应压缩算法的硬件实现方法，其特征在于，所述固化压缩包括LZ77算法和静态哈夫曼算法，所述动态压缩包括动态哈夫曼算法。
4.根据权利要求1-3任一项所述的基于可配置逻辑的自适应压缩算法的硬件实现方法的系统，其特征在于，所述系统包括：数据接收模块、输入缓存模块、数据预处理模块，以及可配置逻辑模块，所述可配置逻辑模块包括数据分割模块、字典创建模块、数据压缩模块、输出缓存模块，以及接口控制模块；
所述数据接收模块用于接收来自主机的待压缩数据，并将所述待压缩数据发送至输入缓存模块；
所述输入缓存模块用于缓存待压缩数据，每集齐设定长度的待压缩数据则发送至数据预处理模块；
所述数据预处理模块用于对所述待压缩数据进行数据预处理，去除所述待压缩数据的冗余信息，并获取数据类型，将数据预处理后的待压缩数据发送至数据分割模块；
所述数据分割模块用于将数据预处理后的待压缩数据分割成若干个待压缩数据块；
所述字典创建模块用于对待压缩数据块中的数据内容进行扫描分析，提取需要的统计信息，创建动态字典；
所述数据压缩模块用于在扫描分析的过程中，对所述待压缩数据块同时使用固化字典和动态字典进行固化压缩和动态压缩，并统计两种算法压缩后的数据长度；根据数据类型和统计的数据长度进行算法决策，为每个待压缩数据块选择最优的压缩算法进行压缩；将压缩后的数据发送至输出缓存模块；
所述输出缓存模块用于存放压缩后的数据，每集齐存储介质的物理页大小后发送至接口控制模块；
所述接口控制模块用于将压缩后的数据写入到存储介质。
5.一种基于可配置逻辑的自适应压缩算法的硬件实现设备，其特征在于，所述设备包括：一个或多个处理器，以及存储器；所述存储器用于存储一个或多个程序，当一个或多个所述程序被一个或多个所述处理器执行时实现如权利要求1-3中任一所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
6.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3中任一所述的基于可配置逻辑的自适应压缩算法的硬件实现方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310855601.XA CN116578542B (zh) | 2023-07-13 | 2023-07-13 | 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310855601.XA CN116578542B (zh) | 2023-07-13 | 2023-07-13 | 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116578542A CN116578542A (zh) | 2023-08-11 |
| CN116578542B true CN116578542B (zh) | 2023-09-29 |
Family
ID=87536351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310855601.XA Active CN116578542B (zh) | 2023-07-13 | 2023-07-13 | 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578542B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117614900B (zh) * | 2023-11-22 | 2024-06-21 | 江苏城乡建设职业学院 | 一种用于智能安防系统中的数据传输方法及传输系统 |
| CN117472910B (zh) * | 2023-11-23 | 2024-06-25 | 中国人民大学 | 一种同态压缩数据处理方法和系统 |
| CN118363924B (zh) * | 2024-06-19 | 2024-09-24 | 鹏钛存储技术(南京)有限公司 | 基于可配置逻辑的数据传输性能优化硬件实现及优化流程 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248369A (zh) * | 2013-05-21 | 2013-08-14 | 南京畅洋科技有限公司 | 基于fpga的压缩系统及其方法 |
| CN105183557A (zh) * | 2015-08-26 | 2015-12-23 | 东南大学 | 一种基于硬件的可配置的数据压缩系统 |
| CN115065725A (zh) * | 2022-05-12 | 2022-09-16 | 北京奇艺世纪科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115483935A (zh) * | 2021-05-31 | 2022-12-16 | 华为技术有限公司 | 一种数据处理方法及装置 |
| CN115756964A (zh) * | 2022-11-22 | 2023-03-07 | 中国人民解放军战略支援部队信息工程大学 | 一种协处理器固件解析方法及装置 |
-
2023
- 2023-07-13 CN CN202310855601.XA patent/CN116578542B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103248369A (zh) * | 2013-05-21 | 2013-08-14 | 南京畅洋科技有限公司 | 基于fpga的压缩系统及其方法 |
| CN105183557A (zh) * | 2015-08-26 | 2015-12-23 | 东南大学 | 一种基于硬件的可配置的数据压缩系统 |
| CN115483935A (zh) * | 2021-05-31 | 2022-12-16 | 华为技术有限公司 | 一种数据处理方法及装置 |
| CN115065725A (zh) * | 2022-05-12 | 2022-09-16 | 北京奇艺世纪科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115756964A (zh) * | 2022-11-22 | 2023-03-07 | 中国人民解放军战略支援部队信息工程大学 | 一种协处理器固件解析方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116578542A (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116578542B (zh) | 基于可配置逻辑的自适应压缩算法的硬件实现方法及系统 | |
| US11044495B1 (en) | Systems and methods for variable length codeword based data encoding and decoding using dynamic memory allocation | |
| JP7548706B2 (ja) | データを圧縮する方法および装置 | |
| US11334255B2 (en) | Method and device for data replication | |
| CN107506153B (zh) | 一种数据压缩方法、数据解压方法及相关系统 | |
| CN107682016B (zh) | 一种数据压缩方法、数据解压方法及相关系统 | |
| US20170017407A1 (en) | Data object processing method and apparatus | |
| CN109151482B (zh) | 星载光谱图像谱段无损有损混合压缩方法 | |
| CN113853613B (zh) | 神经网络解码方法、装置和介质 | |
| US10044370B1 (en) | Lossless binary compression in a memory constrained environment | |
| CN102143039B (zh) | 数据压缩中数据分段方法及设备 | |
| KR20100059901A (ko) | 두 번의 패스를 통한 텍스트 스트링의 해시 추출 | |
| CN111125033B (zh) | 一种基于全闪存阵列的空间回收方法及系统 | |
| CN101977061A (zh) | 一种通用信息的无损压缩与解压缩方法 | |
| US20170373702A1 (en) | Data compression device and data decompression device | |
| WO2015176638A1 (en) | Count table maintenance apparatus for maintaining count table during processing of frame and related count table maintenance method | |
| Fan et al. | Adaptive-length coding of image data for low-cost approximate storage | |
| CN111124940A (zh) | 一种基于全闪存阵列的空间回收方法及系统 | |
| US8984024B2 (en) | Manipulating the actual or effective window size in a data-dependant variable-length sub-block parser | |
| KR102434990B1 (ko) | 이미지 압축 및 압축 해제 방법 및 시스템 | |
| CN113377391B (zh) | 镜像文件的制作和烧录的方法、装置、设备和介质 | |
| US20170060934A1 (en) | Modifying a compressed block of data | |
| WO2024021491A1 (zh) | 一种数据切片方法、装置和系统 | |
| Joseph et al. | A Novel Approach of Modified Run Length Encoding Scheme for High Speed Data Communication Application | |
| US10841405B1 (en) | Data compression of table rows |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230811 Assignee: Suzhou Heyu Finance Leasing Co.,Ltd. Assignor: Pengti storage technology (Nanjing) Co.,Ltd. Contract record no.: X2023980046093 Denomination of invention: Hardware Implementation Method and System of Adaptive Compression Algorithm Based on Configurable Logic Granted publication date: 20230929 License type: Exclusive License Record date: 20231110 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Hardware implementation method and system of adaptive compression algorithm based on configurable logic Effective date of registration: 20231116 Granted publication date: 20230929 Pledgee: Suzhou Heyu Finance Leasing Co.,Ltd. Pledgor: Pengti storage technology (Nanjing) Co.,Ltd. Registration number: Y2023980065408 |