CN112380196B - 一种用于数据压缩传输的服务器 - Google Patents

一种用于数据压缩传输的服务器 Download PDF

Info

Publication number
CN112380196B
CN112380196B CN202011174598.8A CN202011174598A CN112380196B CN 112380196 B CN112380196 B CN 112380196B CN 202011174598 A CN202011174598 A CN 202011174598A CN 112380196 B CN112380196 B CN 112380196B
Authority
CN
China
Prior art keywords
data
module
stream
hash
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011174598.8A
Other languages
English (en)
Other versions
CN112380196A (zh
Inventor
孙泽民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enginetech Tianjin computer Co ltd
Original Assignee
Engine Tianjin Computer Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Engine Tianjin Computer Co ltd filed Critical Engine Tianjin Computer Co ltd
Priority to CN202011174598.8A priority Critical patent/CN112380196B/zh
Publication of CN112380196A publication Critical patent/CN112380196A/zh
Application granted granted Critical
Publication of CN112380196B publication Critical patent/CN112380196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种用于数据压缩传输的服务器，其中接收模块用于接收第一终端发送的原文件，并将原文件发送至数据块分割模块；数据块分割模块利用数据分块算法对原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至数据冗余搜索模块；数据冗余搜索模块对数据流进行冗余数据搜索处理后输出新增的唯一数据块流至数据压缩及解压模块；数据压缩及解压模块利用压缩编码算法对新增的唯一数据块流进行压缩编码后存储至存储模块中。本发明采用先去冗后压缩的方式，不仅降低了对服务器的处理性能需求，而且使得数据缩减作用得到叠加，大大降低了数据压缩的消耗时间，从而可以获得更高的数据压缩比率和更优的数据压缩性能。

Description

一种用于数据压缩传输的服务器
技术领域
本发明涉及数据处理技术领域，特别是涉及一种用于数据压缩传输的服务器。
背景技术
几十年来，随着数字化的普及，计算机技术和数字终端已经渗透到各行各业以及人们的日常生活中，日常需要处理和传输的数据也越来越多。如果不对数据进行压缩处理，不仅使数据的传输速度慢，所占用带宽增加，而且所需存储空间的急剧增长也是现有的存储系统所无法满足的，因此无论是从数据的传输角度，还是从缩减数据占用空间的角度，数据压缩都是实现低数据存储空间、低数据传输带宽和高数据传输速度的客观需要。
数据压缩技术很好地解决了由于数据的急剧膨胀而带来的数据传输及存储方面的挑战，目前数据压缩技术已经成为当今数字通信、广播、存储和多媒体娱乐等领域的一项关键的共性技术。虽然数据压缩技术已经得到了不断的发展和广泛的应用，但是目前的数据压缩技术大部分对于待压缩的数据或者文件采用直接压缩并进行存储的方式，导致目前的数据压缩方法或者系统所实现的数据压缩比率以及数据压缩性能有限，数据缩减比例仍存在一定的可提升空间，因此面对急剧膨胀的数据，亟需对数据压缩技术作进一步的改进，以进一步提高数据缩减比例。
发明内容
基于此，有必要针对现有技术中的数据压缩方法或者系统的数据压缩率以及数据压缩性能有限的问题，提供一种用于数据压缩传输的服务器。
为解决上述问题，本发明采取如下的技术方案：
一种用于数据压缩传输的服务器，包括接收模块、数据块分割模块、数据冗余搜索模块、数据压缩及解压模块、存储模块、数据提取模块和发送模块；
一、数据压缩存储过程如下：
所述接收模块用于接收第一终端发送的原文件，并将所述原文件发送至数据块分割模块；
所述数据块分割模块利用数据分块算法对所述原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至所述数据冗余搜索模块；
所述数据冗余搜索模块对所述数据流进行冗余数据搜索处理后输出新增的唯一数据块流至所述数据压缩及解压模块；
所述数据压缩及解压模块利用压缩编码算法对新增的唯一数据块流进行压缩编码后存储至所述存储模块中；
其中，所述数据冗余搜索模块包括流缓冲单元、哈希单元、哈希链接列表管理单元、引擎预处理单元、匹配引擎单元、输出单元和历史缓冲单元；
所述流缓冲单元用于接收所述数据块分割模块输出的所述数据流，并读取从输入数据流位置开始的数据字符串；
所述哈希单元维护一个哈希地址列表，所述哈希地址列表用于存储与输入数据流位置对应的指向数据字符串的数据流地址，同时，所述哈希单元对于所述流缓冲单元访问的每个输入字节和其后若干个字节相对应的前缀进行散列，以生成哈希索引并将所述哈希索引发送至所述哈希链接列表管理单元中；
所述哈希链接列表管理单元对所述哈希索引进行管理和存储；
所述引擎预处理单元从所述哈希单元获取当前数据字符串对应的当前数据流地址以及所述哈希地址列表中的历史地址，并将所述当前数据流地址和所述历史地址提供给所述匹配引擎单元，当所述哈希地址列表存储的地址数目大于所述哈希单元可以存储的最大阈值地址数目时，由所述哈希链接列表管理单元根据所述哈希索引向所述匹配引擎单元提供除所述哈希地址列表外的其余的历史地址；
所述匹配引擎单元根据所述当前数据流地址从所述流缓冲单元读取对应的数据字符串，并根据所述历史地址在所述历史缓冲单元中查找与数据字符串匹配的重复数据字符串，得到匹配结果；若所述匹配结果为空，则所述输出单元根据所述匹配引擎单元读取的数据字符串生成新增的唯一数据块流；
所述输出单元用于输出新增的唯一数据块流至所述数据压缩及解压模块；
所述历史缓冲单元用于为所述匹配引擎单元提供查找重复数据字符串时所需的历史数据以及在所述匹配引擎单元每一次查找完成后，接收并存储由所述流缓冲单元发送的数据字符串；
二、数据还原过程如下：
所述接收模块还用于接收第二终端发送的还原文件请求，所述还原文件请求包含待还原文件的元信息；
所述数据提取模块根据所述元信息从所述存储模块中提取出对应的压缩数据块；
所述数据压缩及解压模块对所述压缩数据块进行解压缩，得到解压数据；
所述发送模块将所述解压数据发送至所述第二终端。
与现有技术相比，本发明具有以下有益效果：
本发明所提出的用于数据压缩传输的服务器首先采用数据冗余搜索模块首先对待压缩的数据分块进行冗余数据搜索处理，消除冗余数据块，从而减小数据量，避免了由于对冗余数据的压缩而导致的存储空间浪费以及压缩比率降低，然后再通过数据压缩及解压模块对新增的唯一数据块进行再次压缩，进一步减小数据体积。本发明的服务器采用先去冗后压缩的方式，不仅降低了对服务器的处理性能需求，而且使得数据缩减作用得到叠加，大大降低了数据压缩的消耗时间，从而可以获得更高的数据压缩比率和更优的数据压缩性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明其中一个实施例中一种用于数据压缩传输的服务器的结构示意图；
图2为本发明其中一个具体实施方式中数据冗余搜索模块的结构示意图；
图3为数据冗余搜索模块的工作流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及较佳实施例对本发明的技术方案进行详细描述，描述过程中所举实施例只用于解释本发明，并非用于限定本发明的范围。
在其中一个实施例中，如图1所示，本发明公开一种用于数据压缩传输的服务器，该服务器具体包括接收模块100、数据块分割模块200、数据冗余搜索模块300、数据压缩及解压模块400、存储模块500、数据提取模块600和发送模块700。
一、数据压缩存储过程如下：
接收模块100用于接收第一终端800(例如计算机)发送的原文件，并将原文件发送至数据块分割模块200，该原文件为第一终端800的待压缩的文件。
数据块分割模块200利用数据分块算法对原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至数据冗余搜索模块300；可选地，本实施例中数据块分割模块200所采用的数据分块算法可以为定长分块算法、变长分块算法、滑动块切分算法中的任意一种，其中定长分块算法采用预先义好的块大小对文件进行切分，并进行弱校验值和MD5强校验值；变长分块算法(Content-defined Chunking，CDC)应用数据指纹(如Rabin指纹等)将文件分割成长度大小不等的分块，它与定长分块算法不同，它是基于文件内容进行数据块切分的，因此数据块大小是可变化的；滑动块切分算法(SlidingBlock)则结合了定长分块算法和变长分块算法的优点，它的块大小固定，它对定长数据块先计算弱校验值，如果匹配则再计算MD5强校验值，两者都匹配则认为是一个数据块边界。
数据冗余搜索模块300对数据流进行冗余数据搜索处理后输出新增的唯一数据块流至数据压缩及解压模块400；数据冗余搜索模块300用于对输入的数据流进行冗余数据搜索处理，以判断数据分块是否存在冗余，若判断存在冗余，则无需对该数据分块进行存储，并存储该数据分块的相关数据信息；若判断不存在冗余，则表示该数据分块是新增的唯一数据块，此时数据冗余搜索模块300输出新增的唯一数据分块流至数据压缩及解压模块400，由数据压缩及解压模块400进行再压缩。
数据压缩及解压模块400利用压缩编码算法对新增的唯一数据块流进行压缩编码后得到压缩数据，将压缩数据存储至存储模块500中；可选地，本实施例中数据压缩及解压模块400所采用的压缩编码算法可以为字符串匹配算法或者LZ77算法，其中字符串匹配算法的常见算法有暴力检索(Brute Force，BF)算法、哈希检索(Robin-Karp，RK)算法、KMP算法、Sunday算法等；LZ77算法是一种利用数据的重复结构信息来进行数据压缩的算法，具有唯一可译、无损压缩的性质，可实现数据的高效压缩。
二、数据还原过程如下：
接收模块还100用于接收第二终端900(例如计算机)发送的还原文件请求，该还原文件请求包含了待还原文件的元信息；需要指出的是，本实施例中的第一终端800和第二终端900可以为同一个终端设备，即第一终端800可以发送原文件，也可以发送还原文件请求，类似地，第二终端900可以发送还原文件请求，也可以发送原文件。
数据提取模块600根据元信息从存储模块500中提取出对应的压缩数据块，并提供给数据压缩及解压模块400。
作为一种具体的实施方式，仍参照图1，当数据提取模块600根据元信息从存储模块500中提取压缩数据块失败时，即无法在存储模块500找到还原文件请求对应的压缩数据块，此时数据提取模块600生成提示信息，并将提示信息通过发送模块700发送至第二终端900，在第二终端900进行提示。
在数据提取模块600根据元信息从存储模块500中成功提取出对应的压缩数据块后，数据压缩及解压模块400对压缩数据块进行解压缩，得到解压数据，从而实现原文件的物理还原。
最后，发送模块700将解压数据发送至第二终端900，供第二终端900处理或者调用。
本实施例所提出的用于数据压缩传输的服务器首先采用数据冗余搜索模块首先对待压缩的数据分块进行冗余数据搜索处理，消除冗余数据块，从而减小数据量，避免了由于对冗余数据的压缩而导致的存储空间浪费以及压缩比率降低，然后再通过数据压缩及解压模块对新增的唯一数据块进行再次压缩，进一步减小数据体积。本实施例的服务器采用先去冗后压缩的方式，不仅降低了对服务器的处理性能需求，而且使得数据缩减作用得到叠加，大大降低了数据压缩的消耗时间，从而可以获得更高的数据压缩比率和更优的数据压缩性能。
作为一种具体的实施方式，如图2所示，数据冗余搜索模块300包括流缓冲单元310、哈希单元320、哈希链接列表管理单元330、引擎预处理单元340、匹配引擎单元350、输出单元360和历史缓冲单元370。
具体地，参见图3，流缓冲单元310与数据块分割模块200连接，用于接收数据块分割模块200输出的数据流，并读取从当前的输入数据流位置开始的数据字符串。例如，流缓冲单元310可以被构造成与数据字符串相对应的字节块，流缓冲单元310负责将当前的输入数据流位置递增到要进行压缩的下一个输入数据流位置。为了使流缓冲单元310具有更高的数据吞吐量，流缓冲单元310可以同时访问多个字节，对多个字节进行并行处理。
数据冗余搜索模块300包括哈希单元320，哈希单元320维护一个哈希地址列表，哈希地址列表用于存储与输入数据流位置对应的指向数据字符串的数据流地址，同时，哈希单元320对于流缓冲单元310访问的每个输入字节和其后若干个字节(例如3个字节)相对应的前缀进行散列，以生成哈希索引并将哈希索引发送至哈希链接列表管理单元330中。哈希地址列表提供一个或多个历史地址指向输入数据流中先前的位置，在此之前的3个字节字符串哈希为与哈希索引相同的值。将历史地址和相应的数据流地址提供给匹配引擎单元350，以使匹配引擎单元350执行数据搜索。
数据冗余搜索模块300包括哈希链接列表管理单元330，哈希链接列表管理单元330用于对哈希索引进行管理和存储，在需要时，哈希链接列表管理单元330将向匹配引擎单元350提供所需的历史地址。
数据冗余搜索模块300包括引擎预处理单元340，引擎预处理单元340从哈希单元320获取当前数据字符串对应的当前数据流地址以及哈希地址列表中的历史地址，并将当前数据流地址和历史地址提供给匹配引擎单元350，以使匹配引擎单元350能够根据当前数据流地址和历史地行数据搜索，完成数据的匹配查找；特别地，当哈希地址列表存储的地址数目大于哈希单元320可以存储的最大阈值地址数目时，由哈希链接列表管理单元330根据哈希索引向匹配引擎单元350提供除哈希地址列表外的其余的历史地址。如果哈希单元320支持的搜索深度即哈希地址列表可以存储的地址数据大于给定的哈希地址列表可以存储的地址的数目即最大阈值地址数目，则由哈希链接列表管理单元330提供剩余的历史地址。
可选地，哈希单元320包括至少一个快速存储器，由哈希单元320维护的哈希地址列表可以存储在快速存储器中，该快速存储器可以为具有有限存储空间的高速存储器。
类似地，可选地，哈希链接列表管理单元330也包括至少一个用于存储哈希索引的存储器，该存储器可以为一般的具有较大存储空间的存储器，只有当给定哈希地址列表的历史地址的数目超过哈希单元320的存储深度时，才会访问该存储器的存储空间。
数据冗余搜索模块300包括匹配引擎单元350，匹配引擎单元350根据当前数据流地址从流缓冲单元310读取对应的数据字符串，并根据历史地址在历史缓冲单元370中查找与数据字符串匹配的重复数据字符串，得到匹配结果；若匹配结果为空，表明已压缩的数据中没有数据字符串对应的数据，亦即数据字符串对应的数据块为新增的唯一数据块，此时输出单元360根据匹配引擎单元350读取的数据字符串生成新增的唯一数据块流。先前的数据字符串存储在历史缓冲单元370中，历史缓冲单元370将保持已经经历压缩的先前的输入数据流的历史。
进一步地，当匹配结果不为空时，表明已压缩的数据中已经存在数据字符串对应的数据，读取的数据字符串为重复数据，此时匹配引擎单元350仅将当前数据流地址通过输出单元360输出至数据压缩及解压模块400，数据压缩及解压模块400再将当前数据流地址存储至存储模块500中。
进一步地，匹配引擎单元350的数量设置为多个，多个匹配引擎单元350可以并行查找重复数据字符串，以提高查找速度。
数据冗余搜索模块300包括输出单元360，输出单元360用于输出新增的唯一数据块流至数据压缩及解压模块400；
数据冗余搜索模块300还包括历史缓冲单元370，历史缓冲单元370用于为匹配引擎单元350提供查找重复数据字符串时所需的历史数据以及在匹配引擎单元350每一次查找完成后，接收并存储由流缓冲单元310发送的数据字符串，对数据字符串进行保存，以用于与随后的数据字符串进行比较。
本实施方式提供了一种新的数据冗余搜索模块结构，具体包括流缓冲单元、哈希单元、哈希链接列表管理单元、引擎预处理单元、匹配引擎单元、输出单元和历史缓冲单元，通过数据冗余搜索模块可以实现对输入数据流的冗余数据的搜索，对应冗余数据不进行后续的数据压缩及存储操作，从而有效消除冗余数据，提高数据压缩效率。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种用于数据压缩传输的服务器，其特征在于，包括接收模块、数据块分割模块、数据冗余搜索模块、数据压缩及解压模块、存储模块、数据提取模块和发送模块；
一、数据压缩存储过程如下：
所述接收模块用于接收第一终端发送的原文件，并将所述原文件发送至数据块分割模块；
所述数据块分割模块利用数据分块算法对所述原文件进行数据块分割，得到一组数据分块，并将一组数据分块以数据流的方式输出至所述数据冗余搜索模块；
所述数据冗余搜索模块对所述数据流进行冗余数据搜索处理后输出新增的唯一数据块流至所述数据压缩及解压模块；
所述数据压缩及解压模块利用压缩编码算法对新增的唯一数据块流进行压缩编码后存储至所述存储模块中；
其中，所述数据冗余搜索模块包括流缓冲单元、哈希单元、哈希链接列表管理单元、引擎预处理单元、匹配引擎单元、输出单元和历史缓冲单元；
所述流缓冲单元用于接收所述数据块分割模块输出的所述数据流，并读取从输入数据流位置开始的数据字符串；
所述哈希单元维护一个哈希地址列表，所述哈希地址列表用于存储与输入数据流位置对应的指向数据字符串的数据流地址，同时，所述哈希单元对于所述流缓冲单元访问的每个输入字节和其后若干个字节相对应的前缀进行散列，以生成哈希索引并将所述哈希索引发送至所述哈希链接列表管理单元中；
所述哈希链接列表管理单元对所述哈希索引进行管理和存储；
所述引擎预处理单元从所述哈希单元获取当前数据字符串对应的当前数据流地址以及所述哈希地址列表中的历史地址，并将所述当前数据流地址和所述历史地址提供给所述匹配引擎单元，当所述哈希地址列表存储的地址数目大于所述哈希单元可以存储的最大阈值地址数目时，由所述哈希链接列表管理单元根据所述哈希索引向所述匹配引擎单元提供除所述哈希地址列表外的其余的历史地址；
所述匹配引擎单元根据所述当前数据流地址从所述流缓冲单元读取对应的数据字符串，并根据所述历史地址在所述历史缓冲单元中查找与数据字符串匹配的重复数据字符串，得到匹配结果；若所述匹配结果为空，则所述输出单元根据所述匹配引擎单元读取的数据字符串生成新增的唯一数据块流；
所述输出单元用于输出新增的唯一数据块流至所述数据压缩及解压模块；
所述历史缓冲单元用于为所述匹配引擎单元提供查找重复数据字符串时所需的历史数据以及在所述匹配引擎单元每一次查找完成后，接收并存储由所述流缓冲单元发送的数据字符串；
二、数据还原过程如下：
所述接收模块还用于接收第二终端发送的还原文件请求，所述还原文件请求包含待还原文件的元信息；
所述数据提取模块根据所述元信息从所述存储模块中提取出对应的压缩数据块；
所述数据压缩及解压模块对所述压缩数据块进行解压缩，得到解压数据；
所述发送模块将所述解压数据发送至所述第二终端。
2.根据权利要求1所述的一种用于数据压缩传输的服务器，其特征在于，
当所述匹配结果不为空时，所述匹配引擎单元仅将所述当前数据流地址通过所述输出单元输出至所述数据压缩及解压模块，所述数据压缩及解压模块将所述当前数据流地址存储至所述存储模块中。
3.根据权利要求1或2所述的一种用于数据压缩传输的服务器，其特征在于，
所述哈希单元包括至少一个快速存储器，所述哈希地址列表存储在所述快速存储器中。
4.根据权利要求1或2所述的一种用于数据压缩传输的服务器，其特征在于，
所述哈希链接列表管理单元包括至少一个用于存储所述哈希索引的存储器。
5.根据权利要求1或2所述的一种用于数据压缩传输的服务器，其特征在于，
所述匹配引擎单元的数量设置为多个，多个所述匹配引擎单元可以并行查找重复数据字符串。
6.根据权利要求1所述的一种用于数据压缩传输的服务器，其特征在于，
当所述数据提取模块根据所述元信息从所述存储模块中提取压缩数据块失败时，所述数据提取模块生成提示信息，并将所述提示信息通过所述发送模块发送至所述第二终端。
7.根据权利要求1所述的一种用于数据压缩传输的服务器，其特征在于，
所述数据分块算法为定长分块算法、变长分块算法、滑动块切分算法中的任意一种。
8.根据权利要求1所述的一种用于数据压缩传输的服务器，其特征在于，
所述压缩编码算法为字符串匹配算法或者LZ77算法。
9.根据权利要求1所述的一种用于数据压缩传输的服务器，其特征在于，
所述第一终端和所述第二终端均为计算机。
CN202011174598.8A 2020-10-28 2020-10-28 一种用于数据压缩传输的服务器 Active CN112380196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011174598.8A CN112380196B (zh) 2020-10-28 2020-10-28 一种用于数据压缩传输的服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011174598.8A CN112380196B (zh) 2020-10-28 2020-10-28 一种用于数据压缩传输的服务器

Publications (2)

Publication Number Publication Date
CN112380196A CN112380196A (zh) 2021-02-19
CN112380196B true CN112380196B (zh) 2023-03-21

Family

ID=74576296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011174598.8A Active CN112380196B (zh) 2020-10-28 2020-10-28 一种用于数据压缩传输的服务器

Country Status (1)

Country Link
CN (1) CN112380196B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806374A (zh) * 2021-09-30 2021-12-17 上海健交科技服务有限责任公司 一种面向大数据的数据流式缓存方法及系统
WO2023231571A1 (zh) * 2022-06-02 2023-12-07 华为技术有限公司 数据压缩方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020317A (zh) * 2013-01-10 2013-04-03 曙光信息产业(北京)有限公司 基于重复数据删除的数据压缩方法和装置
CN103177111A (zh) * 2013-03-29 2013-06-26 西安理工大学 重复数据删除系统及其删除方法
CN103530201A (zh) * 2013-07-17 2014-01-22 华中科技大学 一种适用于备份系统的安全数据去重方法和系统
CN104156990A (zh) * 2014-07-03 2014-11-19 华南理工大学 一种支持特大型数据窗口的无损压缩编码方法及系统
CN104881470A (zh) * 2015-05-28 2015-09-02 暨南大学 一种面向海量图片数据的重复数据删除方法
CN105868305A (zh) * 2016-03-25 2016-08-17 西安电子科技大学 一种支持模糊匹配的云存储数据去重复方法
CN107506153A (zh) * 2017-09-26 2017-12-22 深信服科技股份有限公司 一种数据压缩方法、数据解压方法及相关系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020317A (zh) * 2013-01-10 2013-04-03 曙光信息产业(北京)有限公司 基于重复数据删除的数据压缩方法和装置
CN103177111A (zh) * 2013-03-29 2013-06-26 西安理工大学 重复数据删除系统及其删除方法
CN103530201A (zh) * 2013-07-17 2014-01-22 华中科技大学 一种适用于备份系统的安全数据去重方法和系统
CN104156990A (zh) * 2014-07-03 2014-11-19 华南理工大学 一种支持特大型数据窗口的无损压缩编码方法及系统
CN104881470A (zh) * 2015-05-28 2015-09-02 暨南大学 一种面向海量图片数据的重复数据删除方法
CN105868305A (zh) * 2016-03-25 2016-08-17 西安电子科技大学 一种支持模糊匹配的云存储数据去重复方法
CN107506153A (zh) * 2017-09-26 2017-12-22 深信服科技股份有限公司 一种数据压缩方法、数据解压方法及相关系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
分布式存储中数据压缩研究与实现;曾国庆;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20180815;全文 *
基于聚类的重复数据去冗算法的研究;刘赛，聂庆节，刘军;《计算机技术与发展》;20171115;全文 *

Also Published As

Publication number Publication date
CN112380196A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
US9680500B2 (en) Staged data compression, including block level long range compression, for data streams in a communications system
US10567458B2 (en) System and method for long range and short range data compression
CN107682016B (zh) 一种数据压缩方法、数据解压方法及相关系统
US8836547B1 (en) Server side data storage and deduplication
EP2013740B1 (en) Efficient data storage using resemblance of data segments
US8456332B2 (en) Systems and methods for compression of logical data objects for storage
US7949824B2 (en) Efficient data storage using two level delta resemblance
CN109716658B (zh) 一种基于相似性的重复数据删除方法和系统
US20030179114A1 (en) Method and system for improving lossless compression efficiency
CN112380196B (zh) 一种用于数据压缩传输的服务器
WO2007120740A2 (en) Efficient computation of sketches
Talasila et al. Generalized deduplication: Lossless compression by clustering similar data
EP2779467B1 (en) Staged data compression, including block-level long-range compression, for data streams in a communications system
WO2002075928A2 (en) Lossless data compression method for uniform entropy data
CN109255090B (zh) 一种web图的索引数据压缩方法
US20080001790A1 (en) Method and system for enhancing data compression
Jain et al. An efficient compression algorithm (ECA) for text data
CN113765854B (zh) 一种数据压缩方法及服务器
Shukla et al. Multiple subgroup data compression technique based on huffman coding
CN112615627A (zh) 基于改进行程长度编码的动态压缩方法及动态压缩系统
Nitsos et al. uγ-Golomb: A new Golomb Code Variation for the Local Bernoulli Model
Waghulde et al. New data compression algorithm and its comparative study with existing techniques
GB2360916A (en) Compression encoder which transmits difference between new data word and recent data word where this falls within a threshold

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Floor 4, Building 11, No. 6 Hechang Road, Wuqing Development Zone, Wuqing District, Tianjin, 301700

Patentee after: Enginetech(Tianjin)Computer Co.,Ltd.

Address before: 301799 4th floor, No.11 workshop, No.6 Hechang Road, development zone, Wuqing District, Tianjin

Patentee before: ENGINE (TIANJIN) COMPUTER Co.,Ltd.

CP03 Change of name, title or address
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A server for data compression transmission

Effective date of registration: 20230718

Granted publication date: 20230321

Pledgee: Bank of China Limited Tianjin Hedong sub branch

Pledgor: Enginetech(Tianjin)Computer Co.,Ltd.

Registration number: Y2023980048960

PE01 Entry into force of the registration of the contract for pledge of patent right