CN107172886A - 一种服务器以及服务器压缩数据的方法 - Google Patents
一种服务器以及服务器压缩数据的方法 Download PDFInfo
- Publication number
- CN107172886A CN107172886A CN201580002561.8A CN201580002561A CN107172886A CN 107172886 A CN107172886 A CN 107172886A CN 201580002561 A CN201580002561 A CN 201580002561A CN 107172886 A CN107172886 A CN 107172886A
- Authority
- CN
- China
- Prior art keywords
- data
- block
- sub
- feature
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000007906 compression Methods 0.000 claims abstract description 246
- 230000006835 compression Effects 0.000 claims abstract description 246
- 238000013507 mapping Methods 0.000 claims description 24
- 238000013500 data storage Methods 0.000 claims description 8
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/14—Tree-structured documents
- G06F40/146—Coding or compression of tree-structured data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6064—Selection of Compressor
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6064—Selection of Compressor
- H03M7/607—Selection between different types of compressors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种服务器以及服务器压缩数据的方法,涉及存储领域,用以解决现有技术中,服务器压缩数据块中的数据的压缩率较低的问题,该方法包括:服务器解析数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;根据所述文件类型确定所述子数据块中的数据的特征;根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;使用所述目标压缩算法压缩所述子数据块中的数据。本发明实施例用于压缩数据。
Description
技术领域
本发明涉及存储领域,尤其涉及一种服务器以及服务器压缩数据的方法。
背景技术
目前,为了节省存储空间,现有的服务器通常都支持对存储的数据进行压缩。
现有技术中,服务器采用一种预先设定的压缩算法对子数据块中的数据进行压缩,例如,服务器使用字典压缩算法,在此情况下,服务器逐个字节扫描数据块中的数据,以确定数据块中连续重复出现的字符串,并对连续重复出现的字符串进行压缩。
由上可知,服务器只能采用一种压缩算法只能对数据块中的某一特定特征的数据进行压缩,因此,现有技术对于数据块中的数据进行压缩的压缩率较低。
发明内容
本发明的目的是提供一种服务器以及服务器压缩数据的方法,用以解决现有技术中,服务器压缩数据块中的数据的压缩率较低的问题。
为了达到上述目的,本发明采用如下的技术方案:
第一方面,提供一种服务器压缩数据的方法,所述方法包括:所述服务器解析数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;根据所述文件类型确定所述子数据块中的数据的特征;根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;使用所述目标压缩算法压缩所述子数据块中的数据。
采用上述方法,针对数据块中不同特征的数据,服务器可以采用不同的压缩算法进行压缩,相比现有技术中,服务器只能使用一种压缩算法对数据块中某一特定特征的数据进行压缩,本发明实施例提高了对数据块中的数据的压缩率。
结合第一方面,在第一方面的第一种可能的实现方式中,所述根据所述文件类型确定所述子数据块中的数据的特征,包括:查询所述文件类型与所述子数据块中的数据的特征的映射关系,确定所述子数据块中的数据的特征,其中,所述映射关系是所述服务器根据应用的数据组织格式配置的。值得说明的是,应用的数据组织格式是指应用定义的不同文件类型的数据的特征,以及同一文件类型下不同特征的数据在数据块中的存储位置,这样,根据应用的数据组织格式,服务器即可配置文件类型与存储该文件类型的数据的数据块包括的子数据块中的数据的特征的映射关系。
结合第一方面或者第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述使用所述特征选择用于压缩所述子数据块中的数据的目标压缩算法,包括:确定所述特征对应的多个候选压缩算法;从所述多个候选压缩算法中选择所述目标压缩算法。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述从所述多个候选压缩算法中选择所述目标压缩算法,包括:使用所述多个候选压缩算法中的每一个候选压缩算法预压缩所述子数据块中的数据;获取所述每一个候选压缩算法预压缩所述子数据块中的数据的压缩效率;选择压缩效率最高的候选压缩算法作为所述目标压缩算法。这样,保证了最终选择的压缩算法对子数据块的数据进行压缩的压缩效率最高。
第二方面,提供一种服务器,包括:解析单元,用于解析数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;第一确定单元,用于根据所述文件类型确定所述子数据块中的数据的特征;第二确定单元,根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;压缩单元,用于使用所述目标压缩算法压缩所述子数据块中的数据。
结合第二方面,在第二方面的第一种可能的实现方式中,还包括:第一配置单元,用于根据应用的数据组织格式配置所述文件类型与所述子数据块中的数据的特征的映射关系;所述第一确定单元具体用于,查询所述文件类型与所述子数据块中的数据的特征的映射关系,确定所述子数据块中的数据的特征。
结合第二方面或者第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,还包括:第二配置单元,用于配置所述特征与多个候选压缩算法的对应关系;所述第二确定单元具体用于,确定所述特征对应的多个候选压缩算法;从所述多个候选压缩算法中选择所述目标压缩算法。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,所述第二确定单元具体用于:使用所述多个候选压缩算法中的每一个候选压缩算法预压缩所述子数据块中的数据;获取所述每个候选压缩算法预压缩所述子数据块中的数据的压缩效率;选择压缩效率最高的候选压缩算法作为所述目标压缩算法。
第三方面,提供另一种服务器,包括:存储器,所述存储器包括用于存储数据块中的数据;处理器,用于执行第一方面,或者以上第一方面的任一种可能的实现方式所述的方法。
在某些可能的实现方式中,所述数据块包括第一子数据块和第二子数据块,所述子数据块包括第一子数据块和第二子数据块;所述服务器根据所述文件类型确定所述子数据块中的数据的特征包括:所述服务器根据所述文件类型分别确定所述第一子数据块中的数据的特征以及所述第二子数据块中的数据的特征;所述服务器根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法包括:所述服务器根据所述第一子数据块中的数据的特征选择用于压缩所述第一子数据块中的数据的第一目标压缩算法,根据所述第二子数据块中的数据的特征选择用于压缩所述第二子数据块中的数据的第二目标压缩算法;所述服务器使用所述目标压缩算法压缩所述子数据块中的数据包括:所述服务器使用所述第一目标压缩算法压缩所述第一子数据块中的数据,使用第二目标压缩算法压缩所述第二子数据块中的数据。由此种可能的实现方式可知,对于包括多个子数据块的数据块,本发明实施例可以针对每个子数据块中的数据的特征选择合适的压缩算法进行压缩,最大程度上提高了压缩数据块中的数据的压缩率。
在某些可能的实现方式中,所述文件类型包括以下至少一种:索引文件类型、数据文件类型、日志文件类型和控制文件类型。
在某些可能的实现方式中,所述子数据块中的数据的特征包括以下至少一种:用于表示所述子数据块中的单字符连续重复大于第一阈值的第一特征,用于表示所述子数据块中的数据递增或递减的第二特征以及用于表示所述子数据块中的字符串连续重复第二阈值的第三特征。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍。
图1为本发明实施例提供的一种服务器压缩数据的方法的流程示意图;
图2为本发明实施例提供的一种数据块的结构示意图;
图3为本发明实施例提供的一种应用服务器与存储设备的连接示意图;
图4为图3所示的存储设备对接收到的服务器发送的数据进行压缩的一个示例;
图5为本发明实施例提供的一种服务器的结构示意图;
图6为本发明实施例提供的另一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
本发明实施例提供一种服务器压缩数据的方法,如图1所示,该方法包括:
S101、服务器解析数据块中的信息块,获取该数据块的文件类型以及该数据块包括的子数据块。
值得说明的是,数据块的信息块可以是数据块的块头(Block Header),其用于描述该数据块中的数据的属性,所述数据的属性包括数据块中存储的数据的文件类型以及数据块中不同区域的位置。具体地,信息块中包括特定的字节用于表示该数据块中存储的数据的文件类型,以数据库应用的数据块进行举例说明,若该数据块的块头中的第21个字节为1,则表明该数据块中存储数据文件类型的数据,若该第21个字节为2,则表明该数据块中存储索引文件类型的数据。另外,该信息块中还包括用于表示数据块中不同区域的起始地址和终止地址的字节。
另外,数据块中一个区域即为一个子数据块。不同特征的数据在数据块中处于不同的区域。由上述对数据块的信息块的介绍可知,数据块的信息块中包括该数据块的每个子数据块的起始地址和终止地址。
因此,该服务器解析该数据块的信息块即可获取该数据块中的数据的文件类型以及该数据块包括的子数据块。
S102、该服务器根据该文件类型确定该子数据块中的数据的特征。
值得说明的是,应用的数据组织格式是指应用定义的不同文件类型的数据的特征,以及同一文件类型下不同特征的数据在数据块中的存储位置。其中,根据应用的定义,不同文件类型的数据的特征可能不同。也就是说,基于应用的数据组织格式即可知道存储某一文件类型的数据的数据块中,不同子数据块中的数据的特征。以数据库应用的索引文件类型的数据举例说明,基于数据库应用的数据组织格式可知,存储数据库应用的索引文件类型的数据的数据块中通常依次包括:存储连续重复大于第一阈值的单字符的第一子数据块,存储连续递增或递减的数据的第二子数据块以及存储连续重复大于第二阈值的字符串的第三子数据块。
具体地,该服务器可以基于应用的数据组织格式配置应用的文件类型与子数据块中的数据的特征之间的映射关系,这样,该服务器根据该文件类型与该子数据块中的数据的特征的映射关系,即可确定该子数据块中的数据的特征。
仍以数据库应用的索引文件类型的数据举例说明,图2为存储数据库应用的索引文件类型的数据的数据块的结构示意图,如图所示,该数据块包括信息块21,第一子数据块22,第二子数据块23以及第三子数据块24,其中,该信息块21中具有表示该数据块中的数据的文件类型的字节,以及表示该第一子数据块22、该第二子数据块23和该第三子数据块24中的每个子数据块的起始地址和终止地址的字节,该服务器配置有索引文件类型与用于表示单字符连续重复大于第一阈值的第一特征,用于表示数据递增的第二特征以及用于表示字符串连续重复大于第二阈值的第三特征之间的映射关系。这样,该服务器通过解析该信息块21确定该数据块中的数据属于索引文件类型,并确定该第一子数据块22、该第二子数据块23和该第三子数据块24的具体位置后,根据该索引文件类型与该映射关系即可确定该第一子数据块中的数据的特征为该第一特征,该第二子数据块中的数据的特征为该第二特征,该第三子数据块中的数据的特征为该第三特征。
可选地,该服务器在获取到数据块中的数据的文件类型以及该数据块包括的子数据块后,若该服务器未配置该文件类型与该子数据块中的数据的特征的映射关系,在此种情况下,该服务器可以对该数据块不进行压缩,或者采用通用的压缩算法对该数据块进行压缩。
值得说明的是,某些文件类型的数据不适合压缩,例如,对于数据量较小且需要被频繁访问的文件类型的数据,压缩该数据节省出来的存储空间有限,反而增加了读取该数据的时延,在本发明实施例中,服务器可以根据实际需求对部分文件类型的数据进行压缩,对部分文件类型的数据不进行压缩,压缩更加灵活。
S103、该服务器根据该特征选择用于压缩该子数据块中的数据的目标压缩算法。
值得说明的是,不同特征的数据适合的压缩算法不同。例如,对于大量重复的数据,采用游程长度编码(英文全称:run length encoding,简称:RLE)算法进行压缩的效率是最高的,而对于行地址连续的数据,采用增量压缩编码算法进行压缩的效率是最高的。
在本发明实施例的一种可能的实现方式中,上述步骤S103,具体包括:
服务器确定该特征对应的多个候选压缩算法,并从该多个候选压缩算法中选择该目标压缩算法。
也就是说,本发明实施例可以针对数据的特征预设多个候选的压缩算法。示例地,服务器配置数据的特征与候选压缩算法的对应关系,该服务器根据子数据块中的数据的特征查询该对应关系即可确定对该子数据块中的数据进行压缩的多个候选压缩算法。
进一步地,服务器可以采用如下实现方式从该多个候选压缩算法中选择该目标压缩算法:
服务器根据该多个候选压缩算法中的每一个候选压缩算法预压缩该子数据块中的数据,获取每个候选压缩算法压缩该子数据块中的数据的压缩效率,选择压缩效率最高的候选压缩算法为该目标压缩算法。从而保证了最终压缩该子数据块中的数据的压缩效率最高。
示例地,该压缩效率可以是指对数据的压缩速度,在此种情况下,服务器对该子数据块中的数据进行采样,并使用每个候选压缩算法对采样数据进行压缩,并计算每个候选压缩算法的压缩速度,比较每个候选压缩算法的压缩速度,确定压缩速度最大的候选压缩算法为目标压缩算法。
另一个例子,该压缩效率可以是指对数据的压缩率,在此种情况下,服务器对该子数据块中的数据进行采样,并使用每个候选压缩算法对采样数据进行压缩,并计算采样数据压缩前的数据大小与每次压缩后的数据大小的比值,得到每个候选压缩算法的压缩率,比较每个候选压缩算法的压缩率,确定压缩率最大的候选压缩算法为目标压缩算法。
上述只是举例说明,该压缩效率也可以是服务器基于压缩速度和压缩率计算得到的,本发明实施例对此不作限定。
S104、该服务器使用该目标压缩算法压缩该子数据块中的数据。
采用上述方法,针对数据块中不同特征的数据,服务器可以采用不同的压缩算法进行压缩,相比现有技术中,服务器只能使用一种压缩算法对数据块中某一特定特征的数据进行压缩,本发明实施例提高了对数据块中的数据的压缩率。
值的说明的是,上述步骤S101至步骤S104所述的数据块可以是服务器的存储器中的数据块。其中,服务器可以在从与该服务器相连的其他设备接收到数据后,将该数据写入到存储器的数据块中,并采用上述步骤S101至步骤S104对该数据块中的数据进行压缩后,将压缩后的数据写入该服务器的存储介质;该服务器也可以从自身的存储介质中读取到数据后,将该数据写入到存储器的数据块中,并采用上述步骤S101至步骤S104对该数据块中的数据进行压缩。
图1所示方法步骤S101至步骤S104可以看做是对数据块中的一个子数据块中的数据进行压缩的方法流程,在实际使用过程中,一个数据块可能包括多个子数据块,以数据块包括第一子数据块和第二子数据块为例,在此种情况下,步骤S102具体包括:该服务器根据该文件类型分别确定该第一子数据块中的数据的特征以及该第二子数据块中的数据的特征;步骤S103具体包括:该服务器根据该第一子数据块中的数据的特征选择用于压缩该第一子数据块中的数据的第一目标压缩算法,根据该第二子数据块中的数据的特征选择用于压缩该第二子数据块中的数据的第二目标压缩算法;步骤S104具体包括:该服务器使用该第一目标压缩算法压缩该第一子数据块中的数据,使用第二目标压缩算法压缩该第二子数据块中的数据。
为了使本领域的普通技术人员更加理解本发明实施例提供的技术方案,下面结合一种具体的场景对本发明实施例提供的一种服务器压缩数据的方法进行说明。如图3所示,应用服务器与一存储设备相连,该应用服务器上运行有数据库应用,在此种情况下,该存储设备可以为图1所示的方法实施例所述的服务器。另一种场景下,应用服务器也可以执行本发明实施例中的步骤,即作为图1所示的方法实施例所述的服务器。下面基于图3所示的存储设备,说明存储设备将接收到的该应用服务器发送的数据保存到存储介质的方法,如图4所示,包括:
S401、存储设备接收应用服务器发送的数据写入指令,该数据写入指令用于将数据写入该存储设备的存储介质。
S402、该存储设备根据数据库应用的数据组织格式将该数据写入该存储设备的存储器的数据块中。
S403、该存储设备解析该数据块的块头,获取该数据块中的数据的文件类型,以及该数据块包括的第一子数据块和第二子数据块。
S404、该存储设备确定该数据块中的数据的文件类型是索引文件类型。
值得说明的是,文件类型包括以下至少一种:索引文件类型、数据文件类型、日志文件类型和控制文件类型。
本发明实施例仅以索引文件类型的数据块进行举例说明,其他文件类型情况下的数据压缩方法可以参照本发明实施例,此处不再一一罗列。
S405、该存储设备查询索引文件类型与子数据块中的数据的特征的映射关系。
若不存在该映射关系,则执行步骤S406;若存在该映射关系,则执行步骤S407至步骤S410。
S406、该存储设备采用通用压缩算法对该子数据块中的数据进行压缩。
示例地,该通用压缩算法为字典压缩算法,则服务器逐个字节扫描该子数据块中的数据,确定子数据块中连续重复出现的字符串,并压缩该连续重复出现的字符串。需要说明的是,通用压缩算法不一定适合压缩该子数据块中的数据,例如,若该子数据块中不存在连续重复出现的字符串,则采用字典压缩算法对其进行压缩的压缩率为零。因此,可选地,该服务器在确定不存在索引文件类型与子数据块中的数据的特征的映射关系时,也可以直接不对该子数据块中的数据进行压缩。
S407、该存储设备确定该第一子数据块中的数据的特征和该第二子数据块中的数据的特征。
步骤S407可参照图1所示方法实施例对步骤S102的具体描述,此处不再赘述。
S408、该存储设备确定该第一子数据块中的数据的特征对应的第一候选压缩算法集合,以及该第二子数据块中的数据的特征对应的第二候选压缩算法集合。
该第一候选压缩算法集合包括至少一种候选压缩算法,该第二候选压缩算法集合包括至少一种候选压缩算法。
S409、该存储设备从该第一候选压缩算法集合中选择用于压缩该第一子数据块的第一目标压缩算法,从该第二候选压缩算法集合中选择用于压缩该第二子数据块的第二目标压缩算法。
具体地,该存储设备从多个候选压缩算法中选择压缩效率最高的压缩算法对该子数据块进行压缩,参照图1所示方法实施例对步骤S103的具体描述,此处不再赘述。
S410、该存储设备使用该第一目标压缩算法压缩该第一子数据块中的数据,使用该第二目标压缩算法压缩该第二子数据块中的数据,并将压缩后的数据写入存储介质。
这样,该存储设备对于不同数据特征的子数据块均可以进行压缩,相比现有技术中,服务器只能使用一种压缩算法对数据块中某一特定特征的数据进行压缩,本发明实施例提高了对数据的压缩率,节省了存储空间。
本发明实施例还提供一种服务器50,用于实施上述方法实施例,如图5所示,该服务器50包括:
解析单元51,用于解析数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;第一确定单元52,用于根据所述文件类型确定所述子数据块中的数据的特征;第二确定单元53,根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;压缩单元54,用于使用所述目标压缩算法压缩所述子数据块中的数据。
可选地,该服务器还包括第一配置单元55,用于根据应用的数据组织格式配置所述文件类型与所述子数据块中的数据的特征之间的映射关系。第一配置单元配置该映射关系的过程具体可参照方法实施例中对步骤S102的具体描述,此处不再赘述。则该第一确定单元52具体用于:查询所述文件类型与所述子数据块中的数据的特征的映射关系,确定所述子数据块中的数据的特征。
可选地,该服务器还包括第二配置单元56,用于配置子数据块中的数据的特征与多个候选压缩算法的对应关系,该第二确定单元53具体用于:确定所述特征对应的多个候选压缩算法;从所述多个候选压缩算法中选择所述目标压缩算法。具体地,参照方法实施例中对步骤S103的具体描述,此处不再赘述。
可选地,该数据块包括第一子数据块和第二子数据块;该第一确定单元52具体用于,根据该文件类型分别确定该第一子数据块中的数据的特征以及该第二子数据块中的数据的特征;该第二确定单元53具体用于,根据该第一子数据块中的数据的特征选择用于压缩该第一子数据块中的数据的第一目标压缩算法,根据该第二子数据块中的数据的特征选择用于压缩该第二子数据块中的数据的第二目标压缩算法;该压缩单元54具体用于,使用该第一目标压缩算法压缩该第一子数据块中的数据,使用第二目标压缩算法压缩该第二子数据块中的数据。
可选地,所述第二确定单元53还用于:使用所述多个候选压缩算法中的每一个候选压缩算法预压缩所述子数据块中的数据;获取所述每个候选压缩算法预压缩所述子数据块中的数据的压缩效率;选择压缩效率最高的候选压缩算法作为所述目标压缩算法。
可选地,所述文件类型包括以下至少一种:
索引文件类型、数据文件类型、日志文件类型和控制文件类型。
可选地,所述子数据块中的数据的特征包括以下至少一种:
用于表示所述子数据块中的单字符连续重复大于第一阈值的第一特征,用于表示所述子数据块中的数据递增或递减的第二特征以及用于表示所述子数据块中的字符串连续重复大于第二阈值的第三特征。
值得说明的是,以上对服务器功能单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,并且,上述各功能单元的物理实现也可能有多种实现方式,例如,上述确定单元具体可以是一中央处理器,也可以是特定集成电路(英文全称:Application Specific Integrated Circuit,简称:ASIC)。
另外,所属本领域的技术人员应该清楚地了解到,为描述的方便和简洁,上述描述的服务器的各单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
采用上述服务器,该服务器针对数据块中不同特征的数据,可以采用不同的压缩算法进行压缩,相比现有技术中,服务器只使用一种压缩算法对数据块中某一特定特征的数据进行压缩,本发明实施例提高了对数据块中的数据的压缩率。
本发明实施例还提供另一种服务器60,用于实施上述方法实施例提供的压缩数据的方法,如图6所示,包括:处理器61和存储器62,所述处理器61与所述存储器62通信,所述存储器62用于存储数据块中的数据,所述处理器61用于:
解析所述数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;
根据所述文件类型确定所述子数据块中的数据的特征;
根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;
使用所述目标压缩算法压缩所述子数据块中的数据。
可选地,所述根据所述文件类型确定所述子数据块中的数据的特征,包括:
查询所述文件类型与所述子数据块中的数据的特征的映射关系,确定所述子数据块中的数据的特征,其中,所述映射关系是根据应用的数据组织格式配置的。
可选地,所述根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法,包括:
确定所述特征对应的多个候选压缩算法;
从所述多个候选压缩算法中选择所述目标压缩算法。
可选地,所述从所述多个候选压缩算法中选择所述目标压缩算法,包括:
使用所述多个候选压缩算法中的每一个候选压缩算法预压缩所述子数据块中的数据;
获取所述每个候选压缩算法预压缩所述子数据块中的数据的压缩效率;
选择压缩效率最高的候选压缩算法作为所述目标压缩算法。
可选地,所述数据块包括第一子数据块和第二子数据块;所述处理器具体用于执行:
根据所述文件类型分别确定所述第一子数据块中的数据的特征以及所述第二子数据块中的数据的特征;
根据所述第一子数据块中的数据的特征选择用于压缩所述第一子数据块中的数据的第一目标压缩算法,根据所述第二子数据块中的数据的特征选择用于压缩所述第二子数据块中的数据的第二目标压缩算法;
使用所述第一目标压缩算法压缩所述第一子数据块中的数据,使用第二目标压缩算法压缩所述第二子数据块中的数据。
可选地,所述文件类型包括以下至少一种:
索引文件类型、数据文件类型、日志文件类型和控制文件类型。
可选地,所述子数据块中的数据的特征包括以下至少一种:
用于表示所述子数据块中的单字符连续重复大于第一阈值的第一特征,用于表示所述子数据块中的数据递增或递减的第二特征以及用于表示所述子数据块中的字符串连续重复大于第二阈值的第三特征。
本发明实施例中的处理器61可以是中央处理单元(英文全称:Center ProcessingUnit,简称:CPU)。另外,为节省CPU的计算资源,处理器61也可以是现场可编程门阵列(英文全称:Field Programmable Gate Array,简称:FPGA)或其他硬件,以实现本发明实施例中压缩数据的全部操作,或者,处理器61也可以是CPU和FPGA或其他硬件,则FPGA或其他硬件与CPU分别执行本发明实施例压缩数据的部分操作,以实现本发明实施例描述的压缩数据操作。为方便描述,本发明实施例统一描述为服务器的处理器61实现本发明实施例压缩数据操作。
值得说明的是,图5和图6所示的服务器可以是一运行有应用的应用服务器,该应用服务器可以通过上述方法实施例提供的压缩数据的方法,将数据块中的数据进行压缩后存储到自身的存储空间或者外接存储设备的存储空间。另外,图5和图6所示的服务器也可以是应用服务器的一外接存储设备,该外接存储设备可以在接收到应用服务器发送的未压缩的数据后,通过上述方法实施例提供的压缩数据的方法,对该数据进行压缩后存储到自身的存储空间。
在本申请所提供的几个实施例中,应该理解到,所公开的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、随机存取存储器(英文全称:RandomAccess Memory,简称:RAM)、磁碟或者光盘等各种可以存储数据的介质。
Claims (21)
1.一种服务器压缩数据的方法,其特征在于,所述方法包括:
所述服务器解析数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;
所述服务器根据所述文件类型确定所述子数据块中的数据的特征;
所述服务器根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;
所述服务器使用所述目标压缩算法压缩所述子数据块中的数据。
2.根据权利要求1所述的方法,其特征在于,所述服务器根据所述文件类型确定所述子数据块中的数据的特征,包括:
所述服务器查询所述文件类型与所述子数据块中的数据的特征的映射关系,确定所述子数据块中的数据的特征,其中,所述映射关系是根据应用的数据组织格式配置的。
3.根据权利要求1或2所述的方法,其特征在于,所述服务器根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法,包括:
所述服务器确定所述特征对应的多个候选压缩算法;
所述服务器从所述多个候选压缩算法中选择所述目标压缩算法。
4.根据权利要求3所述的方法,其特征在于,所述服务器从所述多个候选压缩算法中选择所述目标压缩算法,包括:
所述服务器使用所述多个候选压缩算法中的每一个候选压缩算法预压缩所述子数据块中的数据;
所述服务器获取所述每一个候选压缩算法预压缩所述子数据块中的数据的压缩效率;
所述服务器选择压缩效率最高的候选压缩算法作为所述目标压缩算法。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述数据块包括第一子数据块和第二子数据块;
所述服务器根据所述文件类型确定所述子数据块中的数据的特征,包括:
所述服务器根据所述文件类型分别确定所述第一子数据块中的数据的特征以及所述第二子数据块中的数据的特征;
所述服务器根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法,包括:
所述服务器根据所述第一子数据块中的数据的特征选择用于压缩所述第一子数据块中的数据的第一目标压缩算法,根据所述第二子数据块中的数据的特征选择用于压缩所述第二子数据块中的数据的第二目标压缩算法;
所述服务器使用所述目标压缩算法压缩所述子数据块中的数据,包括:
所述服务器使用所述第一目标压缩算法压缩所述第一子数据块中的数据,使用第二目标压缩算法压缩所述第二子数据块中的数据。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述文件类型包括以下至少一种:
索引文件类型,数据文件类型,日志文件类型和控制文件类型。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述子数据块中的数据的特征包括以下至少一种:
用于表示所述子数据块中的单字符连续重复大于第一阈值的第一特征,用于表示所述子数据块中的数据递增或递减的第二特征以及用于表示所述子数据块中的字符串连续重复大于第二阈值的第三特征。
8.一种服务器,其特征在于,包括:
解析单元,用于解析数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;
第一确定单元,用于根据所述文件类型确定所述子数据块中的数据的特征;
第二确定单元,根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;
压缩单元,用于使用所述目标压缩算法压缩所述子数据块中的数据。
9.根据权利要求8所述的服务器,其特征在于,还包括:第一配置单元,用于根据应用的数据组织格式配置所述文件类型与所述子数据块中的数据的特征的映射关系;
所述第一确定单元具体用于,查询所述文件类型与所述子数据块中的数据的特征的映射关系,确定所述子数据块中的数据的特征。
10.根据权利要求8或9所述的服务器,其特征在于,还包括:第二配置单元,用于配置所述特征与多个候选压缩算法的对应关系;
所述第二确定单元具体用于,确定所述特征对应的多个候选压缩算法,从所述多个候选压缩算法中选择所述目标压缩算法。
11.根据权利要求10所述的服务器,其特征在于,所述第二确定单元具体用于:
使用所述多个候选压缩算法中的每一个候选压缩算法预压缩所述子数据块中的数据;
获取所述每一个候选压缩算法预压缩所述子数据块中的数据的压缩效率;
选择压缩效率最高的候选压缩算法作为所述目标压缩算法。
12.根据权利要求8至11任一项所述的服务器,其特征在于,所述数据块包括第一子数据块和第二子数据块;
所述第一确定单元具体用于,根据所述文件类型分别确定所述第一子数据块中的数据的特征以及所述第二子数据块中的数据的特征;
所述第二确定单元具体用于,根据所述第一子数据块中的数据的特征选择用于压缩所述第一子数据块中的数据的第一目标压缩算法,根据所述第二子数据块中的数据的特征选择用于压缩所述第二子数据块中的数据的第二目标压缩算法;
所述压缩单元具体用于,使用所述第一目标压缩算法压缩所述第一子数据块中的数据,使用第二目标压缩算法压缩所述第二子数据块中的数据。
13.根据权利要求8至12任一项所述的服务器,其特征在于,所述文件类型包括以下至少一种:
索引文件类型,数据文件类型,日志文件类型和控制文件类型。
14.根据权利要求8至13任一项所述的服务器,其特征在于,所述子数据块中的数据的特征包括以下至少一种:
用于表示所述子数据块中的单字符连续重复大于第一阈值的第一特征,用于表示所述子数据块中的数据递增或递减的第二特征以及用于表示所述子数据块中的字符串连续重复大于第二阈值的第三特征。
15.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述处理器与所述存储器通信,所述存储器用于存储数据块中的数据,所述处理器用于执行:
解析所述数据块中的信息块,获取所述数据块中的数据的文件类型以及所述数据块包括的子数据块;
根据所述文件类型确定所述子数据块中的数据的特征;
根据所述特征选择用于压缩所述子数据块中的数据的目标压缩算法;
使用所述目标压缩算法压缩所述子数据块中的数据。
16.根据权利要求15所述的服务器,其特征在于,所述处理器具体用于执行:
查询所述文件类型与所述子数据块中的数据的特征的映射关系,确定所述子数据块中的数据的特征,其中,所述映射关系是所述服务器根据应用的数据组织格式配置的。
17.根据权利要求15或16所述的服务器,其特征在于,所述处理器具体用于执行:
确定所述特征对应的多个候选压缩算法;
从所述多个候选压缩算法中选择所述目标压缩算法。
18.根据权利要求17所述的服务器,其特征在于,所述处理器具体用于执行:
使用所述多个候选压缩算法中的每一个候选压缩算法预压缩所述子数据块中的数据;
获取所述每一个候选压缩算法预压缩所述子数据块中的数据的压缩效率;
选择压缩效率最高的候选压缩算法作为所述目标压缩算法。
19.根据权利要求15至18任一项所述的服务器,其特征在于,所述数据块包括第一子数据块和第二子数据块;所述处理器具体用于执行:
根据所述文件类型分别确定所述第一子数据块中的数据的特征以及所述第二子数据块中的数据的特征;
根据所述第一子数据块中的数据的特征选择用于压缩所述第一子数据块中的数据的第一目标压缩算法,根据所述第二子数据块中的数据的特征选择用于压缩所述第二子数据块中的数据的第二目标压缩算法;
使用所述第一目标压缩算法压缩所述第一子数据块中的数据,使用第二目标压缩算法压缩所述第二子数据块中的数据。
20.根据权利要求15至19任一项所述的服务器,其特征在于,所述文件类型包括以下至少一种:
索引文件类型,数据文件类型,日志文件类型和控制文件类型。
21.根据权利要求15至20任一项所述的服务器,其特征在于,所述子数据块中的数据的特征包括以下至少一种:
用于表示所述子数据块中的单字符连续重复大于第一阈值的第一特征,用于表示所述子数据块中的数据递增或递减的第二特征以及用于表示所述子数据块中的字符串连续重复大于第二阈值的第三特征。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/099577 WO2017113124A1 (zh) | 2015-12-29 | 2015-12-29 | 一种服务器以及服务器压缩数据的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107172886A true CN107172886A (zh) | 2017-09-15 |
CN107172886B CN107172886B (zh) | 2019-07-26 |
Family
ID=59224247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580002561.8A Active CN107172886B (zh) | 2015-12-29 | 2015-12-29 | 一种服务器以及服务器压缩数据的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10727864B2 (zh) |
EP (1) | EP3229444B1 (zh) |
JP (1) | JP6344486B2 (zh) |
CN (1) | CN107172886B (zh) |
SG (1) | SG11201703157YA (zh) |
WO (1) | WO2017113124A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108197168A (zh) * | 2017-12-18 | 2018-06-22 | 中国移动通信集团广东有限公司 | 一种数据压缩方法、设备和计算机可读存储介质 |
CN108304472A (zh) * | 2017-12-28 | 2018-07-20 | 中国银联股份有限公司 | 一种数据压缩存储方法以及数据压缩存储装置 |
CN109962710A (zh) * | 2017-12-14 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 数据压缩方法、电子设备及计算机可读存储介质 |
CN110163367A (zh) * | 2018-09-29 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种模型压缩方法和装置 |
CN113676727A (zh) * | 2021-08-18 | 2021-11-19 | 深圳市朗强科技有限公司 | 一种基于wifi的超高清视频的发送、接收方法及设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11144445B1 (en) * | 2016-03-28 | 2021-10-12 | Dell Products L.P. | Use of compression domains that are more granular than storage allocation units |
CN113055017A (zh) * | 2019-12-28 | 2021-06-29 | 华为技术有限公司 | 数据压缩方法及计算设备 |
AU2021382348A1 (en) * | 2020-11-20 | 2023-07-06 | Koninklijke Philips N.V. | System and method for auto-configurable data compression framework |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6253264B1 (en) * | 1997-03-07 | 2001-06-26 | Intelligent Compression Technologies | Coding network grouping data of same data type into blocks using file data structure and selecting compression for individual block base on block data type |
US20020097172A1 (en) * | 1998-12-11 | 2002-07-25 | Fallon James J. | Content independent data compression method and system |
CN102185611A (zh) * | 2010-02-16 | 2011-09-14 | 微软公司 | 数据的有效提取和压缩 |
US20130275396A1 (en) * | 2012-04-11 | 2013-10-17 | Netapp, Inc. | Systems and Methods for Selecting Data Compression for Storage Data in a Storage System |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5434568A (en) * | 1985-01-10 | 1995-07-18 | Moll; Edward W. | Data compression by removing repetition and unnecessary information |
US5038392A (en) | 1990-02-12 | 1991-08-06 | International Business Machines Corporation | Method and apparatus for adaptive image processing by recognizing a characterizing indicium in a captured image of a document |
JPH04359315A (ja) * | 1991-06-05 | 1992-12-11 | Matsushita Electric Ind Co Ltd | データ圧縮制御装置及びデータ復元制御装置 |
JP3618023B2 (ja) * | 1996-09-04 | 2005-02-09 | 富士ゼロックス株式会社 | 符号化装置及び復号化装置 |
US7246177B2 (en) * | 2001-05-17 | 2007-07-17 | Cyber Ops, Llc | System and method for encoding and decoding data files |
JP2004112497A (ja) * | 2002-09-19 | 2004-04-08 | Tokukin Kagi Kofun Yugenkoshi | 最適のデータ圧縮法の選択方法 |
US7460032B2 (en) * | 2005-10-27 | 2008-12-02 | Evault, Inc. | Methods and apparatus for performing adaptive compression |
CN100472526C (zh) * | 2006-06-28 | 2009-03-25 | 腾讯科技(深圳)有限公司 | 一种数据存储方法、数据读取方法以及数据检索方法 |
US7532134B2 (en) * | 2007-03-12 | 2009-05-12 | Citrix Systems, Inc. | Systems and methods for sharing compression histories between multiple devices |
US8005801B2 (en) | 2008-06-02 | 2011-08-23 | Microsoft Corporation | Aging and compressing multimedia content |
JP5135272B2 (ja) | 2009-03-24 | 2013-02-06 | 株式会社東芝 | 構造化文書管理装置、及び方法 |
US9667269B2 (en) | 2009-04-30 | 2017-05-30 | Oracle International Corporation | Technique for compressing XML indexes |
US8633838B2 (en) * | 2010-01-15 | 2014-01-21 | Neverfail Group Limited | Method and apparatus for compression and network transport of data in support of continuous availability of applications |
EP2710497B1 (en) | 2011-05-19 | 2019-01-23 | Oracle International Corporation | Techniques for automatic data placement with compression and columnar storage |
US9363339B2 (en) | 2011-07-12 | 2016-06-07 | Hughes Network Systems, Llc | Staged data compression, including block level long range compression, for data streams in a communications system |
CN102982046B (zh) | 2011-09-07 | 2017-09-26 | 中国移动通信集团公司 | 一种网页数据压缩存储方法和系统 |
JP2013085071A (ja) | 2011-10-07 | 2013-05-09 | Fujitsu Ltd | データ圧縮装置、及び方法 |
CN102638579B (zh) * | 2012-03-29 | 2016-05-04 | 深圳市高正软件有限公司 | 一种基于移动设备数据传输的数据处理方法及系统 |
CN102761540B (zh) * | 2012-05-30 | 2014-11-19 | 北京奇虎科技有限公司 | 数据压缩方法、装置、系统以及服务器 |
-
2015
- 2015-12-29 JP JP2016565400A patent/JP6344486B2/ja active Active
- 2015-12-29 CN CN201580002561.8A patent/CN107172886B/zh active Active
- 2015-12-29 WO PCT/CN2015/099577 patent/WO2017113124A1/zh active Application Filing
- 2015-12-29 SG SG11201703157YA patent/SG11201703157YA/en unknown
- 2015-12-29 EP EP15911657.3A patent/EP3229444B1/en active Active
-
2018
- 2018-03-01 US US15/909,704 patent/US10727864B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6253264B1 (en) * | 1997-03-07 | 2001-06-26 | Intelligent Compression Technologies | Coding network grouping data of same data type into blocks using file data structure and selecting compression for individual block base on block data type |
US20020097172A1 (en) * | 1998-12-11 | 2002-07-25 | Fallon James J. | Content independent data compression method and system |
CN102185611A (zh) * | 2010-02-16 | 2011-09-14 | 微软公司 | 数据的有效提取和压缩 |
US20130275396A1 (en) * | 2012-04-11 | 2013-10-17 | Netapp, Inc. | Systems and Methods for Selecting Data Compression for Storage Data in a Storage System |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109962710A (zh) * | 2017-12-14 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 数据压缩方法、电子设备及计算机可读存储介质 |
CN108197168A (zh) * | 2017-12-18 | 2018-06-22 | 中国移动通信集团广东有限公司 | 一种数据压缩方法、设备和计算机可读存储介质 |
CN108304472A (zh) * | 2017-12-28 | 2018-07-20 | 中国银联股份有限公司 | 一种数据压缩存储方法以及数据压缩存储装置 |
CN110163367A (zh) * | 2018-09-29 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种模型压缩方法和装置 |
CN110163367B (zh) * | 2018-09-29 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 一种终端部署方法和装置 |
CN113676727A (zh) * | 2021-08-18 | 2021-11-19 | 深圳市朗强科技有限公司 | 一种基于wifi的超高清视频的发送、接收方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
JP2018503882A (ja) | 2018-02-08 |
JP6344486B2 (ja) | 2018-06-20 |
WO2017113124A1 (zh) | 2017-07-06 |
EP3229444A4 (en) | 2017-12-20 |
EP3229444A1 (en) | 2017-10-11 |
CN107172886B (zh) | 2019-07-26 |
US10727864B2 (en) | 2020-07-28 |
US20180191370A1 (en) | 2018-07-05 |
EP3229444B1 (en) | 2019-10-16 |
SG11201703157YA (en) | 2017-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107172886A (zh) | 一种服务器以及服务器压缩数据的方法 | |
US10613976B2 (en) | Method and storage device for reducing data duplication | |
CN102684827B (zh) | 数据处理方法及数据处理设备 | |
CN103348334B (zh) | 云系统以及在云系统中的文件压缩及传送方法 | |
AU2007336337B2 (en) | System and method for optimizing changes of data sets | |
CN105159985A (zh) | 基于redis集群的数据查询装置及方法 | |
US7961119B1 (en) | Memory efficient indexing for disk-based compression | |
CN101043421B (zh) | 一种基于内存的ip地址最长匹配快速查找的方法 | |
CN114731162A (zh) | 压缩数据的部分下载 | |
CN105553937A (zh) | 数据压缩的系统和方法 | |
CN108092956A (zh) | 一种获取压缩字典的方法和装置 | |
CN105446975A (zh) | 一种文件打包方法及装置 | |
CN104579970A (zh) | 一种IPv6报文的策略匹配方法及装置 | |
US10581456B2 (en) | Data compression device and data decompression device | |
CN100477582C (zh) | 一种即时通信中即时处理多媒体信息的方法和系统 | |
CN103930890B (zh) | 数据处理方法、装置及重删处理器 | |
CN105320669A (zh) | 数据存储、读取方法及数据存储、读取装置 | |
CN108243207B (zh) | 一种网络云盘的数据存储方法 | |
CN108241639B (zh) | 一种数据去重方法 | |
CN104077272A (zh) | 一种字典压缩的方法和装置 | |
CN116683914A (zh) | 数据压缩方法、装置和系统 | |
CN114968090A (zh) | 数据处理方法、装置及计算机存储可读存储介质 | |
CN106777230B (zh) | 一种分区系统、分区方法及装置 | |
CN109408467A (zh) | 一种实现数据存储的方法及装置 | |
CN112054805B (zh) | 一种模型数据压缩方法、系统及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |