CN108304472A - 一种数据压缩存储方法以及数据压缩存储装置 - Google Patents

一种数据压缩存储方法以及数据压缩存储装置 Download PDF

Info

Publication number
CN108304472A
CN108304472A CN201711455790.2A CN201711455790A CN108304472A CN 108304472 A CN108304472 A CN 108304472A CN 201711455790 A CN201711455790 A CN 201711455790A CN 108304472 A CN108304472 A CN 108304472A
Authority
CN
China
Prior art keywords
compression
data
field
storage
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711455790.2A
Other languages
English (en)
Inventor
何东杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN201711455790.2A priority Critical patent/CN108304472A/zh
Publication of CN108304472A publication Critical patent/CN108304472A/zh
Priority to PCT/CN2018/111180 priority patent/WO2019128409A1/zh
Priority to TW107137912A priority patent/TWI683548B/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据压缩存储方法以及数据压缩存储装置。该数据压缩方法包括下述步骤：切分步骤，将原始数据切分成多个字段；以及压缩步骤，基于数据内容的不同，对于不同字段采用不同的压缩策略进行压缩并存储压缩后的压缩数据。根据本发明的数据压缩存储方法以及数据压缩存储装置，能够考虑到数据内容的不同而采用不同的压缩方法，能够有效提高数据压缩效率，相比通用的GZIP、SNAPPY等数据压缩工具，在数据压缩率上有明显的提升。

Description

一种数据压缩存储方法以及数据压缩存储装置
技术领域
本发明涉及数据处理技术，具体涉及一种数据压缩存储方法以及数据压缩存储装置。
背景技术
企业在进行数据存储时候，从节约存储空间以及提升读取效率方面考虑，一般都会对数据进行压缩存储。但是，通用的压缩工具针对的是所有的数据。
再者，现有的常见的数据压缩工具包括GZIP、SNAPPY等，是针对通用数据进行压缩。
但是，如上所说，目前企业进行数据存储时采用的压缩工具是对所有数据通用的工具，对企业来说，没有充分考虑到企业数据的特点。因此，数据的压缩效率并不是很高。
发明内容
鉴于所述问题，本发明旨在提出一种进一步数据压缩存储方法以及数据压缩存储装置。
本发明的数据压缩存储方法，其特征在于，包括下述步骤：
切分步骤，将原始数据切分成多个字段；以及
压缩步骤，基于数据内容的不同，对于不同字段采用不同的压缩策略进行压缩并存储压缩后的压缩数据。
优选地，在所述压缩步骤中，判断字段之间的关联关系强弱，根据关联关系强弱，设定压缩策略。
优选地，所述压缩步骤包括下述子步骤：
对切成多个字段的数据进行内容分析，建立字段之间的关联关系；以及
针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
优选地，所述压缩步骤包括下述子步骤：
对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
将存在相关关系的多个字段进行组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
优选地，所述压缩步骤包括下述子步骤：
对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储，并且，另一方面，也将存在相关关系的多个字段进行组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
优选地，作为压缩策略，对于枚举型字符串字段使用二进制进行压缩存储、对于字符串数值转换为整数或者浮点进行压缩存储。
优选地，作为压缩策略，将短字段进行组合后再进行压缩存储、将近似字段压缩冗余信息后进行压缩存储、对于字段之间信息逆序的仅存储其中一个、对于字段之间存在包含关系的压缩冗余信息后存储。
优选地，作为压缩策略，对于枚举型字符串字段使用二进制进行压缩存储、将字符串数值转换为整数或者浮点进行压缩存储、将短字段进行组合后再进行压缩存储、将近似字段压缩冗余信息后进行压缩存储、对于字段之间信息逆序的仅存储其中一个、对于字段之间存在包含关系的压缩冗余信息后存储。
优选地，进一步具备：
映射关系存储步骤，建立所述原始数据与所述压缩数据之间的映射关系并存储。
本发明的数据压缩存储装置，其特征在于，具备：
切分模块，用于将原始数据切分成多个字段；以及
压缩模块，用于基于数据内容的不同，对于不同字段采用不同的压缩策略进行压缩并存储压缩后的压缩数据。
优选地，所述压缩模块判断字段之间的关联关系强弱，根据关联关系强弱，设定压缩策略。
优选地，进一步具备：
映射关系存储模块，用于建立所述原始数据与所述压缩数据之间的映射关系并存储。
优选地，所述压缩步骤具备下述子模块：
内容分析子模块，对切成多个字段的数据进行内容分析，建立字段之间的关联关系；以及
压缩子模块，针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
优选地，所述压缩模块具备：
内容分析子模块，对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
压缩子模块，将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
优选地，所述压缩模块具备：
内容分析子模块，对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
压缩子模块，针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储，并且也将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
本发明的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的数据压缩存储方法。
本发明的计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的数据压缩存储方法的步骤。
如上所述，根据本发明的数据压缩存储方法以及数据压缩存储装置，提出了一种面向企业数据特点的高效数据压缩方案，通过针对企业数据特点进行分析，针对不同数据字段使用相应的高效压缩算法，从而提高数据压缩压缩效率。相比通用的GZIP、SNAPPY等数据压缩工具，在数据压缩率上有明显的提升。
附图说明
图1是表示本发明的数据压缩存储方法的流程图。
图2是表示本发明的数据压缩存储装置的结构示意图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
本发明的数据压缩存储方法以及数据压缩存储装置的主要构思在于，针对企业数据内容进行分析，建立数据分布图，结合数据内容和数据分布，对每个信息采用对应的优化压缩算法。比如说对于枚举型字符串字段采用二进制编码进行压缩，将存储数字的字符串转换为整数或者浮点类型等。再者，对于数据内容中相关联的字段，可以进行合并后再进行压缩。再者，有些字段来自于其他字段的组合，则可以仅存储其中一份数据，有些字段是其他字段的倒序，则仅存储其中一份数据。
接着，对于本发明的数据压缩存储方法进行说明。
图1是表示本发明的数据压缩存储方法的流程图。
如图1所示，本发明的数据压缩存储方法包括下述步骤：
切分步骤S100：将原始数据切分成多个字段；以及
压缩步骤S200：基于数据内容的不同，对于不同字段采用不同的优化的压缩策略进行压缩并存储压缩后的压缩数据，其中，判断字段之间的关联关系强弱，根据关联关系强弱，设定不同的压缩策略。
根据切分步骤S100和压缩步骤S200，通过数据内容的分析，建立数据表字段、字段之间的关联关系，再采用对应的优化压缩算法进行压缩，从而能够达到提高数据压缩率的效果。
作为优选的方式，进一步可设置映射关系存储步骤S300，在该映射关系存储步骤S300中在元数据中建立原始数据与压缩数据之间的映射关系并存储，这样，从外部访问数据时能够根据该映射关系顺利解析出原始数据。
接着，对于本发明的数据压缩存储装置进行简单说明。图2是表示本发明的数据压缩存储装置的结构示意图。
如图2所示，本发明的数据压缩存储装置具备：
切分模块100，用于将原始数据切分成多个字段；以及
压缩模块200，用于基于数据内容的不同，对于不同字段采用不同的优化压缩策略进行压缩并存储压缩后的压缩数据，其中，所述压缩模块200判断字段之间的关联关系强弱，根据关联关系强弱，设定压缩策略。
作为优选的方式，进一步还可以设置映射关系存储模块300，在该映射关系存储模块300中建立原始数据与压缩数据之间的映射关系并存储，这样，从外部访问数据时能够根据该映射关系顺利解析出原始数据。另外，映射关系存储模块300并不是本发明的数据压缩存储装置所必须的构造单元，而只是优选具备的一个模块。
接着对于本发明的数据压缩存储方法以及数据压缩存储装置的具体实施方式进行说明。
第一实施方式
第一实施方式涉及的是针对每个字段使用优化的压缩策略进行压缩存储的实施方式。
首先，对于第一实施方式的数据压缩存储方法进行说明。
第一实施方式的数据压缩存储方法包括切分步骤和压缩步骤，其中切分步骤与上述切分步骤S100相同，而压缩步骤具体包括下述子步骤：
对切成多个字段的数据进行内容分析，建立字段之间的关联关系；以及
针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
例如，作为压缩策略，对不同的数据内容采用相关优化的数据压缩存储方式；比如枚举型使用二进制存储、字符串数值转换为整数或者浮点存储等等。
作为优选的方式，进一步可设置映射关系存储步骤，在该映射关系存储步骤中建立所述原始数据与所述压缩数据之间的映射关系并存储，这样，从外部访问数据时能够根据该映射关系顺利解析出原始数据。
再者，简单说明第一实施方式的数据压缩存储装置。
第一实施方式的数据压缩存储装置具备：切分模块以及压缩模块。第一实施方式中的切分模块的功能与上述切分模块100相同，第一实施方式中的压缩模块具体地具备下述子模块：
内容分析子模块，对切成多个字段的数据进行内容分析，建立字段之间的关联关系；以及
压缩子模块，针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
另外，也可以选择性地设置映射关系存储模块，在该映射关系存储模块中建立原始数据与压缩数据之间的映射关系并存储。
第二实施方式
第二实施方式涉及的是针对多个字段使用优化的压缩策略的实施方式。
首先，对于第二实施方式的数据压缩存储方法进行说明。
第二实施方式的数据压缩存储方法包括切分步骤和压缩步骤，其中切分步骤与上述切分步骤S100相同，而压缩步骤具体包括下述子步骤：
对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
例如，作为压缩策略，对多个字段进行组合，并采用相关优化的数据压缩存储方式；比如短字段进行组合后再压缩存储、近似字段压缩冗余信息后压缩存储、字段之间信息逆序的仅存储其中一个、字段之间存在包含关系的压缩冗余信息后存储等等。
作为优选的方式，进一步可设置映射关系存储步骤，在该映射关系存储步骤中建立所述原始数据与所述压缩数据之间的映射关系并存储，这样，从外部访问数据时能够根据该映射关系顺利解析出原始数据。
再者，简单说明第二实施方式的数据压缩存储装置。
第二实施方式的数据压缩存储装置具备：切分模块以及压缩模块。第一实施方式中的切分模块的功能与上述切分模块100相同，第一实施方式中的压缩模块具体地具备下述子模块：
内容分析子模块，对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
压缩子模块，将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
另外，也可以选择性地设置映射关系存储模块，在该映射关系存储模块中建立原始数据与压缩数据之间的映射关系并存储。
第三实施方式
第三实施方式涉及的是针对单个字段和多个字段组合均使用优化的压缩策略的实施方式。
首先，对于第三实施方式的数据压缩存储方法进行说明。
第三实施方式的数据压缩存储方法包括切分步骤和压缩步骤，其中切分步骤与上述切分步骤S100相同，而压缩步骤具体包括下述子步骤：
对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储，并且也将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
作为压缩策略，对多个字段进行组合，针对单字段和多字段均采用相关优化的数据压缩存储方式；比如枚举型使用二进制存储、字符串数值转换为整数或者浮点存储、短字段进行组合后再压缩存储、近似字段压缩冗余信息后压缩存储、字段之间信息逆序的仅存储其中一个、字段之间存在包含关系的压缩冗余信息后存储等等。
作为优选的方式，进一步可设置映射关系存储步骤，在该映射关系存储步骤中建立所述原始数据与所述压缩数据之间的映射关系并存储，这样，从外部访问数据时能够根据该映射关系顺利解析出原始数据。
再者，简单说明第三实施方式的数据压缩存储装置。
第三实施方式的数据压缩存储装置具备：切分模块以及压缩模块。第一实施方式中的切分模块的功能与上述切分模块100相同，第一实施方式中的压缩模块具体地具备下述子模块：
内容分析子模块，对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
压缩子模块，针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储，并且也将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
另外，也可以选择性地设置映射关系存储模块，在该映射关系存储模块中建立原始数据与压缩数据之间的映射关系并存储。
本发明还提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要上述各实施方式数据压缩存储方法。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的数据压缩存储方法的步骤。
如上所述，根据本发明的数据压缩存储方法以及数据压缩存储装置，能够考虑到数据内容的不同而采用不同的压缩方法，能够有效提高数据压缩效率，相比通用的GZIP、SNAPPY等数据压缩工具，在数据压缩率上有明显的提升。
以上例子主要说明了本发明的数据压缩存储方法以及数据压缩存储装置。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (17)

1.一种数据压缩存储方法，其特征在于，包括下述步骤：
切分步骤，将原始数据切分成多个字段；以及
压缩步骤，基于数据内容的不同，对于不同字段采用不同的压缩策略进行压缩并存储压缩后的压缩数据。
2.如权利要求1所述的数据压缩存储方法，其特征在于，
在所述压缩步骤中，判断字段之间的关联关系强弱，根据关联关系强弱，设定压缩策略。
3.如权利要求1所述的数据压缩存储方法，其特征在于，
所述压缩步骤包括下述子步骤：
对切成多个字段的数据进行内容分析，建立字段之间的关联关系；以及
针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
4.如权利要求1所述的数据压缩存储方法，其特征在于，所述压缩步骤包括下述子步骤：
对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
将存在相关关系的多个字段进行组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
5.如权利要求1所述的数据压缩存储方法，其特征在于，所述压缩步骤包括下述子步骤：
对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储，并且，另一方面，也将存在相关关系的多个字段进行组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
6.如权利要求3所述的数据压缩存储方法，其特征在于，
作为压缩策略，对于枚举型字符串字段使用二进制进行压缩存储、对于字符串数值转换为整数或者浮点进行压缩存储。
7.如权利要求4所述的数据压缩存储方法，其特征在于，
作为压缩策略，将短字段进行组合后再进行压缩存储、将近似字段压缩冗余信息后进行压缩存储、对于字段之间信息逆序的仅存储其中一个、对于字段之间存在包含关系的压缩冗余信息后存储。
8.如权利要求5所述的数据压缩存储方法，其特征在于，
作为压缩策略，对于枚举型字符串字段使用二进制进行压缩存储、将字符串数值转换为整数或者浮点进行压缩存储、将短字段进行组合后再进行压缩存储、将近似字段压缩冗余信息后进行压缩存储、对于字段之间信息逆序的仅存储其中一个、对于字段之间存在包含关系的压缩冗余信息后存储。
9.如权利要求1~8任意一项所述的数据压缩存储方法，其特征在于，进一步具备：
映射关系存储步骤，建立所述原始数据与所述压缩数据之间的映射关系并存储。
10.一种数据压缩存储装置，其特征在于，具备：
切分模块，用于将原始数据切分成多个字段；以及
压缩模块，用于基于数据内容的不同，对于不同字段采用不同的压缩策略进行压缩并存储压缩后的压缩数据。
11.如权利要求10所述的数据压缩存储装置，其特征在于，
所述压缩模块判断字段之间的关联关系强弱，根据关联关系强弱，设定压缩策略。
12.如权利要求10所述的数据压缩存储装置，其特征在于，进一步具备：
映射关系存储模块，用于建立所述原始数据与所述压缩数据之间的映射关系并存储。
13.如权利要求10~12任意一项所述的数据压缩存储装置，其特征在于，所述压缩步骤具备下述子模块：
内容分析子模块，对切成多个字段的数据进行内容分析，建立字段之间的关联关系；以及
压缩子模块，针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
14.如权利要求1所述的数据压缩存储装置，其特征在于，所述压缩模块具备：
内容分析子模块，对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
压缩子模块，将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
15.如权利要求1所述的数据压缩存储装置，其特征在于，所述压缩模块具备：
内容分析子模块，对切成多个字段的数据进行内容分析，建立数据分布图以及字段之间的关联关系图，基于数据分布图以及关联关系图识别数据字段之间的相关关系；以及
压缩子模块，针对单个字段，对于不同的数据内容采用不同的压缩策略进行压缩存储，并且也将存在相关关系的多个字段组合，针对组合后的字段，对于不同的数据内容采用不同的压缩策略进行压缩存储。
16.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1~9中任意一项所述的数据压缩存储方法。
17.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~9中任意一项所述的数据压缩存储方法的步骤。
CN201711455790.2A 2017-12-28 2017-12-28 一种数据压缩存储方法以及数据压缩存储装置 Pending CN108304472A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711455790.2A CN108304472A (zh) 2017-12-28 2017-12-28 一种数据压缩存储方法以及数据压缩存储装置
PCT/CN2018/111180 WO2019128409A1 (zh) 2017-12-28 2018-10-22 一种数据压缩存储方法以及数据压缩存储装置
TW107137912A TWI683548B (zh) 2017-12-28 2018-10-26 資料壓縮存儲方法、資料壓縮存儲裝置、電腦可讀取記錄媒體以及電腦設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711455790.2A CN108304472A (zh) 2017-12-28 2017-12-28 一种数据压缩存储方法以及数据压缩存储装置

Publications (1)

Publication Number Publication Date
CN108304472A true CN108304472A (zh) 2018-07-20

Family

ID=62867648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711455790.2A Pending CN108304472A (zh) 2017-12-28 2017-12-28 一种数据压缩存储方法以及数据压缩存储装置

Country Status (3)

Country Link
CN (1) CN108304472A (zh)
TW (1) TWI683548B (zh)
WO (1) WO2019128409A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128409A1 (zh) * 2017-12-28 2019-07-04 中国银联股份有限公司 一种数据压缩存储方法以及数据压缩存储装置
CN110134342A (zh) * 2019-05-28 2019-08-16 首都师范大学 数据近似方法及系统、存储方法及系统、读取方法及系统
CN110784227A (zh) * 2019-10-21 2020-02-11 清华大学 一种对数据集的多路压缩方法、装置及存储介质
CN111008230A (zh) * 2019-11-22 2020-04-14 远景智能国际私人投资有限公司 数据存储方法、装置、计算机设备及存储介质
CN111010189A (zh) * 2019-10-21 2020-04-14 清华大学 一种对数据集的多路压缩方法、装置及存储介质
CN111259107A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 行列式文本的存储方法、装置以及电子设备
CN113220651A (zh) * 2021-04-25 2021-08-06 暨南大学 运行数据压缩方法、装置、终端设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379136A (zh) * 2012-04-17 2013-10-30 中国移动通信集团公司 一种日志采集数据压缩方法、解压缩方法及装置
CN104424229A (zh) * 2013-08-26 2015-03-18 腾讯科技（深圳）有限公司 一种多维度拆分的计算方法及系统
CN104462524A (zh) * 2014-12-24 2015-03-25 福建江夏学院 一种物联网数据压缩存储方法
CN106156037A (zh) * 2015-03-26 2016-11-23 深圳市腾讯计算机系统有限公司 数据处理方法、装置及系统
CN107172886A (zh) * 2015-12-29 2017-09-15 华为技术有限公司 一种服务器以及服务器压缩数据的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638579B (zh) * 2012-03-29 2016-05-04 深圳市高正软件有限公司 一种基于移动设备数据传输的数据处理方法及系统
CN102708183B (zh) * 2012-05-09 2015-03-25 华为技术有限公司 数据压缩的方法和装置
CN105308589A (zh) * 2013-04-17 2016-02-03 朗桑有限公司 基于数据内容来压缩数据
CN106019369B (zh) * 2016-06-28 2017-12-22 西南科技大学 一种改进的seg‑y文件中地震数据无损压缩算法
CN106980639B (zh) * 2016-12-29 2020-07-28 中国银联股份有限公司 短文本数据聚合系统及方法
CN108304472A (zh) * 2017-12-28 2018-07-20 中国银联股份有限公司 一种数据压缩存储方法以及数据压缩存储装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379136A (zh) * 2012-04-17 2013-10-30 中国移动通信集团公司 一种日志采集数据压缩方法、解压缩方法及装置
CN104424229A (zh) * 2013-08-26 2015-03-18 腾讯科技（深圳）有限公司 一种多维度拆分的计算方法及系统
CN104462524A (zh) * 2014-12-24 2015-03-25 福建江夏学院 一种物联网数据压缩存储方法
CN106156037A (zh) * 2015-03-26 2016-11-23 深圳市腾讯计算机系统有限公司 数据处理方法、装置及系统
CN107172886A (zh) * 2015-12-29 2017-09-15 华为技术有限公司 一种服务器以及服务器压缩数据的方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128409A1 (zh) * 2017-12-28 2019-07-04 中国银联股份有限公司 一种数据压缩存储方法以及数据压缩存储装置
CN110134342A (zh) * 2019-05-28 2019-08-16 首都师范大学 数据近似方法及系统、存储方法及系统、读取方法及系统
CN110784227A (zh) * 2019-10-21 2020-02-11 清华大学 一种对数据集的多路压缩方法、装置及存储介质
CN111010189A (zh) * 2019-10-21 2020-04-14 清华大学 一种对数据集的多路压缩方法、装置及存储介质
CN110784227B (zh) * 2019-10-21 2021-07-30 清华大学 一种对数据集的多路压缩方法、装置及存储介质
CN111010189B (zh) * 2019-10-21 2021-10-26 清华大学 一种对数据集的多路压缩方法、装置及存储介质
CN111008230A (zh) * 2019-11-22 2020-04-14 远景智能国际私人投资有限公司 数据存储方法、装置、计算机设备及存储介质
CN111008230B (zh) * 2019-11-22 2023-08-04 远景智能国际私人投资有限公司 数据存储方法、装置、计算机设备及存储介质
CN111259107A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 行列式文本的存储方法、装置以及电子设备
CN111259107B (zh) * 2020-01-10 2023-08-18 北京百度网讯科技有限公司 行列式文本的存储方法、装置以及电子设备
CN113220651A (zh) * 2021-04-25 2021-08-06 暨南大学 运行数据压缩方法、装置、终端设备以及存储介质
CN113220651B (zh) * 2021-04-25 2024-02-09 暨南大学 运行数据压缩方法、装置、终端设备以及存储介质

Also Published As

Publication number Publication date
WO2019128409A1 (zh) 2019-07-04
TWI683548B (zh) 2020-01-21
TW201931780A (zh) 2019-08-01

Similar Documents

Publication Publication Date Title
CN108304472A (zh) 一种数据压缩存储方法以及数据压缩存储装置
CN104348490B (zh) 一种基于效果优选的组合数据压缩方法
EP2154618A3 (en) Aggregating data with complex operations
CN102880709B (zh) 数据仓库管理系统和数据仓库管理方法
CN104298736B (zh) 数据集合连接方法、装置及数据库系统
WO2004114160A3 (en) Systems and processes for automated criteria and attribute generation, searching, auditing and reporting of data
CN102708183B (zh) 数据压缩的方法和装置
WO2003083724A8 (en) Metadata database management system and method therfor
WO2005036307A3 (en) System for optimizing a business process
CN102929961A (zh) 基于构建快速数据分级通道的数据处理方法及其装置
WO2018001085A1 (zh) 数据存储方法和装置、数据查找请求的处理方法和装置
CN103995988A (zh) 一种高通量dna测序质量分数无损压缩系统及压缩方法
CN109064031A (zh) 基于区块链的项目干系人信用评价方法、区块链及存储介质
CN102801723A (zh) 物联网接入设备及方法
CN106021417A (zh) 日志压缩方法及装置
CN106528896A (zh) 一种数据库优化方法和装置
CN103455555A (zh) 基于移动终端相似度的推荐方法及推荐装置
SE0300353D0 (sv) Method and system for managing energy information
CN110489490A (zh) 基于分布式数据库的数据存储和查询方法
WO2007014078A3 (en) System and method for automating a business process of a service provider
TW200622952A (en) Method and system with multiple purpose and functions for alarm performance assesment
CN104298570B (zh) 数据处理方法和装置
CN104077272B (zh) 一种字典压缩的方法和装置
CN101609449A (zh) 一种基于布鲁姆过滤器的数据块快速比较系统
CN102508839A (zh) 数据处理装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1258316

Country of ref document: HK