CN111611214A - 一种大数据存储算法 - Google Patents

一种大数据存储算法 Download PDF

Info

Publication number
CN111611214A
CN111611214A CN202010450208.9A CN202010450208A CN111611214A CN 111611214 A CN111611214 A CN 111611214A CN 202010450208 A CN202010450208 A CN 202010450208A CN 111611214 A CN111611214 A CN 111611214A
Authority
CN
China
Prior art keywords
data
suffix
file
prefix
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010450208.9A
Other languages
English (en)
Other versions
CN111611214B (zh
Inventor
张鹏
谢城
张建秋
张嘉声
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiangsheng Intelligent Technology Co ltd
Original Assignee
Guangzhou Xiangsheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiangsheng Intelligent Technology Co ltd filed Critical Guangzhou Xiangsheng Intelligent Technology Co ltd
Priority to CN202010450208.9A priority Critical patent/CN111611214B/zh
Publication of CN111611214A publication Critical patent/CN111611214A/zh
Application granted granted Critical
Publication of CN111611214B publication Critical patent/CN111611214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种大数据存储算法，其包括以下步骤，S1：从上层应用获取原始数据，对原始数据进行遍历；S2：对遍历完的原始数据根据聚类算法拆分成前缀数据和后缀数据；S3：获取使用该些数据的机器的唯一识别ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和；S4：将所述前缀数据结合所述校验和，进行加密运算，生成加密的前缀数据文件；S5：将所述后缀数据结合所述校验和，进行反向加密运算，生成加密的后缀数据文件；S6：将所述识别ID、校验和、校验规则以及压缩规则写到头文件，生成头部压缩文件；S7：将前缀数据文件进行压缩生成前缀压缩文件，将后缀数据文件进行压缩生成后缀压缩文件。

Description

一种大数据存储算法
技术领域
本发明涉及一种数据存储算法，尤其涉及一种大数据存储算法。
背景技术
现有信息数据存储，常规的存储是十分占用硬盘空间的，而且数据以明文的方式存储是不安全的，容易导致数据外泄，而对于有一定数据规则的数据我们可以对其进行加密压缩存储的。数据加密是为了保住数据的安全性，而数据压缩存储是为了减少数据的冗余，减少数据的存储空间，提高数据的传输效率，而对数据压缩存储的手段需要保证数据解压出来的完整性，保证数据在传输的时候不能丢失相关信息，解压时按照一定的算法规则对数据进行重新组织，因此，需要提出一种大数据存储算法。
发明内容
本发明提供一种大数据存储算法，完成对数据的加密以及压缩，加密压缩后的数据即使外泄，若不具有对应的组织规则以及加密方式则无法对数据进行解压重构，保证数据存储及传输安全。
本发明提供一种大数据存储算法，其包括以下压缩步骤：
S1：从上层应用获取原始数据，对原始数据进行遍历；
S2：对遍历完的原始数据根据聚类算法拆分成前缀数据和后缀数据；
S3：获取使用该些数据的机器的唯一识别ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和；
S4：将所述前缀数据结合所述校验和，进行加密运算，生成加密的前缀数据文件；
S5：将所述后缀数据结合所述校验和，进行反向加密运算，生成加密的后缀数据文件；
S6：将所述识别ID、校验和、校验规则以及压缩规则写到头文件，生成头部压缩文件；
S7：将前缀数据文件进行压缩生成前缀压缩文件，将后缀数据文件进行压缩生成后缀压缩文件。
其中，参阅图2，步骤S2中的聚类算法具体包括以下步骤：
S21：获取样本数据，统计样本数据单条数据的最大长度Lmax和最小长度Lmin；
S22：设定样本数据采样相近的样本阈值N1位数；
S23：样本聚类学习，计算样本数据个体之间的相似度，选择出样本数据个体的局部最优位置向量和种群的全局最优位置向量；
S24：通过样本聚类学习将样本数据划分为M1个集群；
S25：设定聚类阈值N2本位数；
S26：比较单个集群相似度位数个数Q，判断相似度位数个数Q是否大于N2；
S271：当相似度位数个数Q＞N2时，将集群归为前缀数据；
S272：当相似度位数个数Q＜N2时，将集群归为后缀数据。
优选的，所述前缀数据、后缀数据以及校验和是根据DES加密算法形成加密的前缀数据文件以及加密的后缀数据文件。
优选的，步骤S7可以具体为：建立具有索引的数据字符串以及编码的映射表，根据所述映射表对步骤S4中所述加密的前缀数据文件进行数据字符串压缩编译，在压缩编译时，相同的数据字符串以编码对应的索引表示。
优选的，根据所述映射表对步骤五中所述加密的后缀数据文件进行数据字符串压缩编译。
优选的，步骤S7中对所述加密的前缀数据文件以及加密的后缀数据文件压缩编译时，结合校验和进行分段压缩形成若干个前缀压缩文件以及若干个后缀压缩文件。
优选的，步骤S7中对所述加密的后缀数据文件进行分段压缩时，根据校验和的值对每一条所述后缀数据文件的数据进行切割得到第一后缀数据以及第二后缀数据，将每一条所述后缀数据文件的数据的第一后缀数据存储到其中一个后缀压缩文件中，每一条所述后缀数据文件的数据的第二后缀数据存储与所述其中一个后缀压缩文件相对的另一个后缀压缩文件中。
一种大数据存储算法，其用于解压如权利要求1-7中任意一项所述的前缀压缩文件以及后缀压缩文件，其特征在于，其包括以下解压步骤：
S01：获取前缀压缩文件、后缀压缩文件以及头部压缩文件；
S02：根据头部压缩文件中的校验和、校验规则以及压缩规则对所述前缀压缩文件以及后缀压缩文件进行解压缩；
S03：组织步骤二的文件形成加密的前缀文件以及加密的后缀文件；
S04：根据识别ID、校验和以及加密规则对所述加密的前缀文件以及加密的后缀文件进行解密得到前缀数据以及后缀数据；
S05：根据聚类算法重组所述前缀数据以及后缀数据形成原始数据。
本发明提供的大数据存储算法，通过聚类算法实现规律数据的前缀数据和后缀数据分割，通过前缀文件以及后缀文件的索引设计，减少数据冗余，降低数据存储空间，通过机器唯一识别ID生成加密校验码，提高数据存储以及数据传输的安全性。
附图说明
图1是本发明提供的大数据存储算法逻辑图；
图2是图1中聚类算法的具体逻辑图；
图3是本发明提供的具体数据执行大数据存储算法的逻辑图；
图4是本发明提供的大数据压缩包解压算法的逻辑图。
具体实施方式
下面结合附图对本发明所提供的一种大数据存储算法作进一步说明，需要指出的是，下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述。
参阅图1，本发明提供一种大数据存储算法，其包括以下压缩步骤：
S1：从上层应用获取原始数据，对原始数据进行遍历；
S2：对遍历完的原始数据根据聚类算法拆分成前缀数据和后缀数据；
S3：获取使用该些数据的机器的唯一识别ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和；
S4：将所述前缀数据结合所述校验和，进行加密运算，生成加密的前缀数据文件；
S5：将所述后缀数据结合所述校验和，进行反向加密运算，生成加密的后缀数据文件；
S6：将所述识别ID、校验和、校验规则以及压缩规则写到头文件，生成头部压缩文件；
S7：将前缀数据文件进行压缩生成前缀压缩文件，将后缀数据文件进行压缩生成后缀压缩文件。
具体的，参阅图2，图1中的聚类算法具体如下：
S21：获取样本数据，统计样本数据单条数据的最大长度Lmax和最小长度Lmin；
S22：设定样本数据采样相近的样本阈值N1位数；
S23：样本聚类学习，计算样本数据个体之间的相似度，选择出样本数据个体的局部最优位置向量和种群的全局最优位置向量；
S24：通过样本聚类学习将样本数据划分为M1个集群；
S25：设定聚类阈值N2本位数；
S26：比较单个集群相似度位数个数Q，判断相似度位数个数Q是否大于N2；
S271：当相似度位数个数Q＞N2时，将集群归为前缀数据；
S272：当相似度位数个数Q＜N2时，将集群归为后缀数据。
参阅图3，应用本大数据存储算法进行数据压缩时的具体数据变化流程图。
S1：遍历原始数据1；
S2：通过聚类算法将原始数据1拆分成前缀数据2以及后缀数据3；
S3：获取使用该些数据的机器的唯一识别机器ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和，并形成加密公式，同时，将前缀文件说明以及后缀文件说明；
S4：将前缀数据2结合所述加密公式，进行正向DES加密运算，生成加密的前缀数据文件5；
S5：将后缀数据3结合所述加密公式，进行反向DES加密运算，生产加密的后缀数据文件6；
S6：将头部文件4压缩生成头部压缩文件9。
S7：建立具有索引的数据字符串以及编码的映射表，根据所述映射表对加密的前缀数据文件5、后缀数据文件6进行数据字符串压缩编译，在压缩编译时，相同的数据字符串以编码对应的索引表示，根据校验和的值对每一条所述后缀数据文件的数据进行切割得到第一后缀数据以及第二后缀数据，将每一条所述后缀数据文件的数据的第一后缀数据存储到其中一个后缀压缩文件中，每一条所述后缀数据文件的数据的第二后缀数据存储与所述其中一个后缀压缩文件相对的另一个后缀压缩文件中，将前缀数据文件5进行压缩生成前缀压缩文件7，将后缀数据文件6进行压缩生成后缀压缩文件7。
参阅图4，是本发明提供的大数据压缩包解压方法,
S01：获取前缀压缩文件、后缀压缩文件以及头部压缩文件；
S02：根据头部压缩文件中的校验和、校验规则以及压缩规则对所述前缀压缩文件以及后缀压缩文件进行解压缩；
S03：组织步骤二的文件形成加密的前缀文件以及加密的后缀文件；
S04：根据识别ID、校验和以及加密规则对所述加密的前缀文件以及加密的后缀文件进行解密得到前缀数据以及后缀数据；
S05：根据聚类算法重组所述前缀数据以及后缀数据形成原始数据。
本发明提供的大数据存储算法，通过前缀文件以及后缀文件的索引设计，减少数据冗余，降低数据存储空间，通过机器唯一识别ID生成加密校验码，提高数据存储以及数据传输的安全性。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种大数据存储算法，其特征在于，其包括以下压缩步骤：
S1：从上层应用获取原始数据，对原始数据进行遍历；
S2：对遍历完的原始数据根据聚类算法拆分成前缀数据和后缀数据；
S3：获取使用该些数据的机器的唯一识别ID，将该识别ID进行编码，根据校验规则生成与该识别ID唯一对应的校验和；
S4：将所述前缀数据结合所述校验和，进行加密运算，生成加密的前缀数据文件；
S5：将所述后缀数据结合所述校验和，进行反向加密运算，生成加密的后缀数据文件；
S6：将所述识别ID、校验和、校验规则以及压缩规则写到头文件，生成头部压缩文件；
S7：将前缀数据文件进行压缩生成前缀压缩文件，将后缀数据文件进行压缩生成后缀压缩文件。
2.根据权利要求1所述的一种大数据存储算法，其特征在于，所述步骤S2聚类算法包括如下步骤：
S21：获取样本数据，统计样本数据单条数据的最大长度Lmax和最小长度Lmin；
S22：设定样本数据采样相近的样本阈值N1位数；
S23：样本聚类学习，计算样本数据个体之间的相似度，选择出样本数据个体的局部最优位置向量和种群的全局最优位置向量；
S24：通过样本聚类学习将样本数据划分为M1个集群；
S25：设定聚类阈值N2本位数；
S26：比较单个集群相似度位数个数Q，判断相似度位数个数Q是否大于N2；
S271：当相似度位数个数Q＞N2时，将集群归为前缀数据；
S272：当相似度位数个数Q＜N2时，将集群归为后缀数据。
3.根据权利要求1所述的一种大数据存储算法，其特征在于，所述前缀数据、后缀数据以及校验和是根据DES加密算法形成加密的前缀数据文件以及加密的后缀数据文件。
4.根据权利要求1所述的一种大数据存储算法，其特征在于，步骤S7可以具体为：建立具有索引的数据字符串以及编码的映射表，根据所述映射表对步骤S4中所述加密的前缀数据文件进行数据字符串压缩编译，在压缩编译时，相同的数据字符串以编码对应的索引表示。
5.根据权利要求4所述的一种大数据存储算法，其特征在于，根据所述映射表对步骤S4中所述加密的后缀数据文件进行数据字符串压缩编译。
6.根据权利要求5所述的一种大数据存储算法，其特征在于，步骤S7中对所述加密的前缀数据文件以及加密的后缀数据文件压缩编译时，结合校验和进行分段压缩形成若干个前缀压缩文件以及若干个后缀压缩文件。
7.根据权利要求6所述的一种大数据存储算法，其特征在于，步骤S7中对所述加密的后缀数据文件进行分段压缩时，根据校验和的值对每一条所述后缀数据文件的数据进行切割得到第一后缀数据以及第二后缀数据，将每一条所述后缀数据文件的数据的第一后缀数据存储到其中一个后缀压缩文件中，每一条所述后缀数据文件的数据的第二后缀数据存储与所述其中一个后缀压缩文件相对的另一个后缀压缩文件中。
8.一种大数据压缩包解压算法，其用于解压如权利要求1-7中任意一项所述的前缀压缩文件以及后缀压缩文件，其特征在于，其包括以下解压步骤：
S01：获取前缀压缩文件、后缀压缩文件以及头部压缩文件；
S02：根据头部压缩文件中的校验和、校验规则以及压缩规则对所述前缀压缩文件以及后缀压缩文件进行解压缩；
S03：组织步骤二的文件形成加密的前缀文件以及加密的后缀文件；
S04：根据识别ID、校验和以及加密规则对所述加密的前缀文件以及加密的后缀文件进行解密得到前缀数据以及后缀数据；
S05：根据聚类算法重组所述前缀数据以及后缀数据形成原始数据。
CN202010450208.9A 2020-05-25 2020-05-25 一种大数据存储方法 Active CN111611214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450208.9A CN111611214B (zh) 2020-05-25 2020-05-25 一种大数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450208.9A CN111611214B (zh) 2020-05-25 2020-05-25 一种大数据存储方法

Publications (2)

Publication Number Publication Date
CN111611214A true CN111611214A (zh) 2020-09-01
CN111611214B CN111611214B (zh) 2023-08-18

Family

ID=72204975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450208.9A Active CN111611214B (zh) 2020-05-25 2020-05-25 一种大数据存储方法

Country Status (1)

Country Link
CN (1) CN111611214B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930757A (zh) * 2020-09-24 2020-11-13 南京中兴软件有限责任公司 数据处理方法、系统、封装节点和解封装节点
CN112860646A (zh) * 2021-02-24 2021-05-28 上海泰宇信息技术股份有限公司 一种海量文件档案分布式聚合压缩与单一式抽取的策略
WO2022079466A1 (en) * 2020-10-13 2022-04-21 Chan Kam Fu Data authentication for data compression

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994027374A1 (en) * 1993-05-13 1994-11-24 Apple Computer, Inc. Method and apparatus for efficient compression of data having redundant characteristics
US20060179083A1 (en) * 2005-02-08 2006-08-10 Raghavendra Kulkarni Systems and methods for storing, backing up and recovering computer data files
US20100169311A1 (en) * 2008-12-30 2010-07-01 Ashwin Tengli Approaches for the unsupervised creation of structural templates for electronic documents
US20140304267A1 (en) * 2008-05-07 2014-10-09 City University Of Hong Kong Suffix tree similarity measure for document clustering
CN107396106A (zh) * 2017-06-26 2017-11-24 深圳市亿联智能有限公司 一种基于h.265编码标准的视频加密算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994027374A1 (en) * 1993-05-13 1994-11-24 Apple Computer, Inc. Method and apparatus for efficient compression of data having redundant characteristics
US20060179083A1 (en) * 2005-02-08 2006-08-10 Raghavendra Kulkarni Systems and methods for storing, backing up and recovering computer data files
US20140304267A1 (en) * 2008-05-07 2014-10-09 City University Of Hong Kong Suffix tree similarity measure for document clustering
US20100169311A1 (en) * 2008-12-30 2010-07-01 Ashwin Tengli Approaches for the unsupervised creation of structural templates for electronic documents
CN107396106A (zh) * 2017-06-26 2017-11-24 深圳市亿联智能有限公司 一种基于h.265编码标准的视频加密算法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930757A (zh) * 2020-09-24 2020-11-13 南京中兴软件有限责任公司 数据处理方法、系统、封装节点和解封装节点
CN111930757B (zh) * 2020-09-24 2021-01-12 南京中兴软件有限责任公司 数据处理方法、系统、封装节点和解封装节点
WO2022079466A1 (en) * 2020-10-13 2022-04-21 Chan Kam Fu Data authentication for data compression
CN112860646A (zh) * 2021-02-24 2021-05-28 上海泰宇信息技术股份有限公司 一种海量文件档案分布式聚合压缩与单一式抽取的策略
CN112860646B (zh) * 2021-02-24 2022-12-02 上海泰宇信息技术股份有限公司 一种海量文件档案分布式聚合压缩与单一式抽取的方法

Also Published As

Publication number Publication date
CN111611214B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111611214B (zh) 一种大数据存储方法
US8120516B2 (en) Data compression using a stream selector with edit-in-place capability for compressed data
US6122378A (en) Data compression/encryption method and system
JP2021513141A (ja) ２次元バーコードの生成及び識別
KR101049699B1 (ko) 데이터의 압축방법
WO2019153700A1 (zh) 编解码方法、装置及编解码设备
CN110021369B (zh) 基因测序数据压缩解压方法、系统及计算机可读介质
CN112559462B (zh) 一种数据压缩方法、装置、计算机设备和存储介质
WO2019076177A1 (zh) 基因测序数据压缩预处理、压缩、解压方法、系统及计算机可读介质
US20240078330A1 (en) A method and system for lossy compression of log files of data
CN115442024B (zh) 基于混沌的MapReduce数据压缩的信息保护方法
Xu et al. A high-capacity reversible data hiding scheme for encrypted images employing vector quantization prediction
Tatwawadi et al. On universal compression with constant random access
CN113035282A (zh) 基于标签数据生长基因的数据序列处理方法
WO2004051863A1 (en) Automated method for lossless data compression and decompression of a binary string
US6411714B1 (en) Data decompression/decryption method and system
Ingber et al. The minimal compression rate for similarity identification
US20190372590A1 (en) Computer Data Compression Utilizing Multiple Symbol Alphabets And Dynamic Binding Of Symbol Alphabets
US20180145701A1 (en) Sonic Boom: System For Reducing The Digital Footprint Of Data Streams Through Lossless Scalable Binary Substitution
US20230273855A1 (en) Data authentication for data compression
JP4086661B2 (ja) 算術型圧縮暗号装置および算術型圧縮暗号復号装置
Chang et al. Very efficient variable-length codes for the lossless compression of VQ indices
CN104867496A (zh) 一种基于mdct量化系数的小值区的aac音频隐写和提取方法
Huang et al. A security-based steganographic scheme in vector quantization coding between correlated neighboring blocks
CN109698704B (zh) 比对型基因测序数据解压方法、系统及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant