CN111414346A - 一种海量非结构化数据文件分布式颗粒化的存储方法 - Google Patents

Abstract

本发明涉及数据存储技术领域，具体的提供了一种海量非结构化数据文件分布式颗粒化的存储方法。主旨在于解决解决现有分布式存在如存在分割后的部分数据丢失，则会造成整个文件无法读取。主要方案包括，将需要存储的数据文件按照固定大小切割成N等份小文件，并记录数据文件的每个切割点；将切割后的颗粒化小文件拷贝成Y副本，分散存储至服务器集群中，并记录每个颗粒化小文件在服务器集群中的位置；将每个颗粒化小文件在服务器集群中的位置、数据文件的每个切割点信息汇总形成存储信息元数据，存储信息元数据提供快速索引；将每个颗粒化小文件根据步骤1中记录的切割点进行拼接，如当前节点的颗粒化小文件丢失，则由下一个切割点的小文件补位。

Description

一种海量非结构化数据文件分布式颗粒化的存储方法

技术领域

本发明涉及数据存储技术领域，具体的提供了一种海量非结构化数据文件分布式颗粒化的存储方法。

背景技术

本技术运用于互联网非结构化数据文件存储领域，尤其是针对那种非结构化数据文件数量多、体积大的应用场景，通过文件切割方法将大数据文件切割成多个小文件，达到颗粒化目的，然后建立多副本分散存储在服务器集群中，达到分布式存储目的。在切割文件的同时，记录文件切割点，后期读取文件时，分布式存储可以实现并发读取，切割点可以快速索引需要读取数据所在的文件颗粒，从而达到快读定位、高效读取的效果。

本技术运用于互联网非结构化数据文件存储领域，尤其是针对那种非结构化数据文件数量多、体积大的应用场景，通过文件切割方法将大数据文件切割成多个小文件，达到颗粒化目的，然后建立多副本分散存储在服务器集群中，达到分布式存储目的。在切割文件的同时，记录文件切割点，后期读取文件时，分布式存储可以实现并发读取，切割点可以快速索引需要读取数据所在的文件颗粒，从而达到快读定位、高效读取的效果。

如现有HDFS采用内部算法进行文件分割，分割后的文件不可以直接读取，如分割后的文件出现部分丢失，整个文件无法重组，从而导致数据丢失。

发明内容

本发明的目的在于解决解决现有分布式存在其分割后的文件不可直接读取，如存在部分数据丢失，则会造成整个文件无法读取。

为解决上述技术问题，本发明采用以下技术方案：

一种海量非结构化数据文件分布式颗粒化的存储方法，包含以下步骤：

步骤1：将需要存储的数据文件按照固定大小切割成N等份小文件，并记录数据文件的每个切割点；

步骤2：将切割后的颗粒化小文件拷贝成Y副本，分散存储至服务器集群中，达到分布式存储目的，并记录每个颗粒化小文件在服务器集群中的位置；

步骤3：将每个颗粒化小文件在服务器集群中的位置、数据文件的每个切割点信息汇总形成存储信息元数据，存储信息元数据提供快速索引作用。

步骤4：将每个颗粒化小文件根据步骤1中记录的切割点进行拼接，如当前节点的颗粒化小文件丢失，则由下一个切割点的小文件补位。

在上述技术方案的基础上，进一步的，上述步骤1具体包括以下步骤：

步骤1.1：对需要存储的数据文件进行切割规则如下：

数据文件大小为D，预先定义颗粒化文件固定大小为M，切割后的文件个数为：向上取整N=（D/M）；

步骤1.2：记录数据文件的切割点信息，文件切割点所在的行号、文件切割点所在行的序列标志位，得到文件切割点信息清单。

在上述技术方案的基础上，进一步的，数据文件进行切割包括以下步骤：

文件切割之前，取出文件头信息，然后对数据体进行切割，得到N个数据颗粒，将每个数据颗粒分别与文件头信息组成一个颗粒化文件。

在上述技术方案的基础上，进一步的，上述步骤2具体包括以下步骤：

步骤2.1：对切割后的颗粒化文件进行多副本拷贝，每一个颗粒化文件对应S个副本文件；

步骤2.2：将S个副本文件分散拷贝至服务器集群的S个物理机上，每一个颗粒化文件对应一台物理机，达到分布式存储效果。

在上述技术方案的基础上，进一步的，上述步骤3具体包括以下步骤：

步骤3.1：将源文件名、每一个颗粒化的文件存储位置、文件头对应源文件的位置、文件头所在的序列标志位汇总，形成文件信息元文件；

步骤3.2：所有的文件信息元文件汇总到文件信息存储单元，形成文件检索引擎。

因为本发明采用上述技术方案，因此具备以下有益效果：

一、本申请提单采用文件切割的同时，并记录切割点相关信息。这样既能达到文件分布式存储，并发读取提高读取速度，多副本存储提高可靠性，又能够利用切割点信息快速检索数据信息位置。

二、典型技术（Hadoop分布式文件系统(HDFS)）

（1）HDFS采用内部算法进行文件分割，分割后的文件不可以直接读取；本提案采用直接分割，分割后的文件可以直接读取。

（2）HDFS不记录数据文件切割点位置，无法快读检索数据信息位置。

三、因为本申请分割后的文件可以直接读取，即使存在部分分割后的文件丢失，也可由下一个切割点的文件补位，不影响文件重组和读取，避免了因为一个或多个分割后的文件丢失导致整个文件无法读取的弊端。

附图说明

图1为丢失20000多个字符后效果示意图，左边为原图，右边为丢失20000多个字符后颗粒化的文还原出的效果。

具体实施方式

一种海量非结构化数据文件分布式颗粒化的存储方法，包含以下步骤：

步骤1：将需要存储的数据文件按照固定大小切割成N等份小文件，并记录数据文件的每个切割点；

步骤2：将切割后的颗粒化小文件拷贝成Y副本，分散存储至服务器集群中，达到分布式存储目的，并记录每个颗粒化小文件在服务器集群中的位置；

步骤3：将每个颗粒化小文件在服务器集群中的位置、数据文件的每个切割点信息汇总形成存储信息元数据，存储信息元数据提供快速索引作用。

在上述技术方案的基础上，进一步的，上述步骤1具体包括以下步骤：

步骤1.1：对需要存储的数据文件进行切割规则如下：

数据文件大小为D，预先定义颗粒化文件固定大小为M，切割后的文件个数为：向上取整N=（D/M）；

步骤1.2：记录数据文件的切割点信息，文件切割点所在的行号、文件切割点所在行的序列标志位，得到文件切割点信息清单。

在上述技术方案的基础上，进一步的，数据文件进行切割包括以下步骤：

文件切割之前，取出文件头信息，然后对数据体进行切割，得到N个数据颗粒，将每个数据颗粒分别与文件头信息组成一个颗粒化文件。

例如一个文件记录在磁盘上的数据为ABBB，A为文件头，BBB为数据体，拆分后就时AB、AB、AB、AB四个文件，每个文件都可以单独读取。

在上述技术方案的基础上，进一步的，上述步骤2具体包括以下步骤：

步骤2.1：对切割后的颗粒化文件进行多副本拷贝，每一个颗粒化文件对应S个副本文件；

步骤2.2：将S个副本文件分散拷贝至服务器集群的S个物理机上，每一个颗粒化文件对应一台物理机，达到分布式存储效果。

例如一个文件切割成5个颗粒化文件，然后每个颗粒化文件拷贝成3个，那种总共得到15个颗粒化文件。集群中的服务器数量必须是大于等于3（单个颗粒化文件拷贝后的总个数），存储时保证每个服务器上不存储相同的颗粒化文件，每个服务器上颗粒化文件总个数相同（集群有5台机器那么每台机器存储3个颗粒化文件），那么只要集群中有一半以上的服务器是正常的，那么文件就不会丢失。

在上述技术方案的基础上，进一步的，上述步骤3具体包括以下步骤：

步骤3.1：将源文件名、每一个颗粒化的文件存储位置、文件头对应源文件的位置、文件头所在的序列标志位汇总，形成文件信息元文件；

步骤3.2：所有的文件信息元文件汇总到文件信息存储单元，形成文件检索引擎。

Claims (5)

1.一种海量非结构化数据文件分布式颗粒化的存储方法，其特征在于：包含以下步骤：

步骤1：将需要存储的数据文件按照固定大小切割成N等份小文件，并记录数据文件的每个切割点；

步骤2：将切割后的颗粒化小文件拷贝成Y副本，分散存储至服务器集群中，达到分布式存储目的，并记录每个颗粒化小文件在服务器集群中的位置；

步骤3：将每个颗粒化小文件在服务器集群中的位置、数据文件的每个切割点信息汇总形成存储信息元数据，存储信息元数据提供快速索引作用；

步骤4：将每个颗粒化小文件根据步骤1中记录的切割点进行拼接，如当前节点的颗粒化小文件丢失，则由下一个切割点的小文件补位。

2.根据权利要求1所述的一种海量非结构化数据文件分布式颗粒化的存储方法，其特征在于，上述步骤1具体包括以下步骤：

步骤1.1：对需要存储的数据文件进行切割规则如下：

数据文件大小为D，预先定义颗粒化文件固定大小为M，切割后的文件个数为：向上取整N=（D/M）；

步骤1.2：记录数据文件的切割点信息，文件切割点所在的行号、文件切割点所在行的序列标志位，得到文件切割点信息清单。

3.根据权利要求2所述的一种海量非结构化数据文件分布式颗粒化的存储方法，其特征在于，数据文件进行切割包括以下步骤：

文件切割之前，取出文件头信息，然后对数据体进行切割，得到N个数据颗粒，将每个数据颗粒分别与文件头信息组成一个颗粒化文件。

4.根据权利要求1所述的一种海量非结构化数据文件分布式颗粒化的存储方法，其特征在于，上述步骤2具体包括以下步骤：

步骤2.1：对切割后的颗粒化文件进行多副本拷贝，每一个颗粒化文件对应Y个副本文件；

步骤2.2：将Y个副本文件分散拷贝至服务器集群的Y个物理机上，每一个颗粒化文件对应一台物理机，达到分布式存储效果。

5.根据权利要求1所述的一种海量非结构化数据文件分布式颗粒化的存储方法，其特征在于，上述步骤3具体包括以下步骤：

步骤3.1：将源文件名、每一个颗粒化的文件存储位置、文件头对应源文件的位置、文件头所在的序列标志位汇总，形成文件信息元文件；

步骤3.2：所有的文件信息元文件汇总到文件信息存储单元，形成文件检索引擎。

Images