CN112948343A - 基于分布式大数据块的海量内容存储系统和方法 - Google Patents

Abstract

本发明提供了一种基于分布式大数据块的海量内容存储系统和方法，包括：分布式存储模块：将整个分布式集群节点上的本地存储磁盘整合成统一的分布式存储介质，并将整合后的分布式存储介质进行格式化，划分为固定大小的存储块；文件块管理模块：管理格式化后的存储块，将存储块分配给文件读写模块读写具体的文件内容；文件元数据模块：存储文件元数据；文件读写模块：负责文件内容的读写；文件块碎片整理模块：监控文件存储块的碎片情况，并对文件存储块的碎片进行整理，将有效存储进行二次整合为完整存储块，然后释放原碎片存储块。本发明通过采用存储块将小文件合并存储，减少了文件数量，避免了传统文件系统面临inode的数量限制。

Description

基于分布式大数据块的海量内容存储系统和方法

技术领域

本发明涉及数据存储技术领域，具体地，涉及一种基于分布式大数据块的海量内容存储系统和方法。

背景技术

现有技术大多采用内容存储实现企业内容存储，内容存储一般将文件元数据存在关系数据库中，将文件存储在文件系统上，如IBM的CM、FileNet CE等，但这些内容存储客观缺点在于：

1.海量的小文件元数据将会大量占用关系数据库的记录，导致关系数据库访问性能下降、数据备份、管理不方便，尤其针对存储时间周期长的文件。

2.大量小文件存储在文件系统上导致文件系统文件过多，文件目录过多，为了解决这个问题大部分产品采用hash散列划分文件目录，从而导致文件结构复杂，操作系统管理文件元数据过多。

3.为了保障数据可靠性，一般采用SAN架构存储实现统一存储和存储可靠性，导致成本过高，对应海量数据存储会越来越大，无法实现长期存储。

企业需要存储海量的业务电子文档、电子凭证等内容，由于内容文档较小、数量巨大，传统的文件系统和数据库存储无法满足，采用小文件合并数据块，为文件建立存储元数据，结合分布式存储集群可实现海量文件的存储及扩展。

专利文献CN110727686A(申请号：CN201911010903.7)公开了一种大数据块结构化存储方法，包括数据接收模块、中央处理器、自主分类处理单元，通过数据接收端口的数据接收模块统一接收多种数据类型的原始数据，数据接收模块将接收到的原始数据传输到中央处理器，利用多个自主分类处理单元进行分类，将经过分类的数据按照分类一一单独存储。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于分布式大数据块的海量内容存储系统和方法。

根据本发明提供的基于分布式大数据块的海量内容存储系统，包括：

分布式存储模块：将整个分布式集群节点上的本地存储磁盘整合成统一的分布式存储介质，并将整合后的分布式存储介质进行格式化，划分为固定大小的存储块；

文件块管理模块：管理格式化后的存储块，记录存储块的写偏移量、可用空间、状态，并将存储块分配给文件读写模块读写具体的文件内容；

文件元数据模块：存储文件元数据，文件元数据包括文件大小、文件SHA1、文件存储位置、文件存储大小和偏移量；

文件读写模块：负责文件内容的读写；

文件块碎片整理模块：监控文件存储块的碎片情况，并对文件存储块的碎片进行整理，将有效存储进行二次整合为完整存储块，然后释放原碎片存储块。

优选的，所述存储块作为分布式存储的一个单元有多副本，分布式存储模块提供副本技术，底层由分布式存储框架实现，分布式存储框架包括HDFS、GPFS、Ceph。

优选的，所述文件元数据模块在存储和读取文件时，采用分布式Nosql数据库，以文件对象ID为KEY存储和读取文件元数据。

优选的，所述文件读写模块中的写文件包括：

模块M1：写文件线程请求写入文件；

模块M2：调用文件块管理模块分配存储块，文件块管理模块根据文件大小分配1到N个有空闲空间的存储块；

模块M3：写文件线程将文件按顺序写入1到N个存储块的空闲空间中；

模块M4：调用文件元数据模块写文件元数据。

优选的，所述文件读写模块中的读文件包括：

模块M5：读文件线程请求读文件；

模块M6：调用文件元数据模块读文件元数据，并读取1到N个文件存储块，包括存储偏移量及大小；

模块M7：从分布式存储的存储块中顺序读取1到N个块中的文件内容，还原成完整文件。

根据本发明提供的基于分布式大数据块的海量内容存储方法，包括：

分布式存储步骤：将整个分布式集群节点上的本地存储磁盘整合成统一的分布式存储介质，并将整合后的分布式存储介质进行格式化，划分为固定大小的存储块；

文件块管理步骤：管理格式化后的存储块，记录存储块的写偏移量、可用空间、状态，执行文件读写步骤读写存储块内的文件内容；

文件元数据步骤：存储文件元数据，文件元数据包括文件大小、文件SHA1、文件存储位置、文件存储大小和偏移量；

文件读写步骤：负责文件内容的读写；

文件块碎片整理步骤：监控文件存储块的碎片情况，并对文件存储块的碎片进行整理，将有效存储进行二次整合为完整存储块，然后释放原碎片存储块。

优选的，所述存储块作为分布式存储的一个单元有多副本，提供副本技术，底层由分布式存储框架实现，分布式存储框架包括HDFS、GPFS、Ceph。

优选的，所述文件元数据步骤包括：在存储和读取文件时，采用分布式Nosql数据库，以文件对象ID为KEY存储和读取文件元数据。

优选的，所述文件读写步骤中的写文件包括：

步骤1：写文件线程请求写入文件；

步骤2：分配存储块，根据文件大小分配1到N个有空闲空间的存储块；

步骤3：写文件线程将文件按顺序写入1到N个存储块的空闲空间中；

步骤4：执行文件元数据步骤写文件元数据。

优选的，所述文件读写步骤中的读文件包括：

步骤5：读文件线程请求读文件；

步骤6：读文件元数据，读取1到N个文件存储块，包括存储偏移量及大小；

步骤7：从分布式存储的存储块中顺序读取1到N个块中的文件内容，还原成完整文件。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明通过采用存储块将小文件合并存储，减少了文件数量，一个存储块可以存储几千个小文件，避免了传统文件系统面临inode的数量限制；

(2)本发明通过采用分布式存储，解决了采用传统SAN存储带来的成本和扩展性问题，而且可以支持长周期存储；

(3)本发明采用Nosql数据库存储小文件元数据(校验信息、在存储块的存储信息)，解决了现有文件信息存储在关系数据库导致数据量太大不好维护的问题，Nosql采用分布式存储技术实现，扩展灵活，支持海量结构化数据存储。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明系统流程图；

图2为文件管理模块示意图；

图3为文件块存储小文件示意图；

图4为文件块存储大文件示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

如图1，根据本发明提供的基于分布式大数据块的海量内容存储系统，包括以下模块：

分布式存储模块：该模块负责提供分布式存储功能，将整个分布式集群节点上的本地存储磁盘整合成统一的分布式存储介质，并提供副本技术，底层由一些分布式存储框架实现，具体可采用HDFS、GPFS、Ceph等分布式存储系统实现，本模块负责将整合后的分布式存储进行格式化，划分为固定大小的存储块，如256M一个存储块，存储块作为分布式存储的一个单元，有多副本，具体参见图3、图4。

文件块管理模块：该模块负责管理已经从分布式存储格式化好的存储块，记录存储块的写偏移量、可用空间、状态(空闲、锁定)，并将存储块分配给文件读写模块读写具体的文件内容，具体参见图2。

文件元数据模块：该模块负责存储文件元数据，文件元数据包括文件大小、文件SHA1、文件存储在哪些存储块、块内偏移量、块内存储大小等，用于快速读取文件，这部分一般采用分布式Nosql数据库以文件对象ID为KEY存储文件元数据。

文件读写模块：该模块负责文件的读写。

1、写文件步骤如下：

(1)写文件线程请求写入文件；

(2)调用文件块管理模块分配存储块，文件块管理模块根据文件大小分配1到N个有空闲空间的存储块；

(3)写文件线程将文件按顺序写入1到N个存储块的空闲空间中；

(4)调用文件元数据模块写文件元数据。

2、读文件步骤如下：

(1)读文件线程请求读文件；

(2)调用文件元数据模块读文件元数据，并读取1到N个文件存储块(包括存储偏移量及大小)；

(3)从分布式存储的存储块中顺序读取1到N个块中的文件内容，还原成完整文件；

文件块碎片整理模块：当文件被删除后，会导致文件存储块产生碎片，该模块负责监控文件存储块的碎片情况，并对文件存储块的碎片进行整理，将有效存储进行二次整合为完整存储块，然后释放原碎片存储块。

本发明中分布式大数据块海量内容存储类似于对象存储，企业内容文件均以对象的形式存储，每个文件具有唯一的ID，没有目录结构，所以跟文件系统有本质的区别。本发明应用了分布式存储、分布式Noaql数据库、并结合自发明的存储块、文件元数据实现了海量内容存储功能，既具有分布式存储、分布式Nosql的海量扩展性能、又满足了海量内容文件的存储及快速读写，具有一定的创新能力，且可适应不同的分布式存储和分布式Nosql，同时可结合分布式搜索引擎实现业务数据的关联，应用于企业海量业务数据及内容存储场景。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于分布式大数据块的海量内容存储系统，其特征在于，包括：

分布式存储模块：将整个分布式集群节点上的本地存储磁盘整合成统一的分布式存储介质，并将整合后的分布式存储介质进行格式化，划分为固定大小的存储块；

文件块管理模块：管理格式化后的存储块，记录存储块的写偏移量、可用空间、状态，并将存储块分配给文件读写模块读写具体的文件内容；

文件元数据模块：存储文件元数据，文件元数据包括文件大小、文件SHA1、文件存储位置、文件存储大小和偏移量；

文件读写模块：负责文件内容的读写；

文件块碎片整理模块：监控文件存储块的碎片情况，并对文件存储块的碎片进行整理，将有效存储进行二次整合为完整存储块，然后释放原碎片存储块。

2.根据权利要求1所述的基于分布式大数据块的海量内容存储系统，其特征在于，所述存储块作为分布式存储的一个单元有多副本，分布式存储模块提供副本技术，底层由分布式存储框架实现，分布式存储框架包括HDFS、GPFS、Ceph。

3.根据权利要求1所述的基于分布式大数据块的海量内容存储系统，其特征在于，所述文件元数据模块在存储和读取文件时，采用分布式Nosql数据库，以文件对象ID为KEY存储和读取文件元数据。

4.根据权利要求1所述的基于分布式大数据块的海量内容存储系统，其特征在于，所述文件读写模块中的写文件包括：

模块M1：写文件线程请求写入文件；

模块M2：调用文件块管理模块分配存储块，文件块管理模块根据文件大小分配1到N个有空闲空间的存储块；

模块M3：写文件线程将文件按顺序写入1到N个存储块的空闲空间中；

模块M4：调用文件元数据模块写文件元数据。

5.根据权利要求1所述的基于分布式大数据块的海量内容存储系统，其特征在于，所述文件读写模块中的读文件包括：

模块M5：读文件线程请求读文件；

模块M6：调用文件元数据模块读文件元数据，并读取1到N个文件存储块，包括存储偏移量及大小；

模块M7：从分布式存储的存储块中顺序读取1到N个块中的文件内容，还原成完整文件。

6.一种基于分布式大数据块的海量内容存储方法，其特征在于，包括：

分布式存储步骤：将整个分布式集群节点上的本地存储磁盘整合成统一的分布式存储介质，并将整合后的分布式存储介质进行格式化，划分为固定大小的存储块；

文件块管理步骤：管理格式化后的存储块，记录存储块的写偏移量、可用空间、状态，执行文件读写步骤读写存储块内的文件内容；

文件元数据步骤：存储文件元数据，文件元数据包括文件大小、文件SHA1、文件存储位置、文件存储大小和偏移量；

文件读写步骤：负责文件内容的读写；

文件块碎片整理步骤：监控文件存储块的碎片情况，并对文件存储块的碎片进行整理，将有效存储进行二次整合为完整存储块，然后释放原碎片存储块。

7.根据权利要求6所述的基于分布式大数据块的海量内容存储方法，其特征在于，所述存储块作为分布式存储的一个单元有多副本，提供副本技术，底层由分布式存储框架实现，分布式存储框架包括HDFS、GPFS、Ceph。

8.根据权利要求6所述的基于分布式大数据块的海量内容存储方法，其特征在于，所述文件元数据步骤包括：在存储和读取文件时，采用分布式Nosql数据库，以文件对象ID为KEY存储和读取文件元数据。

9.根据权利要求6所述的基于分布式大数据块的海量内容存储方法，其特征在于，所述文件读写步骤中的写文件包括：

步骤1：写文件线程请求写入文件；

步骤2：分配存储块，根据文件大小分配1到N个有空闲空间的存储块；

步骤3：写文件线程将文件按顺序写入1到N个存储块的空闲空间中；

步骤4：执行文件元数据步骤写文件元数据。

10.根据权利要求6所述的基于分布式大数据块的海量内容存储方法，其特征在于，所述文件读写步骤中的读文件包括：

步骤5：读文件线程请求读文件；

步骤6：读文件元数据，读取1到N个文件存储块，包括存储偏移量及大小；

步骤7：从分布式存储的存储块中顺序读取1到N个块中的文件内容，还原成完整文件。

Images