CN105338118A - 分布式存储系统 - Google Patents

Abstract

本发明提供一种分布式存储系统，包括：基础存储系统，包括：多个存储节点，通过对象存储方式存储数据；基础库，用于提供应用程序访问所述存储集群的应用程序接口；高层应用接口，包括：分布式文件系统；应用层，用于提供应用功能，所述应用功能是使用所述高层应用接口来调用基础库中的应用程序接口以与基础存储系统数据交互来实现的；或者直接调用基础库中的应用程序接口以与所述基础存储系统数据交互来实现的；本发明利用所述分布式文件系统等，来实现了信息存储的完整性、数据一致性、可靠性、安全性和高可用性，解决现有技术的问题。

Description

分布式存储系统

技术领域

本发明涉及数据存储技术领域，特别是涉及分布式存储系统。

背景技术

现代社会被称为“信息社会”，信息技术渗透到政治、经济、产业、服务领域的所有部门，信息化产业在国民经济中占有的比重越来越大。信息化产业发展水平和信息基础设置建设水平，是衡量社会现代化的重要指标。随着互联网、物联网、移动互联网、大数据等领域的发展，社会信息化达到了前所未有的高度，极大刺激了我国的经济发展。社会信息化程度越高，产生的信息数据越多，信息安全的问题就越突出。在享有信息化高速发展带来便利和效率的同时，如何有效的保护信息安全，是摆在政府、企业、个人面前的共同问题。

多年以来，信息安全行业主要的着眼点在信息传输保护和攻击防御方面，产生了防火墙、VPN、IPS、UTM等众多网络安全设备，但忽视了信息安全的重要领域——信息存储安全。信息存储安全在信息储存的过程和信息生命周期内，保障信息的真实性、机密性、完整性、可用性、可靠性、不可抵赖性等特性，是信息安全的主要基础之一。目前谈到信息存储安全，比较重视信息的完整性、可靠性、可用性，对数据备份、容灾、访问性能等问题探讨较多；对信息的真实性、机密性、不可抵赖性鲜少涉及，整个信息存储领域存在很大安全隐患。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种分布式存储系统，实现了对信息存储的完整性、数据一致性、可靠性、安全性和高可用性，解决现有技术中存储方式存在安全隐患的问题。

为实现上述目的及其他相关目的，本发明提供一种分布式存储系统，包括：基础存储系统，包括：多个存储节点，通过对象存储方式存储数据；基础库，用于提供应用程序访问所述存储集群的应用程序接口；高层应用接口，包括：分布式文件系统；应用层，用于提供应用功能，所述应用功能是使用所述高层应用接口来调用基础库中的应用程序接口以与基础存储系统数据交互来实现的；或者直接调用基础库中的应用程序接口以与所述基础存储系统数据交互来实现的。

于本发明的一实施例中，所述分布式文件系统包括：客户端、元数据服务端、对象存储集群、及集群监视器；所述对象存储集群，包括：多个对象存储设备，用于将文件数据及其元数据作为对象存储，并用于执行存储节点中所存储对象到块数据的映射；所述客户端，用于与所述对象存储集群进行文件数据的交互；所述元数据服务端，用于与所述对象存储集群间进行元数据交互，并对客户端提供元数据服务；集群监视器，用于检测故障对象存储设备以维护有效的对象存储集群的映射。

于本发明的一实施例中，所述将文件数据及其元数据作为对象存储，包括：所述元数据服务端对不同文件分别分配文件号；所述文件中的数据按预设对象容量划分成各个对象，其中，各对象分配有对象号；根据文件号和对象号为每个对象生成对象标识；通过对象标识上使用哈希算法，来为每个对象都分配一个放置组；建立放置组到对象存储设备的映射。

于本发明的一实施例中，所述放置组到对象存储设备的映射是通过CRUSH算法建立的伪随机映射。

于本发明的一实施例中，所述元数据服务端用于管理所述分布式文件系统的名称空间。

于本发明的一实施例中，所述元数据服务端到其管理名称空间的映射在所述分布式文件系统中使用动态子树逻辑分区执行。

于本发明的一实施例中，所述对象存储设备具有作为启动者或目标者而与其它对象存储设备间交互的功能。

于本发明的一实施例中，所述分布式文件系统是兼容可移植操作系统接口的。

于本发明的一实施例中，所述高层应用接口还包括：与AmazonS3和Swift兼容的对象存储应用开发接口；以及块设备接口。

于本发明的一实施例中，各所述存储节点具有硬件资源，并运行有操作系统和文件系统。

如上所述，本发明提供一种分布式存储系统，包括：基础存储系统，包括：多个存储节点，通过对象存储方式存储数据；基础库，用于提供应用程序访问所述存储集群的应用程序接口；高层应用接口，包括：分布式文件系统；应用层，用于提供应用功能，所述应用功能是使用所述高层应用接口来调用基础库中的应用程序接口以与基础存储系统数据交互来实现的；或者直接调用基础库中的应用程序接口以与所述基础存储系统数据交互来实现的。；本发明利用所述分布式文件系统等，来实现了信息存储的完整性、数据一致性、可靠性、安全性和高可用性，解决现有技术的问题。

附图说明

图1显示为本发明于一实施例中的分布式存储系统的逻辑结构示意图。

图2显示为本发明于一实施例中的分布式存储系统中分布式文件系统的逻辑结构示意图。

图3显示为本发明于一实施例中的分布式存储系统中名称空间管理的树形结构原理示意图。

图4显示为本发明于一实施例中的分布式存储系统中寻址的结构示意图。

图5显示为本发明于一具体实施例中的分布式存储系统中操作的过程示意图。

元件标号说明

1分布式存储系统

11基础存储系统

12基础库

13高层应用接口

131分布式文件系统

1311客户端

1312元数据服务端

1313对象存储集群

1314集群监视器

14应用层

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供分布式存储系统1，包括：基础存储系统11、基础库12、高层应用接口13、及应用层14。

所述基础存储系统11，包括：多个存储节点，通过对象存储方式存储数据。

所述基础库12，用于提供应用程序访问所述存储集群的应用程序接口；

所述高层应用接口13，包括：分布式文件系统131；

所述应用层14，用于提供应用功能，所述应用功能是使用所述高层应用接口13来调用基础库12中的应用程序接口以与基础存储系统11数据交互来实现的；或者直接调用基础库12中的应用程序接口以与所述基础存储系统11数据交互来实现的。

具体来讲，所述分布式存储系统1共分为四个层次：基础存储系统11(RADOS，Reliable，Autonomic，DistributedObjectStore，即可靠的、自动化的、分布式的对象存储)、基础库12(librados)、高层应用接口13以及应用层14。

所述基础存储系统11，其本身就是一个完整的对象存储系统，所有存储在分布式文件系统131系统中的用户数据最终都是由这一层来存储。而分布式文件系统131的高可靠、高可扩展、高性能、高自动化等等特性本质上也是由这一层所提供。

物理上，RADOS由大量的存储设备节点组层，每个节点拥有自己的硬件资源(CPU、内存、硬盘、网络)，并运行着操作系统和文件系统。

所述基础库12是对RADOS进行抽象和封装，并向上层提供API，以便直接基于RADOS进行应用开发。RADOS是一个对象存储系统，因此，librados实现的API也只是针对对象存储功能的。RADOS采用C++开发所提供的原生libradosAPI包括C和C++两种。物理上，librados和基于其上开发的应用位于同一台机器，因而也被称为本地API。应用调用本机上的libradosAPI，再由后者通过socket与RADOS集群中的节点通信并完成各种操作。

所述高层应用接口13包括了：分布式文件系统131(FileSystem)，为了实现存储以外例如云硬盘的功能，还可包括：RADOSGW(RADOSGateway)、RBD(ReliableBlockDevice)等，其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端1311使用的上层接口。

其中，RADOSGW是一个提供与AmazonS3和Swift兼容的RESTfulAPI的入口，以供相应的对象存储应用开发使用；RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建volume，提高虚拟机访问性能；分布式文件系统131FS是一个POSIX兼容的分布式文件系统131。

所述应用层14是不同场景下对于各个应用接口的各种应用方式，例如基于librados直接开发的对象存储应用，基于RADOSGW开发的对象存储应用，基于RBD实现的云硬盘等等。

请参阅图2，具体说明所述分布式文件系统131的结构：

所述分布式文件系统131包括：客户端1311、元数据服务端1312、对象存储集群1313、及集群监视器1314；所述对象存储集群1313，包括：多个对象存储设备，用于将文件数据及其元数据作为对象存储，并用于执行存储节点中所存储对象到块数据的映射；所述客户端1311，用于与所述对象存储集群1313进行文件数据的交互；所述元数据服务端1312，用于与所述对象存储集群1313间进行元数据交互，并对客户端1311提供元数据服务；集群监视器1314，用于检测故障对象存储设备以维护有效的对象存储集群1313的映射。

具体来讲，所述分布式文件系统131可以大致划分为四部分：客户端1311(数据用户)，元数据服务端1312(缓存和同步分布式元数据)，一个对象存储集群1313(将数据和元数据作为对象存储，执行其他关键职能)，以及集群监视器1314(执行监视功能)。

所述分布式文件系统131在Linux内核中实现。在大多数文件系统中，所有的控制和智能在内核的文件系统源本身中执行。但是，在分布式文件系统131中，文件系统智能分布在存储节点上，这简化了客户端1311接口，并为分布式文件系统131提供了大规模的扩展能力。

分布式文件系统131使用的备选并不依赖分配列表(将磁盘上的块映射到指定文件的元数据)。Linux透视图中的一个文件会分配到一个来自元数据服务端1312的inodenumber(INO)，对于文件这是一个唯一的标识符。然后文件被推入一些对象中(根据文件的大小)。使用INO和objectnumber(ONO)，每个对象都分配到一个对象ID。在ID上使用一个简单的哈希，每个对象都被分配到一个放置组。放置组是一个对象的概念容器。最后，放置组到对象存储设备的映射是一个伪随机映射，使用ControlledReplicationUnderScalableHashing(CRUSH)算法。这样一来，放置组(以及副本)到存储设备的映射就不用依赖任何元数据，而是依赖一个伪随机的映射函数。这种操作是理想的，因为它把存储的开销最小化，简化了分配和数据查询。

元数据服务端1312(cmds)管理分布式文件系统131的名称空间。虽然元数据和数据两者都存储在对象存储集群1313，但两者分别管理，支持可扩展性。元数据在一个元数据服务端1312集群上被进一步拆分，元数据服务端1312能够自适应地复制和分配名称空间，避免出现热点。

如图3所示，元数据服务端1312用于管理名称空间部分，可以(为冗余和性能)进行重叠。元数据服务端1312到名称空间的映射在分布式文件系统131中使用动态子树逻辑分区执行，它允许分布式文件系统131对变化的工作负载进行调整(在元数据服务端1312之间迁移名称空间)同时保留性能的位置。

另外，分布式文件系统131存储节点不仅包括存储，还包括智能管理。传统的驱动是只响应来自启动者的命令的简单目标；但是对象存储设备是智能设备，它能作为目标和启动者，支持与其他对象存储设备的通信和合作；分布式文件系统131对象存储设备执行从对象到块的映射。这个动作允许本地实体以最佳方式决定怎样存储一个对象。

分布式文件系统131包含实施集群映射管理的监视器1314，但是故障管理的一些要素是在对象存储本身中执行的。当对象存储设备发生故障或者新设备添加时，监视器1314就检测和维护一个有效的集群映射。这个功能按一种分布的方式执行，这种方式中映射升级可以和当前的流量通信。

对应上述存储方式，如图4所示，提供分布式系统中的寻址方式：

文件数据File——用户需要存储或者访问的文件。对于分布式文件系统131开发的对象存储应用而言，这个file也就对应于应用中的“对象”，也就是用户直接操作的“对象”。

对象Ojbect——此处的object是RADOS所看到的“对象”。Object与上面提到的file的区别是，object的最大size由RADOS限定(通常为2MB或4MB)，以便实现底层存储的组织管理。

位置组PG(PlacementGroup)——PG的用途是对object的存储进行组织和位置映射。一个PG负责组织若干个object(可以为数千个甚至更多)，但一个object只能被映射到一个PG中，即PG和object之间是“一对多”映射关系。同时，一个PG会被映射到n个OSD上，而每个OSD上都会承载大量的PG，即，PG和OSD之间是“多对多”映射关系。

对象存储设备OSD(objectstoragedevice)——OSD的数量也关系到系统的数据分布均匀性，因此其数量不应太少。

分布式文件系统131中的寻址至少要经历以下三次映射：

1.File-＞object映射

这次映射的目的是，将用户要操作的file，映射为RADOS能够处理的object。映射非常简单，本质上就是按照object的最大size对file进行切分，相当于RAID中的条带化过程。这种切分的好处有二：一是让大小不限的file变成最大size一致、可以被RADOS高效管理的object；二是让对单一file实施的串行处理变为对多个object实施的并行化处理。

2.Object-＞PG映射

在file被映射为一个或多个object之后，就需要将每个object独立地映射到一个PG中去。这个映射过程也很简单，如图4所示，其计算公式是：hash(oid)&mask-＞pgid由此可见，其计算由两步组成。首先是使用分布式文件系统131系统指定的一个静态哈希函数计算oid的哈希值，将oid映射成为一个近似均匀分布的伪随机值。然后，将这个伪随机值和mask按位相与，得到最终的PG序号(pgid)。根据RADOS的设计，给定PG的总数为m(m应该为2的整数幂)，则mask的值为m-1。因此，哈希值计算和按位与操作的整体结果事实上是从所有m个PG中近似均匀地随机选择一个。基于这一机制，当有大量object和大量PG时，RADOS能够保证object和PG之间的近似均匀映射。又因为object是由file切分而来，大部分object的size相同，因而，这一映射最终保证了各个PG中存储的object的总数据量近似均匀。

3.PG-＞OSD映射

第三次映射就是将作为object的逻辑组织单元的PG映射到数据的实际存储单元OSD。如图4所示，RADOS采用一个名为CRUSH的算法，将pgid代入其中，然后得到一组共n个OSD。这n个OSD即共同负责存储和维护一个PG中的所有object。前已述及，n的数值可以根据实际应用中对于可靠性的需求而配置，在生产环境下通常为3。具体到每个OSD，则由其上运行的OSDdeamon负责执行映射到本地的object在本地文件系统中的存储、访问、元数据维护等操作。

以下提供一个关于实际File写入的实施例：

以file写入过程为例，对数据操作流程进行说明。为便于理解，此处进行若干假定。首先，假定待写入的file较小，无需切分，仅被映射为一个object。其次，假定系统中一个PG被映射到3个OSD上。

如图5所示，当某个客户端1311需要向分布式文件系统131的对象存储集群1313写入一个file时，首先需要在本地完成寻址流程(如图4实施例所述)，将file变为一个object，然后找出存储该object的一组三个OSD；这三个OSD具有各自不同的序号，序号最靠前的那个OSD就是这一组中的PrimaryOSD，而后两个则依次是SecondaryOSD和TertiaryOSD。

找出三个OSD后，client将直接和PrimaryOSD通信，发起写入操作(步骤1)。PrimaryOSD收到请求后，分别向SecondaryOSD和TertiaryOSD发起写入操作(步骤2、3)。当SecondaryOSD和TertiaryOSD各自完成写入操作后，将分别向PrimaryOSD发送确认信息(步骤4、5)。当PrimaryOSD确信其他两个OSD的写入完成后，则自己也完成数据写入，并向client确认object写入操作完成(步骤6)。

分析上述流程可以看出，在正常情况下，client可以独立完成OSD寻址操作，而不必依赖于其他系统模块。因此，大量的client可以同时和大量的OSD进行并行操作。同时，如果一个file被切分成多个object，这多个object也可被并行发送至多个OSD。

从OSD的角度来看，由于同一个OSD在不同的PG中的角色不同，因此，其工作压力也可以被尽可能均匀地分担，从而避免单个OSD变成性能瓶颈。

如上所述，本发明提供一种分布式存储系统，包括：基础存储系统，包括：多个存储节点，通过对象存储方式存储数据；基础库，用于提供应用程序访问所述存储集群的应用程序接口；高层应用接口，包括：分布式文件系统；应用层，用于提供应用功能，所述应用功能是使用所述高层应用接口来调用基础库中的应用程序接口以与基础存储系统数据交互来实现的；或者直接调用基础库中的应用程序接口以与所述基础存储系统数据交互来实现的。；本发明利用所述分布式文件系统等，来实现了信息存储的完整性、数据一致性、可靠性、安全性和高可用性，解决现有技术的问题。

本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种分布式存储系统，其特征在于，包括：

基础存储系统，包括：多个存储节点，通过对象存储方式存储数据；

基础库，用于提供应用程序访问所述存储集群的应用程序接口；

高层应用接口，包括：分布式文件系统；

应用层，用于提供应用功能，所述应用功能是使用所述高层应用接口来调用基础库中的应用程序接口以与基础存储系统数据交互来实现的；或者直接调用基础库中的应用程序接口以与所述基础存储系统数据交互来实现的。

2.根据权利要求1所述的分布式存储系统，其特征在于，所述分布式文件系统包括：客户端、元数据服务端、对象存储集群、及集群监视器；

所述对象存储集群，包括：多个对象存储设备，用于将文件数据及其元数据作为对象存储，并用于执行存储节点中所存储对象到块数据的映射；

所述客户端，用于与所述对象存储集群进行文件数据的交互；

所述元数据服务端，用于与所述对象存储集群间进行元数据交互，并对客户端提供元数据服务；

集群监视器，用于检测故障对象存储设备以维护有效的对象存储集群的映射。

3.根据权利要求2所述的分布式存储系统，其特征在于，所述将文件数据及其元数据作为对象存储，包括：所述元数据服务端对不同文件分别分配文件号；所述文件中的数据按预设对象容量划分成各个对象，其中，各对象分配有对象号；根据文件号和对象号为每个对象生成对象标识；通过对象标识上使用哈希算法，来为每个对象都分配一个放置组；建立放置组到对象存储设备的映射。

4.根据权利要求3所述的分布式存储系统，其特征在于，所述放置组到对象存储设备的映射是通过CRUSH算法建立的伪随机映射。

5.根据权利要求2所述的分布式存储系统，其特征在于，所述元数据服务端用于管理所述分布式文件系统的名称空间。

6.根据权利要求5所述的分布式存储系统，其特征在于，所述元数据服务端到其管理名称空间的映射在所述分布式文件系统中使用动态子树逻辑分区执行。

7.根据权利要求2所述的分布式存储系统，其特征在于，所述对象存储设备具有作为启动者或目标者而与其它对象存储设备间交互的功能。

8.根据权利要求1所述的分布式存储系统，其特征在于，所述分布式文件系统是兼容可移植操作系统接口的。

9.根据权利要求1所述的分布式存储系统，其特征在于，所述高层应用接口还包括：与AmazonS3和Swift兼容的对象存储应用开发接口；以及块设备接口。

10.根据权利要求1所述的分布式存储系统，其特征在于，各所述存储节点具有硬件资源，并运行有操作系统和文件系统。