CN104484130A - 一种横向扩展存储系统的构建方法 - Google Patents

Abstract

本发明涉及一种横向扩展存储系统的构建方法，适用于大数据分布式存储，属于大数据云存储技术领域。包括以下步骤：按节点对存储系统中所有的块设备进行划分，使每个块设备归入一个节点；将所有节点的块设备按照一定大小进行条带切分，并把他们按照一定的算法整合为一个统一的存储池；将存储池映射给存储系统的客户端；客户端向存储池写入和从存储池读出数据。传统的存储系统只能配置固定的容量，固定的前后端接口，而基于横向扩展架构的存储系统可以很轻松的扩展和管理PB级的数据，也可以提供更多的CPU、内存，前后端接口，更大的容量，不存在单点性能瓶颈。

Description

一种横向扩展存储系统的构建方法

技术领域

本发明涉及一种横向扩展存储系统的构建方法，适用于大数据存储，属于大数据云存储技术领域。

背景技术

在现代存储领域，为了提高存储数据的可靠性和改善存储系统的输入、输出性能，人们设计了多种数据存储方案，这些数据存储方案通常是各种类型的独立磁盘冗余阵列(Redundant Arrays of Independent Disks，RAID)。通过使用特定的硬件或软件，RAID把多个物理存储设备如磁盘，联合起来，形成一个统一的逻辑存储设备。但传统的数据存储系统，均是基于单节点，通过增加CPU能力和磁盘个数进行纵向扩展。当扩展到一定程度后，系统的性能达到峰值，再扩展则会导致性能下降。

下面对RAID中常用的技术术语进行解释：

条带：又称为Stripe；是磁盘阵列的不同磁盘上的位置相关的分块的集合，是组织不同磁盘上条块的单位。

条带化：又称为Striping；是指把一段连续数据分割成相同大小的数据块，把每段数据分别写入到磁盘阵列的不同磁盘上的方法。

磁盘镜像是指复制源数据到一个或更多的磁盘上，

节点：传统概念中的一个存储系统，为本文中提到的一个节点。

分布式存储：将原来统一存放在某一个节点上的数据，分散到不同的节点上，在增加容量的同时，也增加了计算资源，不存在理论上的计算瓶颈。

XOR运算：异或运算。

比较常用的RAID有RAID0、RAID1、RAID5、RAID6、RAID10、RAID50和RAID60等。其中RAID0不具有冗余能力，RAID1只是对磁盘做了镜像。其它5种阵列分别有多个磁盘组成，它们以条带的方式向阵列中的磁盘写数据，奇偶校验数据 存放在阵列中的各个磁盘上。传统的阵列在数据量较小的情况得到了广泛应用。

纵向扩展：传统存储通过对单系统节点内进行处理器性能增强、内存空间增大、磁盘容量空间增加进行存储系统扩展。

横向扩展：通过增加节点来达到增强处理器性能、内存空间和磁盘容量达到存储系统扩展的目的。

然而，在数据量大增的今天，传统的阵列出现了几种情况下无法满足当前云存储对存储系统容量和吞吐效率的需求：

1、大容量的集中存储对传统存储系统带来了挑战；

2、大量的上百GB的大文件同时往一个传统存储系统中写入，此时的传统存储的前端接口已经无法满足这样的需求；

3、在通常的分布式或者集群文件系统中，主要是基于在节点中的本地文件系统之上进行了分布式或者集群式的处理，基于文件级的锁机制，这种机制在机架或者机房掉电时，带来的是数据丢失的灾难。而当前基于节点上使用本地文件系统来构建的分布式存储系统无法解决此问题，在数据恢复时，会带来大量的网络、处理器和内存资源的消耗，且有可能导致业务停止运行。

发明内容

本发明的目的是为解决传统纵向扩展的存储系统因为只能配置固定的CPU、内存、磁盘容量和固定的前后端接口带来的带宽和IOPS存在扩展极限的问题，提出一种基于横向扩展存储系统的构建方法。

本发明的思想是抛弃传统的纵向扩展，改为以横向扩展的方式来增加存储空间和计算资源，从而进行存储系统构建。

本发明的目的是通过以下技术方案实现的：

一种基于横向扩展存储系统的构建方法，包括以下步骤：

步骤一：按节点对存储系统中所有的磁盘,即块设备进行划分，使每个块设备归入一个节点；

磁盘包括了本地硬盘和网络映射的磁盘，本地磁盘如SATA HDD、SAS HDD或者SSD，本地软、硬RAID和逻辑卷等；网络映射的磁盘如通过iSCSI协议、 FC协议或者iSER协议等映射的磁盘阵列的LUN；

步骤二：将步骤一中所有节点的块设备按照一定大小进行条带切分，并把他们按照一定的算法整合为一个统一的存储池；

所述算法可以采用网络RAID算法，如RAID0，RAID1，RAID5或者RAID6等，也可以采用纠删码技术，灵活对磁盘空间的利用率进行控制，N份数据，M份冗余数据；

步骤三：将步骤二中的存储池映射给存储系统的客户端；

通过存储网络协议将存储池映射给客户端进行使用，存储协议如iSCSI、FC和iSER等；也可以将存储池格式化为文件系统再通过NAS相关协议，如CIFS和NFS等进行导出；也可通过API对存储池进行管理和读写，方便第三方应用直接写入，避免协议的转换，提升写入效率；

步骤四：客户端向存储池写入和从存储池读出数据；

数据从存储系统的客户端写入时，将数据对象化，一个大文件被分割为N个对象，前N-1个大小一致，第N个大小可能小于等于前N－1个，根据设定的副本数，节点在机架上的分布，以及节点内磁盘的数量，通过一致性哈希算法选择数据分布，将N－1个对象数据将按条带并发写入到不同机架的不同节点上的不同磁盘的一个或多个条带块上，当第N个对象不满足一个条带大小均分时，补零满条带进行写入；数据从存储系统的客户端读取时，可通过服务端的负载和网络请求的数量来进行加权计算，从而将客户端请求实际交给系统负载和网络负载较轻的设备来进行处理，如多个副本都满足请求，进行多副本并发读操作；在同一个副本中，同样会按照设定的对象大小，将N个对象并发从不同机架的不同节点上的不同磁盘的一个或多个条带块上读出。

作为优选，数据写入时可以采用强一致性或弱一致性两种策略：

强一致性策略，客户端同时写入全部镜像，均写入成功后返回客户端；

弱一致性策略，将镜像分为主从镜像，客户端写入到主镜像，主镜像写入成功后返回客户端，由主镜像发起向从镜像的写入操作，从镜像写入成功后只向主镜像返回。

作为优选，在存储系统中的各节点上，可支持动态添加缓存SSD，不停止应 用，可设置其策略为回写、通写和预热读。采用回写的方式时，将数据先写入SSD，定期或达到阈值警戒同步缓存数据到机械盘中；通写时，绕过缓存，直接写入机械盘；预热读，最近访问次数越多的条带，将会迁移到SSD中以提高访问命中率。

有益效果

对比现有技术，本发明方法具有以下特点：

1、系统性能线性扩展功能：根据本发明方法可以通过增加节点对系统容量、数据吞吐能力进行线性扩展；

2、管理简单：可以对多节点资源进行统一管理和配置；

3、根据本发明方法构建的系统扩展简单，轻松的扩展和管理PB级的数据；

4、不存在单点性能瓶颈。

附图说明

图1为系统整体架构示意图；

图2为本发明节点中的裸设备分块示意图；

图3为本发明中镜像强弱一致性写入方式的写入流程示意图；

图4为本发明中的节点缓存读写流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明方法进行详细说明。

本实施例基于本发明提供的一种基于横向扩展存储系统的构建方法构建的存储系统，包括以下步骤：

本实施例中，节点数量理论上可以无限扩展，客户端数量也可以无限扩展，在实现上并未限制，基于横向扩展存储系统的整体架构如图1所示。限于实际环境，本实施例只搭建了4个节点，8个客户端，数据为双副本模式，使用节点上本地16片SATA盘进行测试。

步骤一，按节点对存储系统中所有的磁盘,即块设备进行划分，使每个块设备归入一个节点；

本实施例中由于只使用了本地硬盘，故无iSCSI、FC或者其他网络磁盘；在有本地硬盘和网络磁盘的情况下，为便于存储池整合，比较好的方式是将存储空间相同、类型相似的块设备归入同一节点。

步骤二，将步骤一中所有节点的块设备按照一定大小进行条带切分，并把他们按照一定的算法整合为一个统一的存储池；

对同一节点上的每个盘按照一定大小(一般支持64KB、128KB、512KB和1MB，可修改)进行条带切分。以512K为例，某个条带在节点1上的数据排布对应16个盘分别为D0(sn)～D0(sn+512)、D1(sn)～D1(sn+512)、一直到D15(sn)～D15(sn+512)。节点2至节点4与节点1的条带划分一致。如图2所示为数据块0至数据块m在一个节点n个磁盘的条带切分示意图。数据向不同机架的不同节点并发存储时，对象数据块按条带内的磁盘数量计算后得到的数据块，按顺序从数据块0到数据块m填充，对每个数据块，尽量一次IO请求完成填充，直到数据占满所有的块设备。

条带切分后可以采用网络RAID算法或纠删码技术对所有节点的块设备进行整合，本实施例中采用RAID1算法，将节点2和节点4分别作为节点1和节点3的镜像，因此所有节点上的所有盘的条带块大小一样，若节点1的数据分布在D0(sn)～D0(sn+512)、D1(sn)～D1(sn+512)、一直到D15(sn)～D15(sn+512)，则镜像数据分布在节点2的D0(sn)～D0(sn+512)、D1(sn)～D1(sn+512)、一直到D15(sn)～D15(sn+512)；

步骤三，使用存储网络协议如iSCSI、iSER、FC或者NAS导出方式，将整个系统的存储池映射给客户端使用，本例中直接采用了NAS协议中的NFS协议导出方式；

步骤四，客户端写入和读出数据；

如果按照客户端1GB文件写入，数据为双副本，按照16MB的大小对1GB文件对象化，则有共计1GB/16MB＝64个16MB的对象数据块，由于本实施例采用RAID1将4个节点的块设备进行整合，因此每个节点将存储32个对象数据块， 节点2为节点1的镜像，节点4为节点3的镜像。如果条带大小为512KB，则一个节点16块盘，一个16MB的对象数据块分布到节点上的每个盘的数据块大小为16MB/16＝1MB，使用每个盘上的条带数为1MB/512KB＝2个，此2个条带对磁盘提交1次IO请求，为顺序写入，直接发挥磁盘的带宽能力。1个对象数据块在数据节点上的16个磁盘上的分布为第m和第m+1个条带，表示如下：D0(m)，D1(m),……D15(m)和D0(m+1)，D1(m+1)，……，D15(m+1)，在镜像节点上的磁盘上的镜像数据为D0(m)，D(m),……D15(m)和D0(m+1)，D1(m+1)，……，D15(m+1)。如图3所示，可将各数据块按照镜像强一致性或者弱一致性方式写入到磁盘。读数据时，先从客户端的缓存中查找是否有数据，如果缓存未命中，则发送命令向节点进行数据读取请求，同时可向数据节点和镜像节点请求读数据，如按照1GB文件读取，同样先计算读取文件的对象数据大小，为64个16MB的对象数据块，对对象数据块进行异步读取，此时的数据源可以是数据节点的数据盘，也可以是镜像节点的数据盘，完全发挥所有磁盘的并发性能。对象数据块一次并发读取所有数据盘上的2个512KB的条带，D0～15(m)和D0～15(m+1)，当所有的对象数据块读取完成后，进行对象合并为文件。在实际部署中，如图4所示，可增加SSD或者PCI-e的Flash卡，用作其缓存，提高小数据块的IOPS能力。

本实施例的在大文件大IO的情况下，可以完全发挥出千兆和万兆接口带宽的能力，单口千兆下读带宽为110MB/s，写入带宽在镜像强一致性时为55MB/s，为接口带宽的一半，在异步镜像写入时为86MB/s。即最大能够满足344路2Mb/s的高清视频流的同时写入，440路该类视频流的同时读出。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术特征进行等同替换，这些改进和替换也应视为本发明的保护范围。

Claims (7)

1.一种横向扩展存储系统的构建方法，其特征在于：

步骤一：存储系统中所有节点扫描所有的磁盘,即块设备，使每个块设备归入一个节点；

步骤二：将步骤一中所有节点的块设备按照一定大小进行条带切分，并把他们按照一定的算法整合为一个统一的存储池；

步骤三：将步骤二中的存储池映射给存储系统的客户端；

步骤四：客户端向存储池写入和从存储池读出数据。

2.如权利要求1所述的一种横向扩展存储系统的构建方法，其特征还在于：所述磁盘包括了本地硬盘和网络映射的磁盘，本地磁盘如SATA HDD、SAS HDD或者SSD，本地软、硬RAID和逻辑卷；网络映射的磁盘如通过iSCSI协议、FC协议或者iSER协议等映射的磁盘阵列的LUN。

3.如权利要求1所述的一种横向扩展存储系统的构建方法，其特征还在于：步骤二所述算法可以采用网络RAID算法，如RAID0，RAID1，RAID5或者RAID6，也可以采用纠删码技术。

4.如权利要求1所述的一种横向扩展存储系统的构建方法，其特征还在于：所述步骤三可以采用如下三种方式进行映射：

(1)通过存储网络协议将存储池映射给客户端进行使用，存储协议如iSCSI、FC和iSER；

(2)通过将存储池格式化为文件系统再通过NAS相关协议进行导出，NAS相关协议如CIFS和NFS协议；

(3)通过专有API对存储池进行管理和读写，方便第三方应用直接写入，避免协议的转换，提升写入效率。

5.如权利要求1所述的一种横向扩展存储系统的构建方法，其特征还在于：所述步骤四向存储池写入数据时可以采用如下强一致性或弱一致性两种策略：

强一致性策略，客户端同时写入全部镜像，均写入成功后返回客户端；

弱一致性策略，将镜像分为主从镜像，客户端写入到主镜像，主镜像写入成功后返回客户端，由主镜像发起向从镜像的写入操作，从镜像写入成功后只向主镜像返回。

6.如权利要求1所述的一种横向扩展存储系统的构建方法，其特征还在于： 在所述存储系统中的各节点上，可支持动态添加缓存SSD，不停止应用，可设置其策略为回写、通写和预热读：

采用回写的方式时，将数据先写入SSD，定期或达到阈值警戒同步缓存数据到机械盘中；

采用通写的方式时，绕过缓存，直接写入数据到机械盘中；

采用预热读的方式时，最近访问次数越多的条带，将会迁移到SSD中以提高访问命中率。

7.如权利要求1所述的一种横向扩展存储系统的构建方法，其特征还在于：所述步骤一使每个块设备归入一个节点时应将存储空间相同、类型相似的块设备归入同一节点。