CN102541467A - 一种对象数据服务器读写请求的调度方法 - Google Patents

Abstract

一种对象数据服务器读写请求的的调度方法，属于计算机存储领域，解决现有Linux系统自带软件不能保证存储设备负载均衡的问题，从而进一步提高对象数据服务器的可用性和性能。本发明包括：初始化步骤、负载检测步骤、负载统计步骤、判断迁移条件步骤、对象数据块迁移步骤和读写请求调度步骤。本发明通过在多设备间的请求调度，多设备的并行性，同时通过数据迁移实现设备间的负载均衡，提高存储系统可用性和性能；本发明在软件层实现磁盘阵列成本很低，面对异构存储设备优势明显，同时可以使用附网存储系统(NAS)架构的存储设备，提高了可扩展性。

Description

一种对象数据服务器读写请求的调度方法

技术领域

本发明属于计算机存储领域，具体涉及一种对象数据服务器读写请求的的调度方法。

背景技术

随着互联网业务量的增加、访问量和数据流量的快速增长，存储系统各个核心部分的处理的强度也相应增大，使得单一存储设备根本无法承担。在此情况下，如果扔掉现有设备去做大量的硬件升级，势必造成现有资源的浪费，而且再面临下一次业务量的提升，又将导致再一次硬件升级的高额成本投入，性能再卓越的设备也不能满足当前业务量要求。所以现在的存储系统需要面对性能、容量不同的异构存储设备。

在对象存储系统中，对象数据服务器实际上是部署在一台完整的服务器上，其后端直接或者通过网络挂载许多存储设备，如高端磁盘，固态盘(SSD)、附网存储系统(NAS)，存储区域网(SAN)，这些存储设备的能力有强有弱，存储的容量也有大有小。对象数据服务器计算功能强大，但网络的吞吐量远远大于存储设备的吞吐量，所以对象数据服务器处理读写请求的性能瓶颈往往存在于存储设备上；

处理上层的读写请求，现有的一种做法是对象数据服务器使用磁盘阵列(RAID)控制器将多个存储设备配成高性能的磁盘阵列，这就是硬件RAID的解决方法；还有一种做法是使用Linux系统自带的软件，将多个存储设备配成磁盘阵列，成为软RAID机制。硬件RAID的方法可以提高设备的性能和可靠性，但是它需要存储设备之间的性能和容量相当，无法配备异构的存储设备，而且往往价格昂贵。Linux系统自带的软RAID机制，可以便捷的解决不同性能、容量存储设备的调度，提高对象数据服务器的性能，但是它不能根据上层IO请求选择合适的存储设备进行服务，也不能在多个存储设备之间进行负载的迁移，不能保证存储设备的负载均衡。

本发明依据Linux系统，其中存储设备，包括磁盘、固态盘(SSD)以及非本机的附网存储系统(NAS)、存储区域网(SAN)，其中，将非本机的附网存储系统(NAS)、存储区域网(SAN)定义为虚拟设备。

设备挂载路径指的是存储设备挂载(mount)时，使用者指定的在linux操作系统上的路径，它与存储设备一一对应，通过对设备挂载路径的读写来实现对存储设备的读写操作。

设备标示符是存储设备的唯一标识；在对象存储系统中，对象标示符(OID)为64位的整数，用于唯一标识一个对象；对象标示符由客户端产生，并在请求的时候，作为参数传给对象数据服务器；对象数据服务器在处理读写请求的时候，由对象标示符对应的对象会被写在由设备标示符标识的存储设备上。

发明内容

本发明提供一种对象数据服务器读写请求的的调度方法，解决现有Linux系统自带软件不能保证存储设备负载均衡的问题，从而进一步提高对象数据服务器的可用性和性能。

本发明的一种对象数据服务器读写请求的的调度方法，包括下述步骤：

A.初始化步骤，包括以下过程：

(A1)设置设备列表、设备负载表、小磁盘组表、中磁盘组表、大磁盘组表、容量利用率升序表、源设备队列、目标设备队列、元数据信息表；设备列表表项包括设备标示符及其对应的设备挂载路径，设备负载表表项包括设备标示符及其对应的读写速率、容量、可用容量和设备利用率因子；大、中、小磁盘组表表项均包括磁盘组标示符及其对应的设备标示符、读写速率、容量、可用容量和设备利用率因子；容量利用率升序表表项包括设备标示符及其对应的可用容量和设备利用率因子；源设备队列表项和目标设备队列表项包括设备标示符；元数据信息表表项包括对象标示符及其对应的设备标示符；

按照各存储设备的可用容量大小，将存储设备分别归入大、中、小磁盘组；磁盘组标示符用于标示大、中、小磁盘组的类别；

(A2)除设备列表外，将上述其他各表的全部表项清空；用所有设备标示符及其对应的设备挂载路径初始化设备列表；

B.负载检测步骤，包括以下过程：

(B1).以文件系统标准测试程序iozone测试各存储设备的最大读写带宽，然后求N次测试的平均值，作为存储设备的最大读写带宽Wi；N≥3；

(B2).使用Linux系统调用应用程序接口(API)获取各存储设备负载信息，包括读写速率、容量和可用容量；

(B3).计算各存储设备利用率因子：

设备利用率因子＝设备读写速率/该存储设备的最大读写带宽Wi；

(B4).对各存储设备的设备利用率因子进行判断：

设备利用率因子≤δ₁，延时t₁秒后，进行过程(B5)；δ₁＜设备利用率因子＜δ₂，延时t₂秒后，进行过程(B5)；设备利用率因子≥δ₂，延时t₃秒后，进行过程(B5)；0＜δ₁＜δ₂＜1，利用率因子下阈值δ₁＝30％～50％，利用率因子上阈值δ₂＝60％～80％，0＜t₁＜t₂＜t₃，t₁＝3～5秒，t₂＝6～10秒，t₃＝10～15秒；

(B5).再次使用Linux系统调用应用程序接口(API)，获取本存储设备的负载信息，并将存储设备负载信息及相应的设备利用率因子保存在设备负载表中，转过程(B2)；

C.负载统计步骤，包括以下过程：

(C1).从设备负载表中获取各存储设备的负载信息和设备利用率因子；

(C2).按照各存储设备的可用容量，对存储设备进行分组：

可用容量≤a，分到小磁盘组表；a＜可用容量≤b，分到中磁盘组表；可用容量＞b，分到大磁盘组表；

其中，容量下阈值

容量上阈值

N_i为存储设备可用容量，m为存储设备个数，符号

表示对符号内的数值向下取整；

(C3).对大、中、小磁盘组表中各存储设备，按照设备利用率因子从小到大排序，转过程(C1)；

D.判断迁移条件步骤，包括以下过程：

(D1).判断系统繁忙状态：使用linux系统调用，获取对象数据服务器的CPU利用率U，判断是否U＞T，是则认为对象数据服务器处于繁忙状态，延时t₄秒后，转过程(D1)，否则转过程(D2)；其中，40％≤利用率阈值T≤80％，t₄＝30～60秒；

(D2).从设备负载表中获取各存储设备的负载信息，计算各存储设备容量利用率θ_i：其中，Z_i为存储设备容量；

(D3).按照存储设备容量利用率从小到大对存储设备排序，保存在容量利用率升序表中，置循环变量n＝1，进行过程(D4)；

(D4).计算存储设备容量利用率差θ：θ＝T_m-n+1-T_n；T_i为容量利用率升序表中的第i个元素的设备容量利用率；

判断是否θ＜W，是则转过程(D6)；否则将容量利用率升序表中的第m-n+1个存储设备的设备标示符放到目标设备队列中，将第n个存储设备的设备标示符放到源设备队列中，转过程(D5)；20％≤迁移阈值W≤80％；

(D5)置n＝n+1，转过程(D4)；

(D6).判断源设备队列和目标设备队列是否均不为空，是则转步骤E；否则转过程(D1)；

E.对象数据块迁移步骤，包括以下过程：

(E1).从源设备队列中取出队首设备标示符e，从目标设备队列中取出队首设备标示符f，源设备队列和目标设备队列中剩余设备标示符依序递升为各自所在队列的队首设备标示符；

(E2).将设备标示符e对应存储设备上大小为y的任一对象数据块d迁移到设备标示符f对应的存储设备上；

其中，y＝(Z_e-N_e-Z_f+N_f)/2，Z_e、Z_f分别为设备标示符e、f对应的存储设备容量、N_e、N_f分别为设备标示符e、f对应的存储设备可用容量；

(E3).将元数据信息表中标识对象数据块d的对象标示符所对应的存储设备的设备标示符e，修改为设备标示符f，然后判断源设备队列和目标设备队列是否均不为空，是则转过程(E1)；否则转步骤D；

F.读写请求调度步骤，包括以下过程：

(F1).当用户请求到达时，判断用户请求类型：读请求进行过程(F2)写请求进行过程(F4)；读请求包括对象标示符oid、偏移量offset和读数据长度，写请求包括对象标示符oid、数据、数据长度和副本数L；1≤L≤8；

(F2).根据对象标示符在元数据信息表中找到需要读的数据所在存储设备的设备标示符，判断是否设备标示符个数大于1，是则转过程(F3)；否则从设备标示符对应的存储设备上进行读取，并将该存储设备的利用率因子加上Ω，转过程(F1)；负载预估值Ω＝2％～5％；

(F3).选择其中一个设备标示符，其设备利用率因子最小，对其对应的存储设备进行读取，并将该存储设备的利用率因子加上Ω，转过程(F1)；

(F4).根据设备负载表计算所有存储设备的设备利用率因子之和λ，并判断λ：

当λ≥m×α，则将大、中、小磁盘组表合并，按照设备利用率因子的大小对存储设备排序，取出L个设备利用率因子最小的存储设备为写操作设备；

当m×β＜λ＜m×α，则将大、中磁盘组表合并，按照设备利用率因子的大小对存储设备排序，取出L个设备利用率因子最小的存储设备为写操作设备；

当λ≤m×β，则对大磁盘组按照设备利用率因子的大小对存储设备排序，取出L个设备利用率因子最小的存储设备为写操作设备；

其中，50％＜利用率上阈值α＜70％；0＜利用率下阈值β＜35％；

(F5).按照副本数L，分别将数据写到L个写操作设备上，然后将标识数据的对象标示符及其对应的L个设备标示符写到元数据信息表中，转过程(F1)。

本发明的负载检测步骤循环检测系统的负载，将系统的负载信息存储在设备负载信息表中；负载统计步骤通过负载信息表，获取设备的负载信息，然后按照设备的可用容量对设备分组，并存放在磁盘组表中，然后对磁盘组表内的存储设备排序；对象数据块迁移步骤利用设备负载信息表得到容量升序表，来判断迁移条件，然后得到迁移源和目标，进行数据迁移；读写请求处理步骤根据元数据信息表和磁盘组表来处理读写请求。

本发明利用多设备的并行性，并在多设备之间通过迁移，保证多个设备的负载均衡，主要消耗CPU的操作，对数据的读写操作影响不大。与动辄上百万的磁盘阵列相比较，本发明在软件层实现磁盘阵列成本很低，不需要专门的控制器和特殊的接口卡，价格便宜；磁盘阵列和Linux操作系统的软RAID机制使用容量和性能差别很大的磁盘构成磁盘阵列的时候，会有很大的容量损失，而且性能上无法保证，与其相比较，本发明面对异构存储设备优势明显，同时可以使用附网存储系统(NAS)架构的存储设备，后面可以挂载网络文件系统(NFS)、集群文件系统Lustre等分布式文件系统，提高了可扩展性

附图说明

图1为本发明的流程框图；

图2为负载检测步骤流程框图；

图3为负载统计步骤流程框图；

图4为判断迁移条件步骤流程框图；

图5为对象数据块迁移步骤流程框图；

图6为读写请求调度步骤流程框图。

具体实施方式

下面结合附图与实施例对本发明进一步说明。

如图1所示，本发明包括：初始化步骤、负载检测步骤、负载统计步骤、判断迁移条件步骤、对象数据块迁移步骤和读写请求调度步骤。

负载检测步骤循环检测系统的负载，将系统的负载信息存储在设备负载信息表中；负载统计步骤通过负载信息表，获取设备的负载信息，然后按照设备的可用容量对设备分组，并存放在磁盘组表中，然后对磁盘组表内的存储设备排序；对象数据块迁移步骤利用设备负载信息表得到容量升序表，来判断迁移条件，然后得到迁移源和目标，进行数据迁移；读写请求处理步骤根据元数据信息表和磁盘组表来处理读写请求。

图2所示为本发明的负载检测步骤；作为一个实施例，其中，利用率因子下阈值δ₁＝30％，利用率因子上阈值δ₂＝70％，t₁＝3秒，t₂＝6秒，t₃＝10秒。

图3所示为本发明的负载统计步骤；作为一个实施例，其中，存储设备个数m＝10，存储设备可用容量N_i分别为4T、1T、2个750G、4个500G和2个80G，由此求得容量下阈值a＝283G，容量上阈值b＝566G。

图4所示为本发明的判断迁移条件步骤；作为一个实施例，其中，利用率阈值T＝60％，t₄＝60秒；迁移阈值W＝65％；

图5所示为本发明的读写请求调度步骤；

图6所示为本发明的读写请求调度步骤；作为一个实施例，其中，负载预估值Ω＝3％；利用率上阈值α＝60％；利用率下阈值β＝25％；

Claims (1)

1.一种对象数据服务器读写请求的的调度方法，包括下述步骤：

A.初始化步骤，包括以下过程：

(A1)设置设备列表、设备负载表、小磁盘组表、中磁盘组表、大磁盘组表、容量利用率升序表、源设备队列、目标设备队列、元数据信息表；设备列表表项包括设备标示符及其对应的设备挂载路径，设备负载表表项包括设备标示符及其对应的读写速率、容量、可用容量和设备利用率因子；大、中、小磁盘组表表项均包括磁盘组标示符及其对应的设备标示符、读写速率、容量、可用容量和设备利用率因子；容量利用率升序表表项包括设备标示符及其对应的可用容量和设备利用率因子；源设备队列表项和目标设备队列表项包括设备标示符；元数据信息表表项包括对象标示符及其对应的设备标示符；

按照各存储设备的可用容量大小，将存储设备分别归入大、中、小磁盘组；磁盘组标示符用于标示大、中、小磁盘组的类别；

(A2)除设备列表外，将上述其他各表的全部表项清空；用所有设备标示符及其对应的设备挂载路径初始化设备列表；

B.负载检测步骤，包括以下过程：

(B1).以文件系统标准测试程序iozone测试各存储设备的最大读写带宽，然后求N次测试的平均值，作为存储设备的最大读写带宽Wi；N≥3；

(B2).使用Linux系统调用应用程序接口(API)获取各存储设备负载信息，包括读写速率、容量和可用容量；

(B3).计算各存储设备利用率因子：

设备利用率因子＝设备读写速率/该存储设备的最大读写带宽Wi；

(B4).对各存储设备的设备利用率因子进行判断：

设备利用率因子≤δ₁，延时t₁秒后，进行过程(B5)；δ₁＜设备利用率因子＜δ₂，延时t₂秒后，进行过程(B5)；设备利用率因子≥δ₂，延时t₃秒后，进行过程(B5)；0＜δ₁＜δ₂＜1，利用率因子下阈值δ₁＝30％～50％，利用率因子上阈值δ₂＝60％～80％，0＜t₁＜t₂＜t₃，t₁＝3～5秒，t₂＝6～10秒，t₃＝10～15秒；

(B5).再次使用Linux系统调用应用程序接口(API)，获取本存储设备的负载信息，并将存储设备负载信息及相应的设备利用率因子保存在设备负载表中，转过程(B2)；

C.负载统计步骤，包括以下过程：

(C1).从设备负载表中获取各存储设备的负载信息和设备利用率因子；

(C2).按照各存储设备的可用容量，对存储设备进行分组：

可用容量≤a，分到小磁盘组表；a＜可用容量≤b，分到中磁盘组表；可用容量＞b，分到大磁盘组表；

其中，容量下阈值

容量上阈值

N_i为存储设备可用容量，m为存储设备个数，符号表示对符号内的数值向下取整；

(C3).对大、中、小磁盘组表中各存储设备，按照设备利用率因子从小到大排序，转过程(C1)；

D.判断迁移条件步骤，包括以下过程：

(D1).判断系统繁忙状态：使用linux系统调用，获取对象数据服务器的CPU利用率U，判断是否U＞T，是则认为对象数据服务器处于繁忙状态，延时t₄秒后，转过程(D1)，否则转过程(D2)；其中，40％≤利用率阈值T≤80％，t₄＝30～60秒；

(D2).从设备负载表中获取各存储设备的负载信息，计算各存储设备容量利用率θ_i：

其中，Z_i为存储设备容量；

(D3).按照存储设备容量利用率从小到大对存储设备排序，保存在容量利用率升序表中，置循环变量n＝1，进行过程(D4)；

(D4).计算存储设备容量利用率差θ：θ＝T_m-n+1-T_n；T_i为容量利用率升序表中的第i个元素的设备容量利用率；

判断是否θ＜W，是则转过程(D6)；否则将容量利用率升序表中的第m-n+1个存储设备的设备标示符放到目标设备队列中，将第n个存储设备的设备标示符放到源设备队列中，转过程(D5)；20％≤迁移阈值W≤80％；

(D5)置n＝n+1，转过程(D4)；

(D6).判断源设备队列和目标设备队列是否均不为空，是则转步骤E；否则转过程(D1)；

E.对象数据块迁移步骤，包括以下过程：

(E1).从源设备队列中取出队首设备标示符e，从目标设备队列中取出队首设备标示符f，源设备队列和目标设备队列中剩余设备标示符依序递升为各自所在队列的队首设备标示符；

(E2).将设备标示符e对应存储设备上大小为y的任一对象数据块d迁移到设备标示符f对应的存储设备上；

其中，y＝(Z_e-N_e-Z_f+N_f)/2，Z_e、Z_f分别为设备标示符e、f对应的存储设备容量、N_e、N_f分别为设备标示符e、f对应的存储设备可用容量；

(E3).将元数据信息表中标识对象数据块d的对象标示符所对应的存储设备的设备标示符e，修改为设备标示符f，然后判断源设备队列和目标设备队列是否均不为空，是则转过程(E1)；否则转步骤D；

F.读写请求调度步骤，包括以下过程：

(F1).当用户请求到达时，判断用户请求类型：读请求进行过程(F2)写请求进行过程(F4)；读请求包括对象标示符oid、偏移量offset和读数据长度，写请求包括对象标示符oid、数据、数据长度和副本数L；1≤L≤8；

(F2).根据对象标示符在元数据信息表中找到需要读的数据所在存储设备的设备标示符，判断是否设备标示符个数大于1，是则转过程(F3)；否则从设备标示符对应的存储设备上进行读取，并将该存储设备的利用率因子加上Ω，转过程(F1)；负载预估值Ω＝2％～5％；

(F3).选择其中一个设备标示符，其设备利用率因子最小，对其对应的存储设备进行读取，并将该存储设备的利用率因子加上Ω，转过程(F1)；

(F4).根据设备负载表计算所有存储设备的设备利用率因子之和λ，并判断λ：

当λ≥m×α，则将大、中、小磁盘组表合并，按照设备利用率因子的大小对存储设备排序，取出L个设备利用率因子最小的存储设备为写操作设备；

当m×β＜λ＜m×α，则将大、中磁盘组表合并，按照设备利用率因子的大小对存储设备排序，取出L个设备利用率因子最小的存储设备为写操作设备；

当λ≤m×β，则对大磁盘组按照设备利用率因子的大小对存储设备排序，取出L个设备利用率因子最小的存储设备为写操作设备；

其中，50％＜利用率上阈值α＜70％；0＜利用率下阈值β＜35％；

(F5).按照副本数L，分别将数据写到L个写操作设备上，然后将标识数据的对象标示符及其对应的L个设备标示符写到元数据信息表中，转过程(F1)。

Images