CN100428131C - 海量存储系统中的资源分配方法 - Google Patents

Abstract

海量存储系统中的资源分配方法属于存储区域网络领域，其特征在于：按照容量规则对SAN环境中的资源进行评价，并根据该评价值用基于概率的随机方法就行资源分配，以达到资源利用率及性能的最优化；同时，支持SAN中磁盘的添加与删除。它具有高度的兼容性及灵活性、高效的资源管理、高度可扩展性与可靠性及资源管理的代价小等优点。

Description

海量存储系统中的资源分配方法

技术领域

海量存储系统中的资源分配方法属于存储区域网络领域，尤其涉及其中的数据分布与负载平衡领域。

背景技术

随着信息技术的飞速发展，人们要处理的数据量不断增加；这对存储系统容量和性能提出了巨大需求，并使得传统的存储方式已经无法满足用户的需要。存储区域网络(Storage AreaNetwork，SAN)是一种专门的存储网络，它可以把各种存储设备连接在一起，组成统一管理的存储资源，而主机可以通过光纤或IP网络来访问这些资源。同时，为了支持存储网络中不同规格的磁盘及各种异构的前端主机，虚拟化技术被引入到存储区域网络中。虚拟化屏蔽存储设备的物理细节，将它们虚拟为一个巨大的存储池提供给前端主机。在这种存储体系结构中，虚拟化的存储资源通过网络为前端主机所共享，物理资源配置可以不断变化，以满足用户对存储容量或性能的需求。

但是随着存储网络规模的不断增加，单纯的虚拟化并不能解决所有问题。首先，在大规模存储区域网络中，存储设备的带宽、容量以及前端主机对存储系统容量、带宽、延时的服务质量(Quality of Service，QoS)要求不尽相同；如何在差异化的存储设备中为主机分配资源以达到存储系统性能的最优化并尽量的满足前端主机的要求是一个重要问题。其次，当存储系统容量或者前端主机的访问模式发生改变时，如不进行存储资源的重新分配，则无法达到存储系统的性能最优化。同时，虽然目前的SCSI(Small Computer System Interface，小型计算机系统接口)磁盘的平均无故障时间(MTBF)可到达数十万小时，但在SAN环境中存在成千上万块磁盘，平均不到24小时会有一块磁盘损坏；如何替换出现问题的磁盘而不丢失数据成为一个重要的问题。

发明内容

本发明的目的是设计一种对异构磁盘的基于容量的评价方法，并根据这一评价结果实现存储资源的随机分布，即随机数据分布。通过本方法，存储资源从传统的规律的条带化分布改为按照容量的随机分布，使得各个存储设备的资源利用率基本达到平衡且负载更加均衡；同时，当存储系统的物理布局发生变化时，该方法可以保证迁移最少的数据以达到系统的新的平衡。

本发明构建在存储虚拟化之上。虚拟化系统能够把所有的物理磁盘(Physical Disks，简称PD)组织成一个统一的存储池(Source Container，简称SC)。存储管理员可以根据用户的需要，随意地从SC中划分存储空间，从而形成众多的虚拟盘(Virtual Disks，简称VD)，以供前端服务器使用。虚拟化系统接收前端服务器发来的SCSI指令，把逻辑地址转化为实际的设备物理地址进行读写操作并返回结果。这样，虚拟化系统能够实现存储资源的整合。在实现上，系统将物理磁盘按照一个固定大小的单元——SG(Storage Granularity)划分成若干个块，并按照地址顺序依次编号；同时，VD也按此大小分为若干个SG，并按照地址顺序依次编号。我们在实现中取SG为512KB。分别为PD和VD创建资源使用表与资源映射表。资源使用表记录了该表对应的PD的每个SG是否被某个VD使用以及具体被映射到哪个VD的哪个SG上。创建资源映射表记录与之对应的VD的SG映射到的某一PD的具体位置。所以，本发明中的资源分配的目的就是填充资源使用表与资源映射表；为VD的每个SG在PD中找到对应的SG。一个VD的SG可以映射到多个PD中。

磁盘评价是资源分布的基础，它根据物理磁盘的容量(Capacity，简称C)产生评价值，分布到该物理磁盘上的数据量由其容量决定。

基于虚拟化的存储资源分配就是为VD中的SG分配对应PD中的SG以填充资源使用表与资源映射表。一般而言，在以下三种情况下要进行资源分配：创建新的VD，在SC中添加新的PD以及从SC中删除PD，其基本算法如下。

假设系统中有n块物理磁盘PD₁、PD₂……PD_n，评价值(即容量)分别为C₁、C₂……C_n。待分布的数据对象集合S＝{SG₁，SG₂...SG_m}，m为集合S的大小。定义PD₁的容量区间为(0，C₁)，PD₂的容量区间为(C₁，C₁+C₂)，……，PD_n的容量区间为

当创建VD或添加PD时，S为SAN中所有的数据对象；当删除PD时，S为待删除PD上的数据对象。对于待分布数据对象集合S中的每一个对象SG_i，产生一个随机数r，当r落在PD_j的容量区间时，将SG_i分布在PD_j中。

具体而言，当存储系统中加入或移除物理磁盘时，必须重新分配各个VD的存储资源，将部分存储迁移到新的物理磁盘中，以保证负载平衡。为了保证这种负载平衡，本发明采用了基于概率的随机方法来进行资源分配。

本发明的特征在于，依次含有以下几个步骤：

步骤(1)：在所述系统的虚拟化管理服务器之上加载一个资源分配与资源配置模块以及一个中间层命令处理模块，其中：

首先，资源分配与资源配置模块含有以下数据结构：

ax_pd_t：记录某一个物理磁盘PD的属性，包括容量、带宽、已用空间、可用空间及资源使用表；该资源使用表对应于某一个PD，记录了对应PD的每个存储管理基本单元SG是否被某个虚拟磁盘VD使用以及被映射到哪个VD的哪个SG上；所述PD和VD均被划分为大小相等的若干个SG；

ax_vd_t：记录某一个虚拟磁盘的VD的属性，包括容量及资源映射表；该资源映射表对应于某一个VD，记录了对应VD的每个SG映射到的某一PD的具体位置；

axum_SC：记录整个系统中所有物理磁盘PD、虚拟磁盘VD的总大小、总可用空间，并包含一个由系统中所有ax_pd_t组成的链表及所有ax_vd_t组成的链表；

其次，所述资源分配与资源配置模块按以下方式实现资源分配：

设定：系统中有n块物理磁盘，用PD₁、PD₂、……、PD_n表示，用容量表示的评价值分别为C₁、C₂……C_n；

定义：待分布的数据对象集合S＝{SG₁，SG₂，...，SG_m}，m为集合S的大小；

定义：PD₁的容量区间为(0，C_t)，PD₂的容量区间为(C₁，C₁+C₂)，……，PD_n的容量区间为

则：在创建VD或添加PD时，S为SAN中所有的数据对象；当删除PD时，S为待删除PD上的数据对象；

对于待分布数据对象集合S中的每一个对象SG_i，产生一个随机数r，当r落在PD_j的容量区间时，将SG_i分布在PD_j中；

(1)创建PD_n的流程如下：

步骤(1.0)，为PD分配数据结构ax_pd_t，填充包括容量、可用大小的基本属性，初始化PD的资源使用表；定义变量P并初始化为0；

步骤(1.1)，将PD加入到虚拟化管理服务器中把所有PD虚拟地组织成一个统一的存储池SC；

步骤(1.2)，对SC中存在的VD按以下步骤进行资源重分配：

步骤(1.2.1)，对所有已分配的物理磁盘PD_i，i＝1，2，...，n-1，定义δ_i＝C_i/S′-C_i/S，其中 $S=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{C}_i$ 为包括PD_n在内的所有物理磁盘的总容量， $S^{\′}=\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}{C}_i,$ 为所有已分配资源的物理磁盘的总容量；

步骤(1.2.2)，对于所有SG_i产生(0，1)区间平均分布的随机数r，所述SG_i∈PD_i且所有SG_i已分配给VD，i＝1，2，...，n-1；

步骤(1.2.3)，对于该SG_i所属的PD_i，若r＜δ_i，则该SG_i迁移到PD_n的第P个SG中，并修改相应的资源使用表与资源映射表，P加1；否则该SG_i保持不变；

步骤(1.2.4)，重复步骤(1.2.3)，直到i＝n-1结束；

(2)删除PD_n的流程如下：

步骤(2.0)，对于该PD_n上所有已分配的SG的集合，产生

区间平均分布的n-1个随机数r；

步骤(2.1)，若随机数r_i位于PD_i的容量区间上，则该SG迁移到PD_i的第P_i个SG上；否则该SG保持不变；P_i为PD_i上按地址顺序第一个未被分配给VD的SG的位置，i＝1，2，...，n-1；

步骤(2.2)，搜索PD_i使得P_i指向PD_i下一个未被分配的SG，并修改相应的资源使用表与资源映射表；

步骤(2.3)，把PD_n从SC中删除，释放相关数据结构ax_pd_t及其资源使用表；

创建VD的流程如下：

步骤(3.0)，计算SC中剩余空间之和是否大于要创建的VD的容量；如果否，则不能创建该VD；否则转下一步；

步骤(3.1)，创建VD的数据结构ax_vd_t并添加到SC中；

步骤(3.2)，若要创建的为VD_n，其步骤如下：

步骤(3.2.1)，对该VD_n上所有SG的集合，产生

区间平均分布的n个随机数r；

步骤(3.2.2)，如果r_i位于PD_i的容量区间上，则该SG分配到PD_i的第P_i个SG上；P_i为PD_i上按地址顺序第一个未被分配给VD的SG的位置，i＝1，2，...，n；

步骤(3.2.3)，搜索PD_i使得P_i指向PD_i下一个未被分配的SG，并修改相应的资源使用表与资源映射表；

最后，中间层命令处理模块，根据ax_vd_t提供的资源映射表进行地址变换并完成所接受的前端主机的命令；

步骤(2)，所述方法按以下步骤依次进行资源分配：

在添加PD_n时：

首先，为该PD_n分配并初始化ax_pd_t数据结构及资源使用表并把其加入到全局结构axum_SC中；

其次，进行资源重分配，重构资源使用表及资源映射表；

最后，唤醒后台线程，该线程根据重构后的资源使用表与资源映射表进行数据拷贝；在删除PD_n时：

第一步，删除PD_n时需要将其上VD的数据进行转移，计算删除PD后是否有足够的资源供VD使用；如果否，则该PD不能删除；

第二步，进行资源重分配，重构资源使用表与资源映射表；

第三步，唤醒后台线程，完成重构后的数据拷贝；

第四步，从axum_SC中删除该PD的ax_pd_t结构，释放其资源使用表；

在创建VD时：

首先，计算SC中是否有足够的空间创建该VD；

其次，为VD创建并初始化ax_vd_t数据结构及资源映射表，将其加入axum_SC中；

最后，为VD分配资源，并更改资源使用表与资源映射表。

通过实验表明，该方法在实现磁盘利用率均衡的前提下，将磁盘的平均访问时间减小了14.8％，具有很好的性能。

为了解决海量异构存储网络环境中的资源分配问题，我们提出了SAN环境中存储虚拟化的基于容量的磁盘评价与数据随机分布方法。它按照容量对SAN环境中的磁盘进行评价，并以此进行资源分配，从而达到资源利用率及性能的优化；同时，支持SAN中磁盘的添加与删除。该方法具有以下的特点：

高度的兼容性及灵活性：通过磁盘评价，该方法支持各种异构磁盘，这大大提高了SAN的兼容性与灵活性。

高效的资源管理：存储资源的分配可以在各个存储服务器上并行执行，具有很高的性能。

资源管理的代价小：由于采用随机的数据分布，每次资源分配及重分配时移动的数据量达到最优。

高度可扩展性与可靠性：通过资源重分布，实现了SAN环境中存储设备的添加与删除，大大提高了SAN的可扩展性与可靠性。

附图说明

图1.存储资源层次图。

图2.虚拟化海量存储资源映射图。

图3.系统结构图。

图4.虚拟化海量存储模块结构图。

图5.创建PD流程图。

图6.删除PD的流程图。

图7.创建VD的流程图。

具体实施方式

本发明的核心是通过专用的虚拟化管理服务器来维护一套存储资源配置信息以集中管理存储网络中各种不同的存储设备资源，并进行资源分配。该虚拟化管理服务器为一台运行Linux操作系统的服务器。同时，它通过SCSI中间层进行命令分析处理对前端主机提供完全透明的存储服务。具体的实现架构包括以下两个主要部分：

1.虚拟化管理服务器上维护全部存储设备(包括物理设备和虚拟设备)的配置信息列表：对每个PD，记录其各种属性及空间列表，即SG表；创建VD、添加删除PD时进行资源分配，并对每个VD创建一个结构，记录各种属性以及空间映射方式。

2.虚拟化管理服务器上实现一个支持虚拟化功能的SCSI软件目标器STML(SCSI TargetMid-level Layer)，它的工作是把前端主机对虚拟磁盘逻辑空间的访问(即虚拟命令)转化为对实际物理设备的访问(即物理命令)，并把物理设备的数据处理结果反馈给前端主机。

本发明所需的硬件设备包括前端主机、虚拟化管理服务器、存储服务器和具有光纤卡接口的磁盘；网络包括光纤网络(即SAN网络)及以太网络。其中，SAN网络由光纤交换机连接包括前端主机、存储服务器和光纤卡接口磁盘，进行数据传输；以太网络由以太交换机连接虚拟化管理服务器及存储服务器进行配置管理、资源分配。其中，虚拟化管理服务器及存储服务器运行Linux操作系统(2.4.18以上内核)，前端主机为任何主流操作系统，可以为Linux、Windows、Solaris及OPEN BSD。

定义以下数据结构：

ax_pd_t：记录某一个物理磁盘的属性，包括容量、带宽、已用空间、可用空间及资源使用表；

ax_vd_t：记录某一个虚拟磁盘的属性，包括容量及地址映射表；

axum_SC：记录整个系统中所有物理磁盘、虚拟磁盘的总大小、总可用空间，并包含一个由系统中所有ax_pd_t组成的链表及所有ax_vd_t组成的链表；

PD：即系统中的物理磁盘；

VD：即系统中的虚拟盘；

在虚拟化管理服务器之上加载模块步骤如下：

1.资源分配源与资源配置模块(axup.o)：该模块对存储区域网络环境中的资源进行虚拟化融合，为前端用户提供一个同一的资源视图并隐藏物理实现细节。同时，根据物理磁盘的容量，完成资源分配，并提供磁盘添加及删除的接口。该模块按步骤完成以下功能：

1.1在Linux内核注册一个字符设备。该字符设备名称为AXUP，它通过主从设备号与管理员通信以响应各种配置与资源分配请求；

1.2提供一个全局结构axum_SC记录系统整体资源配置信息；

1.3提供Linux”/proc”目录下的内核信息接口，以便用户或管理软件对已有资源配置信息进行查询；

1.4通过资源搜索与配置生成完整的资源配置信息结构(物理磁盘，虚拟磁盘的空间组织和使用情况)，并获得各物理设备的规格参数；

2.中间层命令处理模块(stml_target.o)：该模块为实际命令的处理模块。它根据ax_vd_t提供的资源映射表进行地址变换并完成所接受的命令。

2.1向前端主机报告存储区域网络中可用的虚拟盘。

2.2启动服务线程：在内核中启动一个负责处理虚拟命令的线程及为每个磁盘启动一个处理物理命令的线程。

2.3地址映射：对收到的虚拟命令，经地址映射后拆分为若干个物理命令并执行；执行完毕后合并并返回给前端。

资源分配步骤如下：

1.添加PD：使用命令./pdcreate a b c d；其中a b c d四个参数分别为待添加PD的host channelid lun号码。该命令完成以下工作：

1.1为PD分配并初始化ax_pd_t数据结构及资源使用表，并将其加入axum_SC中；

1.2进行资源重分配，重构资源使用表与资源映射表；

1.3唤醒后台线程background_process_thread完成重构后的数据拷贝；

2.删除PD：使用命令./pdremove id；其中id为待删除物理盘的编号。该命令完成以下工作：

2.1计算删除PD后是否有足够的资源供VD使用。如果否，则该PD不能删除。

2.2进行资源重分配，重构资源使用表与资源映射表；

2.3唤醒后台线程background_process_thread完成重构后的数据拷贝；

2.4从axum_SC中删除该PD的ax_pd_t结构，释放其资源使用表。

3.创建VD：使用命令./vdcreate-n name-s size；其中name为该VD名，size为其大小。该命令完成以下工作：

3.1计算SC中是否有足够的空间创建该VD；

3.2为VD创建并初始化ax_vd_t数据结构及资源映射表，将其加入axum_SC中；

3.3为VD分配资源，并更改资源使用表与资源映射表。

Claims (1)

1.海量存储系统中的资源分配方法，其特征在于，依次含有以下几个步骤：

步骤(1)：在所述系统中的虚拟化管理服务器之上加载一个资源分配与资源配置模块以及一个中间层命令处理模块，其中：

首先，资源分配与资源配置模块含有以下数据结构：

ax_pd_t：记录某一个物理磁盘PD的属性，包括容量、带宽、已用空间、可用空间及资源使用表；该资源使用表对应于某一个PD，记录了对应PD的每个存储管理基本单元SG是否被某个虚拟磁盘VD使用以及被映射到哪个VD的哪个SG上；所述PD和VD均被划分为大小相等的若干个SG；

ax_vd_t：记录某一个虚拟磁盘的VD的属性，包括容量及资源映射表；该资源映射表对应于某一个VD，记录了对应VD的每个SG映射到的某一PD的具体位置；

axum_SC：记录整个系统中所有物理磁盘PD、虚拟磁盘VD的总大小、总可用空间，并包含一个由系统中所有ax_pd_t组成的链表及所有ax_vd_t组成的链表；

其次，所述资源分配与资源配置模块按以下方式实现资源分配：

设定：系统中有n块物理磁盘，用PD₁、PD₂、……、PD_n表示，用容量表示的评价值分别为C₁、C₂……C_n；

定义：待分布的数据对象集合S＝{SG₁，SG₂，..，SG_m}，m为集合S的大小；

定义：PD₁的容量区间为(0，C₁)，PD₂的容量区间为(C₁，C₁+C₂)，……，PD_n的容量区间为

则：在创建VD或添加PD时，S为SAN中所有的数据对象；当删除PD时，S为待删除PD上的数据对象；

对于待分布数据对象集合S中的每一个数据对象SG_i，产生一个随机数r，当r落在PD_i的容量区间时，将SG_i分布在PD_j中；

(1)创建PD_n的流程如下：

步骤(1.0)，为PD分配数据结构ax_pd_t，填充包括容量、可用大小的基本属性，初始化PD的资源使用表；定义变量P并初始化为0，用于指向未分配的SG的位置；

步骤(1.1)，将PD加入到虚拟化管理服务器中把所有PD虚拟地组织成一个统一的存储池SC；

步骤(1.2)，对SC中存在的VD按以下步骤进行资源重分配：

步骤(1.2.1)，对所有已分配的物理磁盘PD_i，i＝1，2，...，n-1，定义δ_i＝C_i/S′-C_i/S，其中 $S=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{C}_i$ 为包括PD_n在内的所有物理磁盘的总容量， $S^{\′}=\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}{C}_i,$ 为所有已分配资源的物理磁盘的总容量；

步骤(1.2.2)，对于所有SG_i产生(0，1)区间平均分布的随机数r，所述SG_i∈PD_i且所有SG_i已分配给VD，i＝1，2，...，n-1；

步骤(1.2.3)，对于该SG_i所属的PD_i，若r＜δ_i，则该SG_i迁移到PD_n的第P个SG中，并修改相应的资源使用表与资源映射表，P加1；否则该SG_i保持不变；

步骤(1.2.4)，重复步骤(1.2.3)，直到i＝n-1结束；

(2)删除PD_n的流程如下：

步骤(2.0)，对于该PD_n上所有已分配的SG的集合，产生

区间平均分布的n-1个随机数r；

步骤(2.1)，若随机数r_i位于PD_i的容量区间上，则该SG迁移到PD_i的第P_i个SG上；否则该SG保持不变；P_i为PD_i上按地址顺序第一个未被分配给VD的SG的位置，i＝1，2，...，n-1；

步骤(2.2)，搜索PD_i使得P_i指向PD_i下一个未被分配的SG的位置，并修改相应的资源使用表与资源映射表；

步骤(2.3)，把PD_n从SC中删除，释放相关数据结构ax_pd_t及其资源使用表；

(3)创建VD的流程如下：

步骤(3.0)，计算SC中剩余空间之和是否大于要创建的VD的容量；如果否，则不能创建该VD；否则转下一步；

步骤(3.1)，创建VD的数据结构ax_vd_t并添加到SC中；

步骤(3.2)，若要创建的为VD_n，其步骤如下：

步骤(3.2.1)，对该VD_n上所有SG的集合，产生

区间平均分布的n个随机数T；

步骤(3.2.2)，如果r_i位于PD_i的容量区间上，则该SG分配到PD_i的第P_i个SG上；P_i为PD_i上按地址顺序第一个未被分配给VD的SG的位置，i＝1，2，..，n；

步骤(3.2.3)，搜索PD_i使得P_i指向PD_i下一个未被分配的SG，并修改相应的资源使用表与资源映射表；

最后，中间层命令处理模块，根据ax_vd_t提供的资源映射表进行地址变换并完成所接受的前端主机的命令；

步骤(2)，所述方法按以下步骤依次进行资源分配：

在添加PD_n时：

首先，为该PD_n分配并初始化ax_pd_t数据结构及资源使用表并把其加入到全局结构axum_SC中；

其次，进行资源重分配，重构资源使用表及资源映射表；

最后，唤醒后台线程，该线程根据重构后的资源使用表与资源映射表进行数据拷贝；

在删除PD_n时：

第一步，删除PD_n时需要将其上VD的数据进行转移，计算删除PD后是否有足够的资源供VD使用；如果否，则该PD不能删除；

第二步，进行资源重分配，重构资源使用表与资源映射表；

第三步，唤醒后台线程，完成重构后的数据拷贝；

第四步，从axum_SC中删除该PD的ax_pd_t结构，释放其资源使用表；

在创建VD时：

首先，计算SC中是否有足够的空间创建该VD；

其次，为VD创建并初始化ax_vd_t数据结构及资源映射表，将其加入axum_SC中；

最后，为VD分配资源，并更改资源使用表与资源映射表。

Images