CN103106246B

CN103106246B - 一种分布式文件系统的存储空间的管理方法及系统

Info

Publication number: CN103106246B
Application number: CN201210591939.0A
Authority: CN
Inventors: 须成忠; 熊文; 黄伟
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2012-12-31
Filing date: 2012-12-31
Publication date: 2016-08-17
Anticipated expiration: 2032-12-31
Also published as: CN103106246A

Abstract

本发明适用于存储技术领域，提供了一种分布式文件系统的存储空间的管理方法及系统，所述方法包括：存储资源获取对存储资源操作的指令和参数；查找预设存储资源记录链表；获取与所述指令和参数对应的存储资源信息；根据所述存储资源信息，对分布式文件系统执行相应的操作。本发明实现对分布式文件系统的存储空间的动态弹性分配和管理。

Description

一种分布式文件系统的存储空间的管理方法及系统

技术领域

本发明属于存储技术领域，尤其涉及一种分布式文件系统的存储空间的管理方法及系统。

背景技术

目前对于存储空间的管理方法主要有以下两种，基于集中式架构的管理方法和基于分布式架构的管理方法，以上两种方法仅有一些专业存储公司能够提供和实施，基于集中式架构的存储空间管理，不但需要价格昂贵的专业设备，而且对外提供服务的接口单一，不具备横向扩展能力和动态扩展能力；传统的基于分布式架构的存储空间管理一般为静态配置，也不具备动态扩展能力，系统运行期间存储资源不存在回收和释放，资源利用率不高，基于集中式架构的存储空间管理和基于分布式架构的存储空间管理一般只能够满足单一业务流程的存储需求，例如只能够提供针对海量小文件存储、或针对大文件存储，而无法根据存储空间资源进行动态的管理和分配。

发明内容

本发明实施例的目的在于提供一种分布式文件系统的存储空间的管理方法，旨在解决现有技术存储空间管理一般只能够满足单一业务流程的存储需求，而无法根据存储空间资源进行动态的管理和分配的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

本发明实施例是这样实现的，一种分布式文件系统的存储空间的管理方法，所述方法包括：

获取对存储资源操作的指令和参数；

查找预设存储资源记录链表，获取与所述指令和参数对应的存储资源信息；

根据所述存储资源信息，对分布式文件系统执行相应的操作。

本发明实施例还提供了一种分布式文件系统的存储空间的管理系统，所述系统包括：

指令获取单元，用于获取对存储资源操作的指令和参数；

信息获取单元，用于查找预设存储资源记录链表，获取与所述指令和参数对应的存储资源信息；

操作单元，用于根据所述存储资源信息，对分布式文件系统执行相应的操作。

本发明实施例与现有技术相比，有益效果在于：存储资源获取对存储资源操作的指令和参数，查找预设存储资源记录链表，获取与所述指令和参数对应的存储资源信息，根据所述存储资源信息，对分布式文件系统进行相应的操作，实现对分布式文件系统的存储空间的动态弹性分配和管理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的分布式文件系统的存储空间的管理方法的实现的流程图；

图2是本发明实施例一提供的动态更新预设存储资源记录链表的实现的流程图；

图3是本发明实施例二提供的分布式文件系统的存储空间的管理系统的结构图

图4是本发明实施例二提供更新单元的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种分布式文件系统的存储空间的管理方法，所述方法包括：

获取对存储资源操作的指令和参数；

指令获取单元，用于获取对存储资源操作的指令和参数；

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的分布式文件系统的存储空间的管理方法的实现的流程图，详述如下：

在S101中，获取对存储资源操作的指令和参数；

本实施例中，存储资源可以为硬盘、存储节点及存储卷。

本实施例中，所述指令可以为创建存储卷、删除存储卷、为存储卷增加存储空间、回收某卷的存储空间，以及创建节点、删除节点等。

可选的，S101具体为：接收用户对存储资源操作的指令和参数，即通过用户直接输入对存储资源操作的指令及设置的参数，使得用户可以主动参与对存储资源的存储空间进行管理。

可选的，S101具体为：

a1、监测所述预设存储资源记录链表，其中，所述监测可以根据实际情况采用实时监测或者定时监测；

a2、当任一存储资源的存储状态达到预设事件触发条件时，触发对存储资源操作的指令和参数。

通过对所述预设存储资源记录链表的存储资源的信息进行监测，且当达到存储资源的存储状态达到预设事件触发条件时，由管理系统自动触发对存储资源操作的指令和参数，实现存储资源的自我管理，无需人为参与，使得当无操作人员值班的状态下，仍然可以对存储资源进行动态管理。

在S102中，查找预设存储资源记录链表，获取与所述指令和参数对应的存储资源信息；

本实施例中，预设存储资源记录链表记录了存储资源的存储空间信息，所述存储空间信息包括：存储空间类型、分区空间大小、分区名、分区挂载点、包括已被分配分区、未被分配分区、已经被使用空间大小、已创建存储的卷、各卷的总配额、初始配额等信息。

可选的，可以将存储空间信息存储在两个链表中，一个链表记录被占用的存储空间的信息及其附属信息，另一个链表记录未被占用的存储空间及其附属信息。

在S103中，根据所述存储资源信息，对分布式文件系统进行相应的操作。

可选的，在分布式文件系统的存储空间的管理过程中，通过paxos算法来维护分布式存储系统的存储空间的存储资源元数据，这些元数据包括存储节点存储设备类型，存储能力，分区大小，分区挂载点，使用情况等等信息，利用这些元数据动态实时监测存储节点的退出或加入，全局存储空间内存储资源使用情况，方便管理系统做出弹性分配与自主管理的决策。

为了便于理解，以下通过几个具体的示例对本实施例的存储空间管理方法过程进行说明，但不以以下的示例为限：

1、创建卷

接收用户输入的创建卷命令和相关参数，参数可以包括卷的属性、卷的可靠性、卷的大小等信息；

查找预设存储资源记录链表，与所述指令和参数对应的卷信息；

根据所述卷信息，在分布式文件系统中增加所述卷。

2、删除卷

接收用户输入的删除卷命令和相关参数，参数包括卷名等信息；

查找预设存储资源记录链表，获取与所述指令和参数对应的卷信息；

根据所述卷信息，在分布式文件系统中删除所述卷。

3、卷扩容

接收用户输入的扩容命令和相关参数，参数包括卷名和扩容大小；

根据所述卷信息，对分布式文件系统的相应的卷执行扩容操作。

4、回收卷空间

接收用户输入的回收命令和相关参数，参数包括卷名和待回收空间的大小；

根据所述卷信息，回收分布式文件系统的相应的卷空间。

可选的，所述方法还包括：

动态更新所述预设存储资源记录链表的信息，请参阅图2示出了本发明实施例一提供的动态更新预设存储资源记录链表的实现的流程图，详述如下：

S201、接收各个存储资源上报的所述存储资源的本地信息；

本实施例中，对于任一存储资源，若未在预设时间内收到来自存储资源上报的所述存储资源的本地信息，则可以认为该存储资源出现异常，将该储资源做失效处理，同时可以输出该存储资源出现异常的提示信息，以使操作人员及时对该存储资源进行检查。

S202、根据每一存储资源上报的本地信息，更新所述预设存储资源记录链表的信息。

为了便于理解，以下通过几个具体的示例对本实施例的更新预设存储资源记录链表的过程进行说明，但不以以下的示例为限：

1、当存储系统增加新硬盘时，存储资源管理系统更新预设存储资源记录链表的过程如下：

接收存储系统上报的添加的新硬盘信息，根据所述新硬盘信息，更新预设存储资源记录链表，具体可以将所述新硬盘信息加入到记录未被占用分区链表中。

2、当存储系统增加存储节点时，存储资源管理系统更新预设存储资源记录链表的过程如下：

接收存储系统上报的新添加的存储节点信息，根据所述新添加的存储节点信息，更新预设存储资源记录链表，具体可以将所述新添加的存储节点信息加入到记录未被占用分区链表中。

3、当存储系统硬盘异常时，存储资源管理系统更新预设存储资源记录链表的过程如下：

接收存储系统上报的硬盘异常的信息，根据所述硬盘异常的信息，判断该硬盘是否为已经被分配硬盘，若未分配，直接在链表中删除该存储资源的信息，若该硬盘已经被分配，则查看该存储资源的信息，以对所述存储资源做相应的处理。

4、当存储系统存储节点异常时，存储资源管理系统更新预设存储资源记录链表的过程如下：

接收存储系统上报的存储节点异常的信息，根据所述存储节点异常的信息，判断该存储节点是否为已经被分配存储节点，若未分配，直接在链表中删除该存储资源的信息，若该存储节点已经被分配，则查看该存储资源的信息，以对所述存储资源做相应的处理。

本实施例中，存储资源获取对存储资源操作的指令和参数，查找预设存储资源记录链表，获取与所述指令和参数对应的存储资源信息，根据所述存储资源信息，对分布式文件系统进行相应的操作，实现对存储空间的动态弹性分配和管理。

实施例二

图3示出了本发明实施例二提供的分布式文件系统的存储空间的管理系统的结构图，为了便于说明，仅示出了与本发明实施例相关的部分，该系统可以是内置于分布式文件系统的存储空间管理设备中的软件单元、硬件单元或者软硬结合单元。

所述系统包括：指令获取单元31、信息获取单元32以及操作单元33。

指令获取单元31，用于获取对存储资源操作的指令和参数；

信息获取单元32，用于查找预设存储资源记录链表，获取与所述指令和参数对应的存储资源信息；

操作单元33，用于根据所述存储资源信息，对分布式文件系统执行相应的操作。

可选的，所述指令获取单元31，具体用于接收用户对存储资源操作的指令和参数。

可选的，所述指令获取单元31，具体用于监测所述预设存储资源记录链表，且当任一存储资源的存储状态达到预设事件触发条件时，触发对存储资源操作的指令和参数。

可选的，所述系统还包括：更新单元，用于动态更新所述预设存储资源记录链表的信息。

可选的，请参阅图4示出了本发明实施例二提供更新单元的结构图，所述更新单元具体包括，接收模块41和更新模块42。

接收模块41，用于接收各个存储资源上报的所述存储资源的本地信息；

更新模块42，用于根据每一存储资源上报的本地信息，更新所述预设存储资源记录链表的信息。

本发明实施例提供的分布式文件系统的存储空间的管理系统可以使用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种分布式文件系统的存储空间的管理方法，其特征在于，所述方法包括：

获取对存储资源操作的指令和参数；

根据所述存储资源信息，对分布式文件系统执行相应的操作；

所述获取对存储资源操作的指令和参数具体为：

监测所述预设存储资源记录链表；

当任一存储资源的存储状态达到预设事件触发条件时，触发对存储资源操作的指令和参数。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

动态更新所述预设存储资源记录链表的信息。

3.如权利要求2所述的方法，其特征在于，所述动态更新预设存储资源记录链表的信息具体包括：

接收各个存储资源上报的所述存储资源的本地信息；

根据每一存储资源上报的本地信息，更新所述预设存储资源记录链表的信息。

4.一种分布式文件系统的存储空间的管理系统，其特征在于，所述系统包括：

指令获取单元，用于获取对存储资源操作的指令和参数；

操作单元，用于根据所述存储资源信息，对分布式文件系统执行相应的操作；

所述指令获取单元，具体用于监测所述预设存储资源记录链表，且当任一存储资源的存储状态达到预设事件触发条件时，触发对存储资源操作的指令和参数。

5.如权利要求4所述的系统，其特征在于，所述系统还包括：

更新单元，用于动态更新所述预设存储资源记录链表的信息。

6.如权利要求5所述的系统，其特征在于，所述更新单元具体包括：

接收模块，用于接收各个存储资源上报的所述存储资源的本地信息；

更新模块，用于根据每一存储资源上报的本地信息，更新所述预设存储资源记录链表的信息。