CN107562386A - 一种分布式存储集群的数据写入方法及装置 - Google Patents

Abstract

本申请公开了一种分布式存储集群的数据写入方法，包括获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量；判断可用存储空间容量是否大于本次数据写入所需要的存储空间容量；若是，则向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额；在存储空间配额指定的存储空间中执行本次数据写入。本申请通过对分布式存储集群中存储数据的目录预先设置最大存储空间配额，并在申请分配得到的存储空间配额区域进行数据写入，有效提高了分布式存储集群的存储资源使用效率。本申请还公开了一种分布式存储集群的数据写入装置，同样具有上述有益效果。

Description

一种分布式存储集群的数据写入方法及装置

技术领域

本申请涉及分布式存储技术领域，特别涉及一种分布式存储集群的数据写入方法及装置。

背景技术

分布式存储集群的广泛应用与快速发展，为现代存储技术提供了广阔的发展空间。

然而，现有技术中，用户们在使用分布式存储集群的存储资源进行数据写入时，往往会出现其抢占的存储资源与其实际所需要的资源不一致的情况。其实，不同的用户其实际所需要的存储资源的数量是不同的，即有的对存储资源的需求量大，而有的对存储资源的需求量小。然而，由于现有技术并未对每个用户的存储资源设置配额，因此会形成各个用户彼此之间相互抢占存储资源和存储资源浪费的情况，进而降低了存储资源的使用效率。由此可见，采用何种数据写入方法以提高分布式存储集群的存储资源使用效率，是本领域技术人员所亟待解决的技术问题。

发明内容

本申请的目的在于提供一种分布式存储集群的数据写入方法及装置，以便有效地提高分布式存储集群的存储资源使用效率。

为解决上述技术问题，本申请提供一种分布式存储集群的数据写入方法，包括：

获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量；其中，所述可用存储空间容量为所述最大存储空间配额中未使用的存储空间的容量；

判断所述可用存储空间容量是否大于本次数据写入所需要的存储空间容量；

若是，则向分布式存储集群的MDS申请从所述最大存储空间配额中分配出本次数据写入的存储空间配额；

在所述存储空间配额指定的存储空间中执行本次数据写入。

可选地，所述获取本次数据写入的当前目录的预设的最大存储空间配额包括：

查找所述本次数据写入的当前目录的目录存储空间预设配额；

若查找成功，则将所述当前目录的目录存储空间预设配额确定为所述最大存储空间配额；

若查找失败，则查找所述当前目录的父目录的目录存储空间预设配额；将所述父目录的目录存储空间预设配额确定为所述最大存储空间配额。

可选地，所述目录存储空间预设配额的预先设置步骤包括：

为所述分布式存储集群的分布式文件系统中的目录设定目录存储空间预设配额；

将所述目录的目录存储空间预设配额发送至所述分布式存储集群的MDS；以便所述MDS将各个所述目录的目录存储空间预设配额发送给挂载至各个所述目录的客户端，并将各个所述目录的目录存储空间预设配额保存在所述分布式存储集群的OSD。

可选地，所述向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额包括：

判断上次数据写入的存储空间配额的剩余配额是否小于所述本次数据写入所需要的存储空间容量；

若是，则向所述分布式存储集群的MDS发送申请，请求从所述最大存储空间配额中分配出预设容量作为所述本次数据写入的存储空间配额；

若否，则将所述上次数据写入的存储空间配额的剩余配额确定为所述本次数据写入的存储空间配额。

可选地，所述向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额包括：

向所述分布式存储集群的MDS发送申请，请求从所述最大存储空间配额中分配出所述本次数据写入所需要的存储空间容量作为所述本次数据写入的存储空间配额。

可选地，在所述获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量之后、所述判断所述可用存储空间容量是否大于本此数据写入所需要的存储空间容量之前还包括：

判断所述可用存储空间容量是否小于预设警报阈值；

若是，则生成提示用户当前目录的可用存储空间容量有限的提示信息。

可选地，所述在所述存储空间配额指定的存储空间中执行本次数据写入之后还包括：

获取所述存储空间配额的剩余配额；

并将所述剩余配额发送至所述MDS，以便所述MDS调整对所述剩余配额的分配。

可选地，所述获取所述存储空间配额的剩余配额包括：

当本次数据写入过程中的数据修改量大于预设阈值时，获取所述存储空间配额的剩余配额。

可选地，所述获取所述存储空间配额的剩余配额包括：

每隔预设时长周期性获取所述存储空间配额的剩余配额。

本申请还提供了一种分布式存储集群的数据写入装置，包括：

获取模块：用于获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量；其中，所述可用存储空间容量为所述最大存储空间配额中未使用的存储空间的容量；

分配模块：用于判断所述可用存储空间容量是否大于本次数据写入所需要的存储空间容量；若是，则向分布式存储集群的MDS申请从所述最大存储空间配额中分配出本次数据写入的存储空间配额；

写入模块：用于在所述存储空间配额指定的存储空间中执行本次数据写入。

本申请所提供的分布式存储集群的数据写入方法包括：获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量；其中，所述可用存储空间容量为所述最大存储空间配额中未使用的存储空间的容量；判断所述可用存储空间容量是否大于本次数据写入所需要的存储空间容量；若是，则向分布式存储集群的MDS申请从所述最大存储空间配额中分配出本次数据写入的存储空间配额；在所述存储空间配额指定的存储空间中执行本次数据写入。

可见，相比于现有技术，本申请所提供的分布式存储集群的数据写入方法中，通过对分布式存储集群中存储数据的目录预先设置最大存储空间配额，使得每次执行数据写入时，在最大存储空间配额的范围内获取本次数据写入的存储空间配额，从而在指定的存储空间中完成数据写入，避免不同用户间对存储资源的抢占和浪费，提高分布式存储集群的存储资源使用效率。本申请所提供的分布式存储集群的数据写入装置可以实现上述分布式存储集群的数据写入方法，同样具有上述有益效果。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请实施例所提供的一种分布式存储集群的数据写入方法的流程图；

图2为本申请实施例所提供的一种分布式存储集群的数据写入装置的结构框图。

具体实施方式

本申请的核心在于提供一种分布式存储集群的数据写入方法及装置，以便有效地提高分布式存储集群的存储资源使用效率。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种分布式存储集群的数据写入方法的流程图，主要包括以下步骤：

步骤1：获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量。

其中，可用存储空间容量为最大存储空间配额中未使用的存储空间的容量。

具体地，不同的用户在使用分布式存储集群时，一般是将各自的本地客户端挂载在分布式存储集群中的某个目录中，通过在客户端上执行操作，将待写入数据写入到分布式存储集群的该目录中或者该目录的子目录中。而本申请所提供的分布式存储集群的数据写入方法，为了避免不同用户间相互抢占存储资源，采用了对目录设置最大存储空间配额的方式，使得用户在进行数据写入时要在最大存储空间配额指定的范围内申请存储空间。容易理解的是，最大存储空间配额为一个目录的最大所允许写入数据的存储空间的配额，它可由本领域技术人员根据实际情况自行选择并设置，本申请实施例对此并不进行限定。

步骤2：判断可用存储空间容量是否大于本次数据写入所需要的存储空间容量，若是，进入步骤3。

可用存储空间容量是在最大存储空间配额中去掉已经使用的存储空间后得到的未使用的存储空间的容量。在每次数据写入前，若判定当前目录的可用存储空间容量大于本次数据写入所需要的存储空间容量时，则可以进入步骤3。

步骤3：向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额。

具体地，每次数据写入时，都需要向分布式存储集群的MDS(Metadata Service，元数据节点)申请分配获取本次数据写入的存储空间配额。当然，所述的本次数据写入的存储空间配额可以大于本次数据写入实际所需要的存储空间容量，也可以与后者相等。本领域技术人员可以自行选择并设置，本申请实施例对此并不进行限定。

步骤4：在存储空间配额指定的存储空间中执行本次数据写入。

可见，本申请实施例所提供的分布式存储集群的数据写入方法中，通过对分布式存储集群中存储数据的目录预先设置最大存储空间配额，使得每次执行数据写入时，在最大存储空间配额的范围内获取本次数据写入的存储空间配额，从而在指定的存储空间中完成数据写入，避免不同用户间对存储资源的抢占和浪费，提高分布式存储集群的存储资源使用效率。

本申请所提供的分布式存储集群的数据写入方法，在上述实施例的基础上：

作为一种优选实施例，获取本次数据写入的当前目录的预设的最大存储空间配额包括：

查找本次数据写入的当前目录的目录存储空间预设配额；

若查找成功，则将当前目录的目录存储空间预设配额确定为最大存储空间配额；

若查找失败，则查找当前目录的父目录的目录存储空间预设配额；将父目录的目录存储空间预设配额确定为最大存储空间配额。

具体地，一个目录的预设的最大存储空间配额可以取决于其本身或者其父目录的目录存储空间预设配额。所述的目录存储空间预设配额可由本领域技术人员自行选择并设置。若当前目录预先被设置了目录存储空间预设配额，则可以将其自身的目录存储空间预设配额确定为最大存储空间配额；若当前目录没有被设置目录存储空间预设配额，而其父目录被设置了目录存储空间预设配额，则可将父目录的目录存储空间预设配额确定为最大存储空间配额。

需要说明的是，这里所说的父目录应当不仅仅包含当前目录的第一级父目录。例如，若当前目录的第一级父目录没有被设置目录存储空间预设配额，则将其第二级父目录的目录存储空间预设配额设置为最大存储空间配额，以此类推。

需要补充的是，考虑到分布式存储集群的存储安全性，对于挂载到分布式存储集群上的某一个客户端处理器来说，其可以被允许只获取该客户端所对应的目录的可用存储空间容量，而无法得知其他客户端所对应的目录的使用情况，以提高安全性。

作为一种优选实施例，预设目录存储空间预设配额的预先设置步骤包括：

为分布式存储集群的分布式文件系统中的目录设定目录存储空间预设配额；

将目录的目录存储空间预设配额发送至分布式存储集群的MDS；以便MDS将各个目录的目录存储空间预设配额发送给挂载至各个目录的客户端，并将各个目录的目录存储空间预设配额保存在分布式存储集群的OSD。

具体地，当分布式文件系统中用于为各个用户提供存储服务的目录被创建之后，可以为各个目录设定各自的目录存储空间预设配额；并将该信息发送到分布式存储集群的MDS，并由MDS广播通知挂载到分布式存储集群中的各个客户端。当然，MDS一般会将配额信息保存在分布式存储集群的OSD(Object Storage Device，对象存储设备)中，以便对各个目录的配额进行管理。

作为一种优选实施例，向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额包括：

判断上次数据写入的存储空间配额的剩余配额是否小于本次数据写入所需要的存储空间容量；

若是，则向分布式存储集群的MDS发送申请，请求从最大存储空间配额中分配出预设容量作为本次数据写入的存储空间配额；

若否，则将上次数据写入的存储空间配额的剩余配额确定为本次数据写入的存储空间配额。

具体地，考虑到向分布式存储集群的MDS申请存储空间配额的过程需要一定的通信时间，较为麻烦，因此，每次向MDS申请存储空间配额时，可以适当地多分配一些，例如设一个预设容量，且该预设容量应当比一般数据写入时实际所需要的存储容量大，当然，其具体大小可由本领域技术人员自行选择并设定。由此，当进行完数据写入之后很可能会富余一些剩余配额。因此，在每次数据写入时，可以先判断上次数据写入的存储空间配额的剩余配额是否小于本次数据写入所需要的存储空间容量，若不小于，则可以直接将上次数据写入的存储空间配额的剩余配额确定为本次数据写入的存储空间配额；若小于，则再向MDS申请分配。

作为一种优选实施例，向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额包括：

向分布式存储集群的MDS发送申请，请求从最大存储空间配额中分配出本次数据写入所需要的存储空间容量作为本次数据写入的存储空间配额。

如前所述，在向分布式存储集群的MDS申请本次数据写入的存储空间配额时，也可以申请与本次数据写入实际所需要的存储空间容量相等的存储空间配额。

作为一种优选实施例，在获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量之后、判断可用存储空间容量是否大于本此数据写入所需要的存储空间容量之前还包括：

判断可用存储空间容量是否小于预设警报阈值；

若是，则生成提示用户当前目录的可用存储空间容量有限的提示信息。

具体地，所述预设警报阈值以及所述提示信息的具体形式可由本领域技术人员自行选择并设置，本申请实施例对此并不进行限定。

作为一种优选实施例，在存储空间配额指定的存储空间中执行本次数据写入之后还包括：

获取存储空间配额的剩余配额；

并将剩余配额发送至MDS，以便MDS调整对剩余配额的分配。

具体地，由于每次执行数据写入(包括数据添加、数据修改以及数据删除)之后，存储空间配额很可能会存在剩余配额，因此，还可以进一步将该剩余配额发送至MDS，以便MDS调整对剩余配额的分配，以进一步提高对存储资源的使用效率。

作为一种优选实施例，获取存储空间配额的剩余配额包括：

当本次数据写入过程中的数据修改量大于预设阈值时，获取存储空间配额的剩余配额。

具体地，所述的预设阈值可由本领域技术人员自行选择并设置，例如200MB等，本申请实施例对此并不进行限定。

作为一种优选实施例，获取存储空间配额的剩余配额包括：

每隔预设时长周期性获取存储空间配额的剩余配额。

同样地，所述的预设时长可由本领域技术人员自行选择并设置，并可以通过定时器等具体方式来实现。

下面对本申请实施例所提供的分布式存储集群的数据写入装置进行介绍。

请参阅图2，图2为本申请所提供的一种分布式存储集群的数据写入装置的结构框图；包括获取模块1、分配模块2以及写入模块3：

获取模块1用于获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量；其中，可用存储空间容量为最大存储空间配额中未使用的存储空间的容量；

分配模块2用于判断可用存储空间容量是否大于本次数据写入所需要的存储空间容量；若是，则向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额；

写入模块3用于在存储空间配额指定的存储空间中执行本次数据写入。

可见，本申请所提供的分布式存储集群的数据写入装置，通过对分布式存储集群中存储数据的目录预先设置最大存储空间配额，使得每次执行数据写入时，在最大存储空间配额的范围内获取本次数据写入的存储空间配额，从而在指定的存储空间中完成数据写入，避免不同用户间对存储资源的抢占和浪费，提高分布式存储集群的存储资源使用效率。

本申请所提供的分布式存储集群的数据写入装置的具体实施方式与上文所描述的分布式存储集群的数据写入方法可相互对应参照，这里就不再赘述。

本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种分布式存储集群的数据写入方法，其特征在于，包括：

获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量；其中，所述可用存储空间容量为所述最大存储空间配额中未使用的存储空间的容量；

判断所述可用存储空间容量是否大于本次数据写入所需要的存储空间容量；

若是，则向分布式存储集群的MDS申请从所述最大存储空间配额中分配出本次数据写入的存储空间配额；

在所述存储空间配额指定的存储空间中执行本次数据写入。

2.根据权利要求1所述的数据写入方法，其特征在于，所述获取本次数据写入的当前目录的预设的最大存储空间配额包括：

查找所述本次数据写入的当前目录的目录存储空间预设配额；

若查找成功，则将所述当前目录的目录存储空间预设配额确定为所述最大存储空间配额；

若查找失败，则查找所述当前目录的父目录的目录存储空间预设配额；将所述父目录的目录存储空间预设配额确定为所述最大存储空间配额。

3.根据权利要求2所述的数据写入方法，其特征在于，所述目录存储空间预设配额的预先设置步骤包括：

为所述分布式存储集群的分布式文件系统中的目录设定目录存储空间预设配额；

将所述目录的目录存储空间预设配额发送至所述分布式存储集群的MDS；以便所述MDS将各个所述目录的目录存储空间预设配额发送给挂载至各个所述目录的客户端，并将各个所述目录的目录存储空间预设配额保存在所述分布式存储集群的OSD。

4.根据权利要求1所述的数据写入方法，其特征在于，所述向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额包括：

判断上次数据写入的存储空间配额的剩余配额是否小于所述本次数据写入所需要的存储空间容量；

若是，则向所述分布式存储集群的MDS发送申请，请求从所述最大存储空间配额中分配出预设容量作为所述本次数据写入的存储空间配额；

若否，则将所述上次数据写入的存储空间配额的剩余配额确定为所述本次数据写入的存储空间配额。

5.根据权利要求1所述的数据写入方法，其特征在于，所述向分布式存储集群的MDS申请从最大存储空间配额中分配出本次数据写入的存储空间配额包括：

向所述分布式存储集群的MDS发送申请，请求从所述最大存储空间配额中分配出所述本次数据写入所需要的存储空间容量作为所述本次数据写入的存储空间配额。

6.根据权利要求1所述的数据写入方法，其特征在于，在所述获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量之后、所述判断所述可用存储空间容量是否大于本此数据写入所需要的存储空间容量之前还包括：

判断所述可用存储空间容量是否小于预设警报阈值；

若是，则生成提示用户当前目录的可用存储空间容量有限的提示信息。

7.根据权利要求3至6任一项所述的数据写入方法，其特征在于，所述在所述存储空间配额指定的存储空间中执行本次数据写入之后还包括：

获取所述存储空间配额的剩余配额；

并将所述剩余配额发送至所述MDS，以便所述MDS调整对所述剩余配额的分配。

8.根据权利要求7所述的数据写入方法，其特征在于，所述获取所述存储空间配额的剩余配额包括：

当本次数据写入过程中的数据修改量大于预设阈值时，获取所述存储空间配额的剩余配额。

9.根据权利要求7所述的数据写入方法，其特征在于，所述获取所述存储空间配额的剩余配额包括：

每隔预设时长周期性获取所述存储空间配额的剩余配额。

10.一种分布式存储集群的数据写入装置，其特征在于，包括：

获取模块：用于获取本次数据写入的当前目录的预设的最大存储空间配额和可用存储空间容量；其中，所述可用存储空间容量为所述最大存储空间配额中未使用的存储空间的容量；

分配模块：用于判断所述可用存储空间容量是否大于本次数据写入所需要的存储空间容量；若是，则向分布式存储集群的MDS申请从所述最大存储空间配额中分配出本次数据写入的存储空间配额；

写入模块：用于在所述存储空间配额指定的存储空间中执行本次数据写入。