CN113076063B - 一种目录配额预申请方法、系统、存储介质及设备 - Google Patents

Abstract

本发明提供了一种目录配额预申请方法、系统、存储介质及设备，方法包括：响应于客户端向目录中初次写入数据，向元数据服务端预申请大于初次写入数据量的配额空间并将其缓存到客户端；响应于初次写入数据完成，更新剩余的配额空间；响应于客户端向目录中第n次写入数据且上次写入数据完成后剩余的配额空间小于第n次写入数据量，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间，其中，n≥2；向元数据服务端预申请计算得到的配额空间，并继续进行第n次写入数据；响应于客户端缓存的配额空间的总使用量达到预设阈值，向元数据服务端上报配额缓存信息。本发明减少了客户端与元数据服务端的交互频率。

Description

一种目录配额预申请方法、系统、存储介质及设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种目录配额预申请方法、系统、存储介质及设备。

背景技术

为了更好的管理目录容量分配，限制不同目录的容量大小，提出了目录配额的概念。对目录设置一定的配额容量，在此目录下只能写入不超过配额的文件总量，当此目录下写入文件总容量达到配额大小，则禁止继续写入。当某个目录设置了目录配额，客户端向目录中写数据时，首先向元数据服务端申请本次IO写入的空间大小，写入完成后，更新元数据服务端的配额信息。对于分布式文件系统，考虑多个客户端同时向同一设置过配额属性的目录写入数据，若元数据服务端每次IO(数据输入输出)都更新配额信息，则会极大的增加客户端与元数据服务之间的交互次数，进而会严重影响集群的写入性能。

如何保证客户端快速获取到当前系统的配额使用情况，不影响系统写入性能，同时能够保证配额的准确性、一致性是当前目录配额亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提出一种目录配额预申请方法、系统、存储介质及设备，用以解决现有技术中客户端每次向目录中写数据时，元数据服务端基于每次IO(数据输入输出)都需要与客户端进行交互，以致于影响了系统的写入性能的问题。

基于上述目的，本发明提供了一种目录配额预申请方法，包括如下步骤：

响应于客户端向目录中初次写入数据，向元数据服务端预申请大于初次写入数据量的配额空间并将其缓存到客户端；

响应于初次写入数据完成并使用了初次写入数据量的配额空间，更新剩余的配额空间；

响应于客户端向目录中第n次写入数据且上次写入数据完成后剩余的配额空间小于第n次写入数据量，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间，其中，n≥2；

向元数据服务端预申请计算得到的配额空间并将其缓存到客户端，继续进行第n次写入数据；

响应于客户端缓存的配额空间的总使用量达到预设阈值，向元数据服务端上报关于配额空间的总使用量的配额缓存信息。

在一些实施例中，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间包括：

计算上次写入数据完成后剩余的配额空间与初次预申请的配额空间的比值是否小于预设比例阈值；

响应于比值小于预设比例阈值，计算本次预申请的配额空间以使其少于上次预申请的配额空间并且与上次写入数据完成后剩余的配额空间之和大于第n次写入数据量。

在一些实施例中，继续进行第n次写入数据包括：

继续进行第n次写入数据，直到第n次写入数据完成并使用了上次写入数据完成后剩余的配额空间以及部分计算的本次预申请的配额空间。

在一些实施例中，向元数据服务端预申请计算得到的配额空间并将其缓存到客户端包括：

向元数据服务端预申请计算得到的配额空间且使得元数据服务端更新用于分配的配额空间，并将计算得到的配额空间缓存到客户端。

在一些实施例中，方法还包括：

响应于客户端缓存的配额空间的未使用量超过预设的第一阈值，将未使用量的配额空间归还到元数据服务端。

在一些实施例中，方法还包括：

响应于客户端缓存的配额空间中未使用的配额空间的闲置时间超过预设的第二阈值，将未使用的配额空间归还到元数据服务端。

在一些实施例中，方法还包括：

响应于元数据服务端接收到客户端上报的配额缓存信息，更新元数据服务端的总配额信息，并向其他客户端广播总配额信息。

本发明的另一方面，还提供了一种目录配额预申请系统，包括：

初次预申请模块，配置用于响应于客户端向目录中初次写入数据，向元数据服务端预申请大于初次写入数据量的配额空间并将其缓存到客户端；

剩余配额空间更新模块，配置用于响应于初次写入数据完成并使用了初次写入数据量的配额空间，更新剩余的配额空间；

配额空间计算模块，配置用于响应于客户端向目录中第n次写入数据且上次写入数据完成后剩余的配额空间小于第n次写入数据量，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间，其中，n≥2；

再次预申请模块，配置用于向元数据服务端预申请计算得到的配额空间并将其缓存到客户端，继续进行第n次写入数据；以及

配额缓存信息上报模块，配置用于响应于客户端缓存的配额空间的总使用量达到预设阈值，向元数据服务端上报关于配额空间的总使用量的配额缓存信息。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果：

1.本发明通过在目录下写入数据时，客户端向元数据服务端预申请一定量的配额空间，不必每次IO都从元数据服务端申请空间，且直到客户端缓存的配额空间的总使用量达到预设阈值时，向元数据服务端上报配额缓存信息，这样减少了客户端与元数据服务端的交互频率，提高了集群的写性能；同时将配额业务从元数据服务端单独处理转移到客户端与元数据服务端共同承担，减轻元数据服务端的业务压力；对于提升集群整体性能有一定的促进作用；

2.通过根据剩余的配额空间与初次预申请的配额空间计算本次的预申请配额空间，实现了配额空间的动态调整，便于元数据服务端管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的目录配额预申请方法的示意图；

图2为根据本发明实施例提供的目录配额预申请系统的示意图；

图3为本发明提供的执行目录配额预申请方法的计算机设备的一个实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种目录配额预申请方法的实施例。图1示出的是本发明提供的目录配额预申请方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、响应于客户端向目录中初次写入数据，向元数据服务端预申请大于初次写入数据量的配额空间并将其缓存到客户端；

步骤S20、响应于初次写入数据完成并使用了初次写入数据量的配额空间，更新剩余的配额空间；

步骤S30、响应于客户端向目录中第n次写入数据且上次写入数据完成后剩余的配额空间小于第n次写入数据量，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间，其中，n≥2；

步骤S40、向元数据服务端预申请计算得到的配额空间并将其缓存到客户端，继续进行第n次写入数据；

步骤S50、响应于客户端缓存的配额空间的总使用量达到预设阈值，向元数据服务端上报关于配额空间的总使用量的配额缓存信息。

本实施例中，在向目录中第n次写入数据时，先判断上次预申请的配额空间是否用完，且剩余的配额空间是否大于本次写入数据量；若上次预申请的配额空间未使用完，且剩余的配额空间大于本次写入数据量，则本次写入数据不需要向元数据服务端预申请配额空间。

本发明实施例通过在目录下写入数据时，客户端向元数据服务端预申请一定量的配额空间，不必每次IO都从元数据服务端申请空间，且直到客户端缓存的配额空间的总使用量达到预设阈值时，向元数据服务端上报配额缓存信息，这样减少了客户端与元数据服务端的交互频率，提高了集群的写性能；同时将配额业务从元数据服务端单独处理转移到客户端与元数据服务端共同承担，减轻元数据服务端的业务压力；对于提升集群整体性能有一定的促进作用；通过根据剩余的配额空间与初次预申请的配额空间计算本次的预申请配额空间，实现了配额空间的动态调整，便于元数据服务端管理。

在一些实施例中，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间包括：计算上次写入数据完成后剩余的配额空间与初次预申请的配额空间的比值是否小于预设比例阈值；响应于比值小于预设比例阈值，计算本次预申请的配额空间以使其少于上次预申请的配额空间并且与上次写入数据完成后剩余的配额空间之和大于第n次写入数据量。

上述实施例中，若预申请配额空间太小，客户端与元数据服务的交互频率仍较高，目录配额预申请机制达到的优化效果会不明显；若预申请配额空间太大，则可能会存在客户端A刚申请完配额空间，客户端B预申请时配额空间不够，导致客户端B预申请失败的问题，进而导致多客户端写数据可能会变成单客户端写数据。因此，初次预申请的配额空间设定为一较大初始值，随着写业务的进行，根据剩余的配额空间的大小，计算下一次预申请空间的大小，剩余的配额空间越少，下次预申请的配额空间越小，使得最大限度地降低预申请对多客户端的影响。本实施例实现了预申请配额空间大小根据剩余配额空间大小动态调整。

在一些实施例中，继续进行第n次写入数据包括：继续进行第n次写入数据，直到第n次写入数据完成并使用了上次写入数据完成后剩余的配额空间以及部分计算的本次预申请的配额空间。

在一些实施例中，向元数据服务端预申请计算得到的配额空间并将其缓存到客户端包括：向元数据服务端预申请计算得到的配额空间且使得元数据服务端更新用于分配的配额空间，并将计算得到的配额空间缓存到客户端。

在一些实施例中，方法还包括：响应于客户端缓存的配额空间的未使用量超过预设的第一阈值，将未使用量的配额空间归还到元数据服务端。在一些实施例中，方法还包括：响应于客户端缓存的配额空间中未使用的配额空间的闲置时间超过预设的第二阈值，将未使用的配额空间归还到元数据服务端。本实施例中，客户端启动定时程序，定期扫描客户端的配额缓存信息。通过将未使用的配额空间归还到元数据服务端，便于元数据服务端对多客户端预申请配额空间进行调配与管理。若对客户端缓存的配额空间中的部分数据进行删除，可使得客户端缓存的配额空间增大，以用来缓存更重要的数据。

在一些实施例中，方法还包括：响应于元数据服务端接收到客户端上报的配额缓存信息，更新元数据服务端的总配额信息，并向其他客户端广播总配额信息。本实施例中，当多个客户端向同一目录写数据时，每个客户端均需要预申请一定量的配额空间，各自维护一套配额缓存信息。在业务执行过程中各客户端需要不断更新配额缓存信息。客户端执行一次写操作，配额缓存信息更新，但不会将客户端的配额信息立即更新到元数据服务端。只有当客户端分配到的配额空间总使用量的值达到预设阈值，才会上报给元数据服务端。元数据服务端接收到上报的配额缓存信息后，更新元数据服务端的总配额信息，再将最新的配额使用情况广播到其他客户端。这样避免了每次IO(Input&Output：数据输入输出)时客户端都需要从元数据服务端申请空间的操作，减少了客户端与元数据服务端的交互次数，提高了集群的写性能；同时将配额业务从元数据服务端单独处理转移到客户端与元数据服务端共同承担，减轻元数据服务器端的业务压力。

本发明实施例的第二个方面，还提供了一种目录配额预申请系统。图2示出的是本发明提供的目录配额预申请系统的实施例的示意图。一种目录配额预申请系统包括：初次预申请模块10，配置用于响应于客户端向目录中初次写入数据，向元数据服务端预申请大于初次写入数据量的配额空间并将其缓存到客户端；剩余配额空间更新模块20，配置用于响应于初次写入数据完成并使用了初次写入数据量的配额空间，更新剩余的配额空间；配额空间计算模块30，配置用于响应于客户端向目录中第n次写入数据且上次写入数据完成后剩余的配额空间小于第n次写入数据量，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间，其中，n≥2；再次预申请模块40，配置用于向元数据服务端预申请计算得到的配额空间并将其缓存到客户端，继续进行第n次写入数据；以及配额缓存信息上报模块50，配置用于响应于客户端缓存的配额空间的总使用量达到预设阈值，向元数据服务端上报关于配额空间的总使用量的配额信息。

本发明实施例的目录配额预申请系统，通过在目录下写入数据时，客户端向元数据服务端预申请一定量的配额空间，不必每次IO都从元数据服务端申请空间，且直到客户端缓存的配额空间的总使用量达到预设阈值时，向元数据服务端上报配额缓存信息，这样减少了客户端与元数据服务端的交互频率，提高了集群的写性能；同时将配额业务从元数据服务端单独处理转移到客户端与元数据服务端共同承担，减轻元数据服务端的业务压力；对于提升集群整体性能有一定的促进作用；通过根据剩余的配额空间与初次预申请的配额空间计算本次的预申请配额空间，实现了配额空间的动态调整，便于元数据服务端管理。

本发明实施例的第三个方面，还提供了一种计算机存储介质，存储介质存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项实施例的方法。

应当理解，在相互不冲突的情况下，以上针对根据本发明的目录配额预申请方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的目录配额预申请系统和存储介质。也就是说，上面所述的应用于目录配额预申请方法的所有实施例及其变化都可以直接移转应用于根据本发明的系统和存储介质，并直接结合于此。为了本公开的简洁起见，在此不再重复阐述。

本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器302和处理器301，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例的方法。

如图3所示，为本发明提供的执行目录配额预申请方法的计算机设备的一个实施例的硬件结构示意图。以如图3所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与目录配额预申请系统的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的目录配额预申请方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (9)

1.一种目录配额预申请方法，其特征在于，包括以下步骤：

响应于客户端向目录中初次写入数据，向元数据服务端预申请大于初次写入数据量的配额空间并将其缓存到所述客户端；

响应于初次写入数据完成并使用了所述初次写入数据量的配额空间，更新剩余的配额空间；

响应于所述客户端向目录中第n次写入数据且上次写入数据完成后剩余的配额空间小于第n次写入数据量，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间，其中，n≥2；

向所述元数据服务端预申请计算得到的配额空间并将其缓存到所述客户端，继续进行第n次写入数据；

响应于所述客户端缓存的配额空间的总使用量达到预设阈值，向所述元数据服务端上报关于配额空间的总使用量的配额缓存信息；

其中，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间包括：

计算上次写入数据完成后剩余的配额空间与初次预申请的配额空间的比值是否小于预设比例阈值；

响应于比值小于预设比例阈值，计算本次预申请的配额空间以使其少于上次预申请的配额空间并且与上次写入数据完成后剩余的配额空间之和大于第n次写入数据量。

2.根据权利要求1所述的方法，其特征在于，继续进行第n次写入数据包括：

继续进行第n次写入数据，直到第n次写入数据完成并使用了上次写入数据完成后剩余的配额空间以及部分计算的本次预申请的配额空间。

3.根据权利要求1所述的方法，其特征在于，向所述元数据服务端预申请计算得到的配额空间并将其缓存到所述客户端包括：

向所述元数据服务端预申请计算得到的配额空间且使得所述元数据服务端更新用于分配的配额空间，并将计算得到的配额空间缓存到所述客户端。

4.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述客户端缓存的配额空间的未使用量超过预设的第一阈值，将所述未使用量的配额空间归还到所述元数据服务端。

5.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述客户端缓存的配额空间中未使用的配额空间的闲置时间超过预设的第二阈值，将所述未使用的配额空间归还到所述元数据服务端。

6.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述元数据服务端接收到所述客户端上报的配额缓存信息，更新所述元数据服务端的总配额信息，并向其他客户端广播所述总配额信息。

7.一种目录配额预申请系统，其特征在于，包括：

初次预申请模块，配置用于响应于客户端向目录中初次写入数据，向元数据服务端预申请大于初次写入数据量的配额空间并将其缓存到所述客户端；

剩余配额空间更新模块，配置用于响应于初次写入数据完成并使用了所述初次写入数据量的配额空间，更新剩余的配额空间；

配额空间计算模块，配置用于响应于所述客户端向目录中第n次写入数据且上次写入数据完成后剩余的配额空间小于第n次写入数据量，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间，其中，n≥2；

再次预申请模块，配置用于向所述元数据服务端预申请计算得到的配额空间并将其缓存到所述客户端，继续进行第n次写入数据；以及

配额缓存信息上报模块，配置用于响应于所述客户端缓存的配额空间的总使用量达到预设阈值，向所述元数据服务端上报关于配额空间的总使用量的配额缓存信息；

其中，基于上次写入数据完成后剩余的配额空间和初次预申请的配额空间计算本次预申请的配额空间包括：

计算上次写入数据完成后剩余的配额空间与初次预申请的配额空间的比值是否小于预设比例阈值；

响应于比值小于预设比例阈值，计算本次预申请的配额空间以使其少于上次预申请的配额空间并且与上次写入数据完成后剩余的配额空间之和大于第n次写入数据量。

8.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-6任意一项所述的方法。

9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-6任意一项所述的方法。

Images