CN107566514A - 一种分布式存储系统中控制元数据请求数量的方法 - Google Patents

Abstract

本发明公开了一种分布式存储系统中控制元数据请求数量的方法，包括以下步骤：完成对节流阀参数配置；客户端向MDS服务器发送元数据处理请求，调用get方法占用空间；MDS服务器在完成元数据请求处理后对客户端进行响应处理，调用put方法释放空间。本发明采用节流阀技术将元数据请求截留中客户端，减少了MDS服务器同时需要处理的元数据请求个数，避免了MDS服务器接收到的元数据请求个数过多造成的请求堆积以至于大量请求无法及时处理而超时的问题。

Description

一种分布式存储系统中控制元数据请求数量的方法

技术领域

本发明涉及数据处理技术领域，尤其是一种分布式存储系统中控制元数据请求数量的方法。

背景技术

在分布式存储系统中，MDS服务器是管理元数据的。在客户端业务量比较大的时候，MDS服务器会频繁收到来自客户端的大量元数据请求。MDS服务器数量是有限的，基于成本考虑，也不可能无限增加MDS服务器数量。当MDS服务器接收到大量的元数据请求以至于远远超过本身的处理能力时，就会有很多请求中MDS服务器堆积，甚至出现超时。

发明内容

本发明的目的是提供一种分布式存储系统中控制元数据请求数量的方法，减少MDS同时需要处理的元数据请求个数，避免了MDS元数据请求个数过多造成的请求堆积以至于大量请求无法及时处理而超时的问题。

为实现上述目的，本发明采用下述技术方案：

一种分布式存储系统中控制元数据请求数量的方法，包括以下步骤：

完成对节流阀参数配置；

客户端向MDS服务器发送元数据处理请求，调用get方法占用空间；

MDS服务器在完成元数据请求处理后对客户端进行响应处理，调用put方法释放空间。

进一步地，所述完成对节流阀参数配置，包括：

设置节流阀最大空间参数值为m；

设置节流阀传递数据空间参数值为c。

进一步地，所述节流阀空间参数值m为MDS服务器能够同时最多处理元数据请求量N。

进一步地，所述节流阀传递数据空间参数值c为在调用get方法/put方法时传入的参数值，为节流阀支持的一次性取走单位空间大小数值。

进一步地，所述客户端向MDS服务器发送元数据处理请求，调用get方法占用空间，包括：

根据节流阀剩余空间容量判断是否向客户端释放空间，若节流阀有剩余空间，则调用get方法取走c个单位空间；

若节流阀没有剩余空间，等待直到节流阀有剩余空间，调用get方法取走c个单位空间。

进一步地，所述MDS服务器在完成元数据请求处理后对客户端进行响应处理，调用put方法释放空间，包括：

MDS服务器在完成元数据处理请求后，给客户端发送响应消息；

客户端接收到MDS响应消息后，调用put方法释放节流阀c个单位空间，且发送激活信号；

客户端接收到激活信号后再次调用get方法占用节流阀c个单位空间。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明采用节流阀技术将元数据请求截留中客户端，减少了MDS服务器同时需要处理的元数据请求个数，避免了MDS服务器接收到的元数据请求个数过多造成的请求堆积以至于大量请求无法及时处理而超时的问题。

附图说明

图1是本发明方法流程图；

图2是调用get方法占用节流阀一个空间的示意图；

图3是调用put方法释放节流阀一个空间的示意图；

图4是在接收到激活消息后调用get方法占用节流阀一个空间示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，一种分布式存储系统中控制元数据请求数量的方法，包括以下步骤：

S1、完成对节流阀参数配置；

S2、客户端向MDS服务器发送元数据处理请求，调用get方法占用空间；

S3、MDS服务器在完成元数据请求处理后对客户端进行响应处理，调用put方法释放空间。

完成对节流阀参数配置，包括：设置节流阀最大空间参数值为m；使用boolThrottle::set_max(int64_t m)，该方法设置节流阀的空间大小为m。

设置节流阀传递数据空间参数值为c，使用bool Throttle::get(int64_t c,int64_tm＝0)，该方法使用c表示要获取的空间大小、用m表示所期望的节流阀空间的总大小(m可以用默认值0，表示忽略m，节流阀空间的总大小仍然使用set_max时设置的空间大小)。

m是空间节流阀空间总大小，假设x是节流阀被占用(被取走)的空间总大小，m-x是节流阀剩余可用的空间总大小，c是get方法这次要从节流阀中取走的空间总大小。要取走的空间大小c应该是要小于或等于剩余的空间大小m-x的，否则当要取走的空间c大于剩余空间m-x时就得等节流阀释放被占用的空间。c>m-x即x>m-c，当目前节流阀内被占用的空间大于m-c时，则进行等待，直到节流阀内部的空间被占用的空间不大于m-c时，则取c个空间，然后返回。使用bool Throttle::put(int64_t c)该方法释放c个空间。

在一个实施例中节流阀空间参数值m可以为MDS服务器能够同时最多处理元数据请求量N。节流阀传递数据空间参数值c为在调用get方法/put方法时传入的参数值，为节流阀支持的一次性取走单位空间大小数值，在一个实施例中设置为1。

如图2所示，客户端向MDS服务器发送元数据处理请求，调用get方法占用空间，根据节流阀剩余空间容量判断是否向客户端释放空间，若节流阀有剩余空间，则调用get方法取走1个单位空间。若节流阀没有剩余空间，等待直到节流阀有剩余空间。

如图3和图4所示，MDS服务器在完成元数据请求处理后对客户端进行响应处理，调用put方法释放空间，MDS服务器在完成元数据处理请求后，给客户端发送响应消息；客户端接收到MDS响应消息后，调用put方法释放节流阀1个单位空间，且发送激活信号；客户端接收到激活信号后再次调用get方法占用节流阀1个单位空间。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (6)

1.一种分布式存储系统中控制元数据请求数量的方法，其特征是，包括以下步骤：

完成对节流阀参数配置；

客户端向MDS服务器发送元数据处理请求，调用get方法占用空间；

MDS服务器在完成元数据请求处理后对客户端进行响应处理，调用put方法释放空间。

2.如权利要求1所述的一种分布式存储系统中控制元数据请求数量的方法，其特征是，所述完成对节流阀参数配置，包括：

设置节流阀最大空间参数值为m；

设置节流阀传递数据空间参数值为c。

3.如权利要求2所述的一种分布式存储系统中控制元数据请求数量的方法，其特征是，所述节流阀空间参数值m为MDS服务器能够同时最多处理元数据请求量N。

4.如权利要求2所述的一种分布式存储系统中控制元数据请求数量的方法，其特征是，所述节流阀传递数据空间参数值c为在调用get方法/put方法时传入的参数值，为节流阀支持的一次性取走单位空间大小数值。

5.如权利要求2所述的一种分布式存储系统中控制元数据请求数量的方法，其特征是，所述客户端向MDS服务器发送元数据处理请求，调用get方法占用空间，包括：

根据节流阀剩余空间容量判断是否向客户端释放空间，若节流阀有剩余空间，则调用get方法取走c个单位空间；

若节流阀没有剩余空间，等待直到节流阀有剩余空间，调用get方法取走c个单位空间。

6.如权利要求2所述的一种分布式存储系统中控制元数据请求数量的方法，其特征是，所述MDS服务器在完成元数据请求处理后对客户端进行响应处理，调用put方法释放空间，包括：

MDS服务器在完成元数据处理请求后，给客户端发送响应消息；

客户端接收到MDS响应消息后，调用put方法释放节流阀c个单位空间，且发送激活信号；

客户端接收到激活信号后再次调用get方法占用节流阀c个单位空间。