CN109104463A - 一种基于时间标签的I/O调度QoS方法 - Google Patents

Abstract

一种基于时间标签的I/O调度QoS方法，系统基于时间标签设计，采用一个两级映射队列的形式，其中第一级为客户端的client队列，第二级为真实的请求队列，每个请求包含三个时间标签<R_i,W_i,L_i>，其中i表示其归属的client编号，通过分别构建预留时间标签、权重时间标签和上限时间标签完全二叉树来组织管理大量的动态数据。本发明所设计的基于时间标签的I/O调度QoS方法，能够对有限的I/O资源进行更加合理地按需分配，以应对灵活多变的应用场景，保证系统性能的可靠性。

Description

一种基于时间标签的I/O调度QoS方法

技术领域

本发明属于分布式大数据的云存储领域，具体涉及一种基于时间标签的I/O调度QoS方法。

背景技术

伴随着云计算、虚拟化技术的逐渐兴起，集群中I/O资源分配的问题日益严重。比如，生产环境中可能出现由于个别结点侵占了整个集群的绝大部分I/O资源，导致其他结点操作时延较大、用户体验不友好等问题。QoS最早起源于网络通信，是指一个通信网络能够利用各种基础技术，为特定应用提供更好的服务能力。对一个系统而言，QoS旨在更加合理地统筹系统有限的I/O资源，从而实现资源按需分配，对外提供更好的服务。

传统系统通常采用基于令牌桶的优先级队列（prio）进行I/O调度，但是令牌桶中的令牌是一个变化量，需要对令牌桶中的令牌不断进行刷新，导致刷新同一队列对应令牌桶中令牌的时间间隔太长。此外，如果采用基于权重的优先级队列（wpq）进行I/O调度，该算法的权重值是固定分配的，不能根据网络的负载状况实现动态的带宽资源分配。所述的I/0调度算法缺点明显，无法真正地发挥QoS的特性。

发明内容

本发明针对现有技术中的不足，提供一种基于时间标签的I/O调度QoS方法，能为系统应用提供QoS保障，适用于云存储系统。

为实现上述目的，本发明采用以下技术方案：

一种基于时间标签的I/O调度QoS方法，其特征在于，采用一个两级映射队列实现，第一级为客户端的client队列，第二级为真实的请求队列，每个请求包含三个时间标签&lt;R_i,W_i,L_i&gt;，其中R表示预留时间标签，W表示权重时间标签，L表示上限时间标签，i表示其归属的client编号；三个时间标签&lt;R_i,W_i,L_i&gt;采用完全二叉树来组织管理动态数据处理，完全二叉树结点为每个client对应的请求队列，结点在二叉树中的位置根据其队首元素的三个时间标签值确定，总体原则是父结点的时间标签小于子结点。

为优化上述技术方案，采取的具体措施还包括：

每个请求的时间标签计算公式如下：

R_i ^r=max{R_i ^r-1+ρ_i/r_i,current time}

W_i ^r=max{W_i ^r-1+σ_i/w_i,current time}

L_i ^r=max{L_i ^r-1+σ_i/l_i,current time}

其中，ρ和σ分别表示客户端在向目标服务器和非目标服务器下发请求时，携带距上次下发请求以来，收到完成的请求个数的增量值；r、w和l分别表示I/O预留值、权重和I/O上限值；current time表示当前时间。

在入队时，对于已存在的client，将请求直接挂入请求队列的尾部；对于新增client，除了新创建一个对应的请求队列，将请求入队之外，还需要将队列作为一个新结点加入时间标签二叉树，根据完全二叉树的特点，采用顺序的变长数组结构存储，新结点先加入二叉树的尾部，再调整至合适的位置。

时间标签二叉树的调整规则如下：

对于预留标签二叉树，以结点的队首元素的预留标签为依据，值小的结点调整至树的上层，反之调整至下层，最终根结点的预留标签值最小；

对于权重标签二叉树，该树的结点中的请求有两种状态：一种满足出队条件，其上限时间标签小于或等于当前时间，准备标记被置为开启；另一种不满足出队条件，准备标记被置为关闭；对结点位置调整时，根据请求队列队首元素的准备状态，满足出队条件的结点调至上层，不满足出队条件的调至下层；相同状态的结点再由权重标签大小决定，标签值较小的往上调整，反之往下调整；

对于上限标签二叉树，用于判决权重标签二叉树结点中的请求是否满足出队条件，也使用准备标记区分，准备标记为开启的结点往下层调整，反之则往上层调整，相同状态的结点则依据标签值大小决定。

在出队时，首先进入约束阶段，取预留标签二叉树的根结点的请求队列，判断其队首元素的预留标签是否小于等于当前时间，作为是否满足出队条件的依据：如条件满足，则选取该根结点对应的client，从其请求队列的队首出队一个元素；否则进入权重阶段，从上限标签二叉树根结点开始，逐个判断队首元素的上限标签是否小于等于当前时间，并设置满足条件的请求的准备标记为开启，以决定其是否可参与随后的权重竞争。

权重竞争是指对所有满足条件的clients，依据其队首元素的权重标签值，调整自身在权重二叉树中的位置的过程，最终位于根结点的client竞争胜出；最后，从根结点的请求队列的队首出队请求。

本发明的有益效果是：所设计的基于时间标签的I/O调度QoS方法，能够对有限的I/O资源进行更加合理地按需分配，以应对灵活多变的应用场景，保证系统性能的可靠性。

附图说明

图1是本发明中的队列结构。

图2是本发明中时间标签二叉树结构。

图3是本发明中基于时间标签的I/O调度方法入队的流程图。

图4是本发明中基于时间标签的I/O调度方法出队的流程图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明提供的一种基于时间标签的I/O调度QoS方法，包括如图1所示的一个两级映射队列，其中第一级为客户端的client队列，第二级为真实的请求队列，每个请求包含三个时间标签&lt;R_i,W_i,L_i&gt;，其中R表示预留时间标签，W表示权重时间标签，L表示上限时间标签，i表示其归属的client编号。每个请求的时间标签计算公式如下：

R_i ^r=max{R_i ^r-1+ρ_i/r_i,current time}

W_i ^r=max{W_i ^r-1+σ_i/w_i,current time}

L_i ^r=max{L_i ^r-1+σ_i/l_i,current time}

其中，ρ和σ分别表示客户端在向目标服务器和非目标服务器下发请求时，携带距上次下发请求以来，收到完成的请求个数的增量值；r、w和l分别表示I/O预留值、权重和I/O上限值。三个时间标签&lt;R_i,W_i,L_i&gt;采用完全二叉树来组织管理大量的动态数据处理，完全二叉树结点为每个client对应的请求队列，结点在二叉树中的位置，则根据其队首元素（即每个请求队列的第一个元素，后续所有判断均基于队首元素的时间标签值）的三个时间标签值确定，总体原则是父结点的时间标签小于子结点。

图2为本发明的一种基于时间标签的I/O调度方法的时间标签的二叉树结构，对于预留时间标签、权重时间标签和上限时间标签采用完全二叉树来组织管理。树结点为每个client对应的请求队列，结点在二叉树中的位置，则根据其队首元素（即每个请求队列的第一个元素，后续所有判断均基于队首元素的时间标签值）的三个时间标签值确定，总体原则是父结点的时间标签小于子结点。

图3为本发明的一种基于时间标签的I/O调度方法入队的流程图，对于已存在的client，将请求直接挂入请求队列的尾部；对于新增client，除了新创建一个对应的请求队列，将请求入队之外，还需要将队列作为一个新结点加入时间标签二叉树。根据完全二叉树的特点，采用顺序的变长数组结构存储，新结点先加入二叉树的尾部，再调整至合适的位置，标签二叉树的调整规则如下：

对于预留标签二叉树，以结点的队首元素的预留标签为依据，值小的结点调整至树的上层，反之调整至下层，最终根结点的预留标签值最小。

对于权重标签二叉树，该树的结点中的请求有两种状态，一种满足出队条件，其上限标签小于或等于当前时间，准备标记被置为开启；另一种不满足出队条件，准备标记被置为关闭。对结点位置调整时，根据请求队列队首元素的准备状态，满足出队条件的结点调至上层，不满足出队条件的调至下层；相同状态的结点再由权重标签大小决定，标签值较小的往上调整，反之往下调整。

对于上限标签二叉树，用于判决权重二叉树结点中的请求是否满足出队条件，也使用准备标记区分。但与权重二叉树不同，准备标记为开启的结点往下层调整，反之则往上层调整，准备状态相同的结点则依据标签值大小决定。

图4为本发明的一种基于时间标签的I/O调度方法出队的流程图，在client队列中选择合理的client，并从其请求队列中出列元素的过程。首先进入约束阶段，取预留标签二叉树的根结点的请求队列，判断其队首元素的预留标签是否小于等于当前时间，作为是否满足出队条件的依据。如条件满足，则选取该根结点对应的client，从其请求队列的队首出队一个元素；否则进入权重阶段，从上限标签二叉树根结点开始，逐个判断队首元素的上限标签是否小于等于当前时间，并设置满足条件的请求的准备标记为开启，以决定其是否可参与随后的权重竞争。

权重竞争，是指对所有满足上限条件的clients，依据其队首元素的权重标签值，调整自身在权重二叉树中的位置的过程，最终位于根结点的client竞争胜出。最后，从竞争胜出者（根结点）的请求队列的队首出队请求。

时间标签二叉树的结点不是孤立的，而是指向同一个client队列。任何一个client出队一个请求后，由于队首元素改变导致时间标签发生变化，都可能影响其在所有二叉树中的位置。因而，从根结点出队一个请求后，除了调整其在当前二叉树中的位置，还需同步调整对应结点在其他两棵树中的位置。位置调整包括两个方向：一个是上移，即以冒泡的方式，逐层往上尽量移动至根结点位置；一个是下移，选择较小的子结点，逐层往下尽量移动至最底层位置。每个新结点在加入三棵二叉树时，都是先加入树的尾部，再通过上移方式分别调整位置；在请求出队的过程中，通过上移和下移方式调整至合适的位置，结点在三棵树中的位置一直处于动态调整状态。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于时间标签的I/O调度QoS方法，其特征在于，采用一个两级映射队列实现，第一级为客户端的client队列，第二级为真实的请求队列，每个请求包含三个时间标签&lt;R_i,W_i,L_i&gt;，其中R表示预留时间标签，W表示权重时间标签，L表示上限时间标签，i表示其归属的client编号；三个时间标签&lt;R_i,W_i,L_i&gt;采用完全二叉树来组织管理动态数据处理，完全二叉树结点为每个client对应的请求队列，结点在二叉树中的位置根据其队首元素的三个时间标签值确定，总体原则是父结点的时间标签小于子结点。

2.如权利要求1所述的一种基于时间标签的I/O调度QoS方法，其特征在于：每个请求的时间标签计算公式如下：

R_i ^r=max{R_i ^r-1+ρ_i/r_i,current time}

W_i ^r=max{W_i ^r-1+σ_i/w_i,current time}

L_i ^r=max{L_i ^r-1+σ_i/l_i,current time}

其中，ρ和σ分别表示客户端在向目标服务器和非目标服务器下发请求时，携带距上次下发请求以来，收到完成的请求个数的增量值；r、w和l分别表示I/O预留值、权重和I/O上限值；current time表示当前时间。

3.如权利要求1所述的一种基于时间标签的I/O调度QoS方法，其特征在于：在入队时，对于已存在的client，将请求直接挂入请求队列的尾部；对于新增client，除了新创建一个对应的请求队列，将请求入队之外，还需要将队列作为一个新结点加入时间标签二叉树，根据完全二叉树的特点，采用顺序的变长数组结构存储，新结点先加入二叉树的尾部，再调整至合适的位置。

4.如权利要求3所述的一种基于时间标签的I/O调度QoS方法，其特征在于：时间标签二叉树的调整规则如下：

对于预留标签二叉树，以结点的队首元素的预留标签为依据，值小的结点调整至树的上层，反之调整至下层，最终根结点的预留标签值最小；

对于权重标签二叉树，该树的结点中的请求有两种状态：一种满足出队条件，其上限时间标签小于或等于当前时间，准备标记被置为开启；另一种不满足出队条件，准备标记被置为关闭；对结点位置调整时，根据请求队列队首元素的准备状态，满足出队条件的结点调至上层，不满足出队条件的调至下层；相同状态的结点再由权重标签大小决定，标签值较小的往上调整，反之往下调整；

对于上限标签二叉树，用于判决权重标签二叉树结点中的请求是否满足出队条件，也使用准备标记区分，准备标记为开启的结点往下层调整，反之则往上层调整，相同状态的结点则依据标签值大小决定。

5.如权利要求1所述的一种基于时间标签的I/O调度QoS方法，其特征在于：在出队时，首先进入约束阶段，取预留标签二叉树的根结点的请求队列，判断其队首元素的预留标签是否小于等于当前时间，作为是否满足出队条件的依据：如条件满足，则选取该根结点对应的client，从其请求队列的队首出队一个元素；否则进入权重阶段，从上限标签二叉树根结点开始，逐个判断队首元素的上限标签是否小于等于当前时间，并设置满足条件的请求的准备标记为开启，以决定其是否可参与随后的权重竞争。

6.如权利要求5所述的一种基于时间标签的I/O调度QoS方法，其特征在于：权重竞争是指对所有满足条件的clients，依据其队首元素的权重标签值，调整自身在权重二叉树中的位置的过程，最终位于根结点的client竞争胜出；最后，从根结点的请求队列的队首出队请求。