CN109857574A - 一种低能耗集群环境下可超载负载感知的服务质量提升方法 - Google Patents

Abstract

本发明公开了一种低能耗集群环境下可超载负载感知的服务质量提升方法，该方法基于一种二级请求等待队列，该队列可以对超载负载进行感知，正常情况下不对系统进行任何操作，仅当负载超载时该队列实现对负载中请求的调度控制，优先调度执行其中的关键请求，延迟调度执行其中少量的非关键请求。该发明针对现有的低能耗集群系统在出现负载超载时，由于需要一定的时间以增加可用资源量，因而会使系统在这段时间内一直处于超载运行状态，从而会使得系统的服务质量出现严重下降问题，提出通过延迟负载中少量请求的调度执行，以此保证负载中主要请求的服务质量并提升系统整体的服务质量，且不会给系统的节能效果带来不良影响。

Description

一种低能耗集群环境下可超载负载感知的服务质量提升方法

技术领域

本发明涉及计算机系统结构领域，具体涉及一种低能耗集群环境下可超载负载感知的服务质量提升方法。

背景技术

信息技术的迅猛发展给用户带来了极大的便利，特别是其中互联网和云服务等技术的普及，更是显著提升了人类在学习、生产、生活等各方面的效率。目前信息技术用户数量已极其庞大，用户对信息技术服务的需求亦是日益增长。在巨大的需求之下，服务提供商所构建的数据中心的规模逐年增长。维护大规模数据中心时产生的巨大能耗开销，已经是数据中心运行中的一大挑战。数据中心通常以集群的形式构建，从而实现高吞吐量、高可靠性和可扩展性。因此，为了降低数据中心的能耗，一种有效的方式是将当中的集群构建为低能耗集群。在低能耗集群中，通常仅保持可满足服务需求的部分服务器进行服务，而将其他服务器转入低能耗状态从而降低系统总能耗。大量对于此类集群系统的节能研究，通常专注于如何有效的分配与负载相匹配的服务器资源。但是负载通常是不稳定的，随着时间推移负载强度会呈现出很大的波动性。因此能量感知型集群系统中的服务器资源通常都需要不断地进行调整，以匹配当前的负载情况。

在实际应用时，在上述将服务器转入低能耗状态的低能耗集群中，资源的调整是通过将服务器转入或转出低能耗状态来实现，这两种操作除了需要额外的能耗外，还需要一定的时间。由于资源调整需要一定的时间，当负载突发且超出当前系统可满足的服务范围时，系统就会在这段时间内处于超载状态。由于这些超载负载没有足够的服务器进行处理，就会给系统的服务性能带来很大的负面影响。更加严峻的是，系统负载的爆发往往大量存在且难以预测，这种负面影响将会是非常严重的。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种低能耗集群环境下可超载负载感知的服务质量提升方法，该方法基于二级请求等待队列的请求分类分级调度方式，在感知到出现超载负载后通过此种调度方式很好地保证主要请求的服务质量，并提升系统的整体服务质量。

本发明的目的可以通过采取如下技术方案达到：

一种低能耗集群环境下可超载负载感知的服务质量提升方法，所述的提升方法包括下列步骤：

管理器对用户负载进行分发，针对来到负载中的请求，每次在工作服务器中选取负载最轻的服务器作为分发目标，具体在实现时，通过监视工作服务器中二级请求等待队列的总长度，选取拥有最短二级请求等待队列的工作服务器作为分发目标；

工作服务器数量的增加，管理器监测工作服务器中负载的处理状态，若所有工作服务器的平均负载超过了允许的范围，低能耗集群系统则被认为已处于超载状态，此时管理器通过将一定数量的保留服务器启用，实现工作服务数量与负载相匹配的目的；

工作服务器数量的降低，管理器监测工作服务器中负载的处理状态，若所有工作服务器的平均负载低于允许的范围，系统则被认为处于低载状态，此时管理器选取负载量最大的工作服务器作为待保留服务器，此时后续负载不再被分发到待保留服务器上，当待保留服务器完成其已有的全部负载后，该服务器被转入低能耗状态并成为保留服务器，不再对外提供服务；

工作服务器中二级等待队列的分类分级设定，二级等待队列中包含有两个队列，分别为首要队列和次级队列，两者均采用先来先服务方式调度，另外首要队列的调度优先级高于次级队列，仅当首要队列中请求处理完毕，才可进行次级队列的调度；

负载中请求的分类，二级等待队列将负载中的请求分类为关键请求和非关键请求两类，当首要队列未达到最大限制长度时，所有请求均加入到首要队列中进行调度执行，而当首要队列已达最大限制长度时，仅关键请求可加入到首要队列中，非关键请求只能加入到次级队列中，，在特定应用场景下，关键请求和非关键请求可以由用户或应用指定，另外一些情况下还采用一些模式识别等技术区分出关键请求和非关键请求，而对于普通情况，所有请求均可被分类为非关键请求；

工作服务器中二级等待队列的最大长度设定，二级队列的设置是为在系统超载时依然保证主要请求的服务质量，并整体提升系统服务质量，所以只对首要队列的最大长度做出限制，系统中将服务质量要求设置为请求的最大响应时间(即从请求到来到开始执行之间的等待时间)不超过设定的上限值t_r，通过分析可知若请求的服务时间为Δt，若首要队列的最大长度被设为ul，则达到最大长度时，队列中末尾请求的响应时间为ul·Δt，因此为使首要队列中请求的服务质量得到保证，则需将首要队列长度设为ul＝t_r/Δt；

进一步地，该方法是可对超载负载进行感知的，即低能耗集群系统可根据所有工作服务器的二级等待队列中首要队列和次级队列的平均总长度ml判断是否出现超载负载，当ml大于(1+μ)ul时(μ为一个可自行设定的比率值)，此时服务器无法保证其等待队列中请求的最大响应时间不高于t_r，故而说明此时负载为超载负载，从而系统被判定为超载。

进一步地，低能耗集群系统被判定为超载时，可动态地增加工作服务器的数量，从而保证为负载提供足量的服务器资源，具体地将工作服务器数量被调整为即该商向上取整的整数值。

进一步地，工作服务器数量的降低，当低能耗集群系统处于低载时，可动态地减少工作服务器的数量，从而节省低能耗集群系统的资源开销实现低能耗节能的目的。

进一步地，低载判定条件为ml<μ·ul，此时服务器中请求的数量过少，更少的服务器已能满足这些请求的服务质量要求，此时系统被判定为低载，工作服务器的数量被调整为

进一步地，工作服务器中二级等待队列的最大长度设定，请求的服务时间Δt的确定，在实际情况下，各请求的服务时间未必完全一致，故而在确定Δt的具体数值时，是对首要队列中最近已完成的请求的服务时间取平均值，然后将该平均值作为Δt的具体数值，取平均值的过程是持续进行的，故而Δt的值可以一直与最新负载情况相一致。

进一步地，当低能耗集群系统处于超载状态时，通过二级等待队列优先调度首要队列中的请求，可以更好地保证主要请求的服务质量，另外通过次级队列适当的推迟部分非关键请求的执行，可提升负载整体的服务质量，对比未采用二级等待队列进行调度的传统单队列调度方式，能使更多的请求其服务质量得到保证。

本发明相对于现有技术具有如下的优点及效果：

(1)通常负载强度与其资源需求间的关系是难以确定的，因此随着负载变化，所提供的资源量是否与当前负载相匹配是难以界定的，本发明中采用的二级请求等待队列可以通过队列的总长度，感知出是否出现超载负载。

(2)本发明在正常情况下不对系统进行任何操作，仅当负载超载时该队列实现了对负载中请求的调度控制，故而不会给系统的节能效果带来不良影响，却可在系统资源量不足时提升系统的服务质量。

(3)本发明可应用在多种场景下，不仅是在请求的关键与否可被判定的情况，在请求关键与否无法判定时，可以通过将所有请求等同认为均可延迟，以此为前提采用本发明中的方法进行调度，依然能整体提升系统的服务质量。

(4)此发明可以和现有的节能方式相结合，在任务调度执行时采用本发明中的调度方法即可，从而可在已有成效的基础上进一步提升系统服务质量。

附图说明

图1是本发明适用的系统的结构示意图；

图2是本发明公开的一种低能耗集群环境下可超载负载感知的服务质量提升方法的工作流程示意图；

图3是本发明中与二级等待队列的最大长度设定相关的请求延时分析示意图；

图4是本发明中对于系统超载/低载的判别方法示意图；

图5是本发明中请求延迟调度处理的效果对比示意图，其中，图5(a)是未进行请求延迟调度处理的效果示意图，图5(b)是进行请求延迟调度处理的效果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本实施例公开了一种低能耗集群环境下可超载负载感知的服务质量提升方法，应用在低能耗集群环境下：

此环境下，低能耗集群系统包含一个管理器和一些服务器。其中，一部分正常提供服务的服务器称为工作服务器，其余出于节能目的而转入低能耗状态不提供服务的称为保留服务器。用户通过网络(互联网)对该系统发送请求，形成该系统的负载。低能耗集群系统收到来自用户的请求后，首先经管理器将请求进行转发，发送到当前负载最轻的服务器上，然后该服务器对请求提供服务，服务完成后作为响应向用户返回处理结果。请求在工作服务器中首先经过分类将其放置到首要队列(PQ)或次级队列(SQ)中，在调度执行时，优先对首要队列(PQ)中的请求进行调度。

为了更清晰地阐明本发明的应用场景，以下结合系统工作流程示意图(图2)、与二级等待队列的最大长度设定相关的请求延时分析示意图(图3)、对于系统超载/低载的判别方法示意图(图4)、和请求延迟调度处理的效果示意图(图5)再作详细分析。

如图2所示，用户发送请求给低能耗集群系统，请求通过管理器查询到最低载服务器后，请求被分发给此服务器进行处理。管理器还负责管理低能耗集群系统所包含的服务器：通过监视各服务器的工作状态，对当前系统的负载状况进行判别，若低能耗集群系统出现超载或低载则响应的提升或减少工作服务器的数量。管理器与服务器之间以及各服务器之间通过内部高速网络实现互联。每个服务器的请求等待队列均采用二级等待队列的方式，二级等待队列将负载中的请求分类为关键请求和非关键请求两类，当首要队列未达到最大限制长度时，所有请求均加入到首要队列中进行调度执行，而当首要队列已达最大限制长度时，仅关键请求可加入到首要队列中，非关键请求只能加入到次级队列中，在特定应用场景下，关键请求和非关键请求可以由用户或应用指定，另外一些情况下还采用一些模式识别等技术区分出关键请求和非关键请求，而对于普通情况，所有请求均可被分类为非关键请求。

如图3所示，某请求等待队列在执行调度时，最坏情况下，此时恰好有一个请求正在被执行。出于对分析的便利性，假设每个请求的执行时间(服务时间)均为Δt。那么该队列中第一个请求由于需要等待正在被执行的请求被处理完毕，其响应时间(等待时间)就为Δt。相应地，该队列中第二个请求需要等待正在被执行的请求被处理完毕，并等待第一个请求被执行完毕，其响应就为2Δt。同理，对于等待队列中的第i个请求，其响应就为i·Δt。于是对于一个长度为n的等待队列，其请求的最大响应时间即为最后的请求的响应时间，为n·Δt。因此若系统中将服务质量要求设置为请求的最大响应时间不超过t_r，在二级等待队列中为使首要队列中请求的服务质量得到保证，则需将首要队列长度设为ul＝t_r/Δt。

如图4所示，在进行系统的低载/超载判定时，综合考虑了全部工作服务器的状态。通过监视二级队列的总长度(首要队列长度加次级队列长度)，最终得出一个全部服务器下的平均值ml。将该平均值ml与ul值进行对比，当ml大于(1+μ)ul时(μ为一个可自行设定的比率值)，此时服务器无法保证其等待队列中请求的最大响应时间不高于t_r，故而说明此时负载为超载负载，从而系统被判定为超载，工作服务器的数量被调整为而当ml<μ·ul时，此时服务器中请求的数量过少，更少的服务器已能满足这些请求的服务质量要求，此时系统被判定为低载，工作服务器的数量被调整为

如图5所示，图5(a)为通常情况下未进行请求调度延迟处理的情况，图5(b)为惊醒请求调度延迟处理将部分请求延迟调度后的情况。为便于分析，图中的请求服务时间均被设置为一个时间单元，而服务质量要求被设置为响应时间不超过4个时间单元。可以看到，未进行请求调度延迟处理时，从第4个时间单元起，请求r₁₀至r₁₅的服务质量均得不到满足。而进行请求调度延迟处理，将r₁₀、r₁₁、r₁₃延迟到最后执行后，则只有这三个请求的响应时间超出服务质量要求。通过此示意图可以看到，在出现负载量高出服务能力时，可以通过延迟部分请求的调度执行，整体上保证更多的请求的服务质量，本发明正是基于此种方式而设计实现的。

二级等待队列，用于超载时对请求进行分类调度，并用于服务器监视系统的负载状态。首先，在超载时，首队列由于限制最大长度不大于ul，从而仅将关键请求加入到首要队列中，非关键请求则加入到次级队列中。通过此种调度方式，关键请求的服务质量能够得到很好的保障；另外从整体上看，通过延长部分非关键请求的调度执行，还能整体上提升服务质量得到保证的请求的总数量，实现系统的服务质量整体提升。其次，二级等待队列可以通过队列的总长度，感知出是否系统出现超载抑或是低载，从而管理器通过对队列总长度进行监视就能很对的对负载变化做出反应，及时调整所需的工作服务器数量。最后，若二级等待队列出现长期次级队列请求得不到调度，则说明服务器长期处于超载状态，这种现象一般发生在系统内全部服务器数量均难以保证负载需求的情况，此时单纯技术上的优化均难以保证良好的服务质量。针对这种情况，最佳解决方法为购置更多的服务器加入到系统中。

在二级等待队列进行请求分类时，对于请求的关键与否可直接被判定的情况，可直接依据判定出的结果进行分类。在另外一些情况下，请求的关键与否无法直接被判定，则可采用一些模式识别等技术区分出关键请求和非关键请求。而对于普通情况，为应用此二级等待队列，则直接假设为所有请求均可被分类为非关键请求，以此为前提采用本发明中的方法进行调度，依然能很好地在整体上提升系统的服务质量。

二级等待队列中，次级队列仅在出现超载负载时，才会有请求被加入。正常未超载情况下，仅首要队列出于工作状态，这就使得采用了二级队列的服务器正常工作时与普通低能耗集群中的服务器一样。所以采用二级等待队列并不会对服务器的正常工作带来不良影响，也不会给系统的技能效果带来负面效果。在具体实施时，本发明可以与现有的普通的低能耗集群系统中采用到的节能方式相结合，从而可在已有成效的基础上进一步提升系统服务质量。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，所述的服务质量提升方法包括下列步骤：

管理器对用户负载进行分发，针对来到负载中的请求，每次在工作服务器中选取负载最轻的服务器作为分发目标；

管理器监测工作服务器中负载的处理状态，若所有工作服务器的平均负载超过允许的范围，低能耗集群系统则被认为已处于超载状态，此时管理器通过将一定数量的保留服务器启用，实现工作服务数量与负载相匹配的目的；若所有工作服务器的平均负载低于允许的范围，低能耗集群系统则被认为处于低载状态，此时管理器选取负载量最大的工作服务器作为待保留服务器，此时后续负载不再被分发到待保留服务器上，当待保留服务器完成其已有的全部负载后，该服务器被转入低能耗状态并成为保留服务器，不再对外提供服务；

工作服务器中采用二级等待队列，并对二级等待队列进行分类分级设定，二级等待队列中包含首要队列和次级队列，两者均采用先来先服务方式调度，另外首要队列的调度优先级高于次级队列，仅当首要队列中请求处理完毕，才可进行次级队列的调度；

对负载中请求进行分类为关键请求和非关键请求两类，当首要队列未达到最大限制长度时，所有请求均加入到首要队列中进行调度执行，而当首要队列已达最大限制长度时，仅关键请求可加入到首要队列中，非关键请求只能加入到次级队列中。

2.根据权利要求1所述的一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，所述的服务质量提升方法中还包括对超载负载进行感知，具体如下：

低能耗集群系统根据所有工作服务器的二级等待队列中首要队列和次级队列的平均总长度ml判断是否出现超载负载，当ml大于(1+μ)ul时，其中，ul为首要队列长度，μ为一个可自行设定的比率值，此时低能耗集群系统无法保证其等待队列中请求的最大响应时间不高于设定的上限值t_r，故而说明此时负载为超载负载，从而低能耗集群系统被判定为超载。

3.根据权利要求2所述的一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，当低能耗集群系统被判定为超载时，动态增加工作服务器的数量，从而保证为负载提供足量的服务器资源，其中，动态增加工作服务器的数量方式如下：将工作服务器数量被调整为即该商向上取整的整数值。

4.根据权利要求1所述的一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，当低能耗集群系统处于低载时，动态减少工作服务器的数量，从而节省低能耗集群系统的资源开销实现低能耗节能的目的。

5.根据权利要求4所述的一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，所述的低载判定条件为ml<μ·ul，其中，ml为首要队列和次级队列的平均总长度，l为首要队列长度，μ为一个可自行设定的比率值，此时服务器中请求的数量过少，更少的服务器已能满足这些请求的服务质量要求，此时系统被判定为低载，工作服务器的数量被调整为

6.根据权利要求1所述的一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，所述的工作服务器中二级等待队列的最大长度设定如下：

设请求的服务时间为Δt，若首要队列的最大长度被设为ul，则达到最大长度时，队列中末尾请求的响应时间为ul·Δt，因此为使首要队列中请求的服务质量得到保证，则需将首要队列长度设为ul＝t_r/Δt。

7.根据权利要求6所述的一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，所述的请求的服务时间Δt的确定方法如下：

对首要队列中最近已完成的请求的服务时间取平均值，然后将该平均值作为Δt的具体数值，并且取平均值的过程是持续进行的，故而Δt的值一直与最新负载情况相一致。

8.根据权利要求1所述的一种低能耗集群环境下可超载负载感知的服务质量提升方法，其特征在于，所述的管理器对用户负载进行分发的过程如下：

通过监视工作服务器中二级请求等待队列的总长度，选取拥有最短二级请求等待队列的工作服务器作为分发目标。