CN111737001A - 一种计算系统负载均衡方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种计算系统负载均衡方法，该方法通过决策树来动态赋予GPU单元权重，然后采用平滑轮询加权法动态分配计算任务，有效地提高了CPU和GPU的协同计算系统的效率，同时保证了系统的负载均衡。本发明还提供了基于上述方法的计算系统负载均衡装置及存储介质。

Description

一种计算系统负载均衡方法、装置及存储介质

技术领域

本发明涉及计算任务分配策略，尤其涉及一种计算系统负载均衡方法、装置及存储介质。

背景技术

随着云计算和人工智能等技术的发展，人们对大型计算机的算力的要求越来越高。传统计算机的CPU架构已经不能提供给这些需要大量计算的算法的算力。在这种形势下，GPU肩负起大数据时代提供大规模云计算能力的责任。GPU擅长并行计算，但是却不能很好的执行如分支预测和乱序执行的复杂过程。而处理分支预测和乱序执行的复杂过程恰恰是CPU的强项。故如何利用CPU和GPU进行协同计算是当前突破计算机计算瓶颈的关键突破口。

考虑到多核CPU和GPU的不同计算能力、各级缓存不同容量等因素，现有技术提出了一种采取对任务自动化分、多个异步流同时传输的可分负载多轮调度算法。该算法通过减少数据通信次数、运用数据预取和合并访问来提高调度算法的效率。但是此算法在考虑多核多级缓存时占用了部分的线程，从而使线程资源不能够充分用于并行计算。

以最大剩余能力算法为基础的基于历史信息的自学习负载更新算法，虽然能够使Torque集群下的GPU调度达到较好的负载均衡，但由于算法本身需要存储大量的信息，又基于Torque的调度系统，会占用大量的存储资源，且该算法没有较好的可扩展性。

基于能力匹配模型和Agent动态调整机制所提出的面向CPU和GPU集群的负载均衡策略，虽然其算法构建的GPU集群能够使集群中的CPU功能单元与GPU功能单元拥有相匹配的处理能力，实现了它们之间的负载均衡，很大程度上地减少了资源的浪费。但由于没有考虑到GPU单元和CPU单元的一些硬件差异，而长时间累加在GPU单元上的负载会使系统处理效率下降，严重时可能造成系统崩溃，从而降低系统整体的性能。

发明内容

发明目的：本发明的目的是提供一种高效分配计算资源的计算系统负载均衡。本发明的另一目的是提供基于该方法的装置及存储介质。

技术方案：本发明所述的计算系统负载均衡方法，包括：

提取特征，获得样本s_i≡{x_i,y_i}，x_i为特征向量，y_i为特征向量x_i对应的负载等级数值，生成样本集S；其中，

为特征值，k为特征数量，i为样本序号；

根据样本集S训练生成决策树模型；

采用平滑加权轮询算法分配权重，将计算任务分配给所述决策树模型中对应权重的处理单元。

进一步的，所述特征至少包含以下一种：cache大小、线程数、ALU个数、单元当前负载、单元用户进程占用率、单元等待IO操作占用率、单元空闲态占用率、内存已经使用的的交换空间数量、空闲内存数量、块设备缓存、字符设备缓存。以上特征经大量研究人员实验表明均会影响到处理单元负载。

进一步的，提取特征之后，还包括，对所述特征的特征值进行离散化处理。

进一步的，当所述特征的特征值为百分比数据时，按照下述公式进行离散化处理：

其中，i为样本序号，

为待离散化的特征值，k为特征数量，value_max为

的最大值，value_min为

的最小值；否则，按照下述步骤处理：

利用三角形隶属函数对所述特征的特征值进行模糊化处理；

采用均值等分区间离散化法，将模糊化后的特征的连续值转化为离散值。

进一步的，根据样本集S训练生成决策树模型包括：

将样本集S划分为训练集S_train、交叉验证集S_cv、测试集S_test，创建决策树头节点Node_h，创建集合F₁并将所有特征值放入集合内，创建空集F₂；

创建初始Node节点，将Node值赋给Node_h；

在F₂集合中所有特征约束下，计算训练集S_train的信息熵，附加F₁集合中单个特征约束后，再次计算S_train的信息熵，得到F₁集合中每个特征约束下的信息增益；

分别计算F₁集合中每个特征的分裂信息度量，根据信息增益和分裂信息度量计算出F₁集合中每个特征的信息增益率，

选出信息增益率最大的特征f_max，将f_max从中集合F₁取出放入集合F₂；

以f_max为最优划分属性，经过Node节点对S_train进行划分，当划分后的数据集中的数据都是同一类别或者数据集为空，则将该Node标记为叶节点，并且返回决策树T；否则生成Node节点的左右节点返回计算S_train的信息熵；

生成决策树模型，通过交叉验证集S_cv对生成的决策树模型进行交叉验证完成训练，通过测试集S_test对训练完的决策树模型进行测试。

进一步的，所述采用平滑加权轮询算法分配权重，将计算任务分配给所述决策树模型中对应权重的处理单元包括：

按照器件单元特征集合U各单元位置，分别对默认权重集合W和当前权重集合CW进行初始化，初始时W和CW均为空集；

当Task非空时，循环执行以下步骤直至Task为空，按序得到计算任务分配信息：

通过决策树模型T计算集合U中所有单元的初始权重并放入到集合W中，同时赋予CW相同的权重，计算集合W中所有权值之和Weight_sum；

找出集合W中权重值最大的单元的下标i；

计算CW_i-Weight_sum并且赋值给CW_i；

通过公式CW_t＝CW_t+W_t重新计算CW中的每个元素，t为单元的标号；

分配当前元计算任务task_j给第i个单元，其中j表示当前循环次数；

从Task中移除task_j。

本发明所述的计算系统负载均衡装置包括：存储器、处理器及在所述存储器上存储并可运行的计算系统负载均衡的程序，所述计算系统负载均衡的程序被处理器执行时实现所述计算系统负载均衡方法的部分或全部步骤。

本发明所述的计算机可读存储介质，其上存储有计算系统负载均衡的程序，所述计算系统负载均衡的程序被处理器执行时实现所述计算系统负载均衡方法的部分或全部步骤。

有益效果：本发明通过决策树来动态赋予GPU单元权重，然后采用平滑轮询加权法动态分配计算任务，有效地提高了CPU和GPU的协同计算系统的效率，同时保证了系统的负载均衡。

具体实施方式

下面结合实施例对本发明的技术方案作进一步的说明。

本发明所述的计算系统负载均衡方法，步骤如下：

假设一个CPU集合单元由m个同一种类CPU单元组成，一个GPU集合单元由n块同一种类GPU卡构成，对这些集合单元进行编号。

设样本s_i≡{x_i,y_i}，其中

表示对CPU集合单元或者GPU集合单元进行特征提取后得到的特征向量，

为特征值，k为特征数量，i为样本序号；y_i∈{1,2,3,4,5,6,7,8,9}表示9个不同等级的负载。y_i的值越小负载等级越低。经实验表明，影响处理单元负载的特征包括：cache大小、线程数、ALU个数、单元当前负载、单元用户进程占用率、单元等待IO操作占用率、单元空闲态占用率。而内存作为沟通CPU或GPU和磁盘的通道，CPU在运算时快速加载需要读取的数据，因此内存的特性也会影响计算单元效率，典型的特征包括：已经使用的交换空间数量、空闲内存数量、块设备缓存、字符设备缓存等。本实施例中将x_i定义为：

x_i＝(isCorG,unit_num,cache,thread_num,ALU_num,load,unit_user,

unit_iowait,unit_free,mem_swap,mem_free,mem_buf,mem_cache)

其中，isCorG表示是CPU单元还是GPU单元(通常为逻辑函数)，unit_num表示单元的个数，cache表示单元集合的缓存，thread_num表示线程数，ALU_num表示alu单元数量，load表示单元当前负载，unit_user表示单元的用户进程占用率，unit_iowait表示单元等待IO操作占用率，unit_free表示单元的空闲态占用率，mem_swap已使用的内存交换空间数量，mem_free表示空闲内存数量，mem_buf表示块设备缓存，mem_cache表示字符设备缓存。

在获取了上述定义的各特征值之后，需要对数据进行离散化。对于特征的单位是百分制的数据来说，采用如下的方式进行离散化：

其中，i为样本序号，

为待离散化的特征值，k为特征数量，value_max为

的最大值，value_min为

的最小值。

除此之外，对于其他数值范围较大特征且相对连续的特征如CPU进程切换次数、内存交换空间数量、空闲内存数量、块设备缓存、字符设备缓存等。本发明使用了三角形隶属函数进行模糊化处理，再用均值等分区间离散化，从实验结果看可以得到比较好的效果。所述三角形隶属函数如下公式：

其中，k为特征数量，a,b,c的值由区间等分法确定，分别为[0,t]的四等分点，继而确定了三角形隶属函数的曲线形状。即对于某个特征值的取值范围[0，t]，通过设置a,b,c将其等分为4个区间{[0,a],(a,b],(b,c],(c,t]}。使用均值等分区间离散化法，可以很容易的将模糊化后的连续值转化为离散值。对于决策树算法来说，特征的离散值种类在3-5之间可以获得比较好的预测效果，与此同时，由于特征较多且算法需要快速的收敛，所以要尽可能地减少离散值的种类。本实施例中离散值种数为3。

设样本集S，对于

都有s_i∈S。将样本集S划分为三个部分，其中包括训练集S_train，交叉验证集S_cv，测试集S_test。划分的比例为S_train:S_cv:S_test＝6:2:2。创建决策树头节点Node_h，创建集合F₁并将所有特征值放入集合内，创建空集F₂。

首先求取第j个特征模糊化后的值在训练集上的均值：

然后求取区间的支点：

则第i个样本中第j个特征

的离散化公式为：

最终得到第i个样本的离散向量为：

其中，α_i为待离散化特征值的均值，x_i为第i个特征向量，y_j为样本集S中所有样本中第j个特征值组成的向量，i为样本序号，N为样本数量，k为特征数量。通过样本集S训练生成决策树模型，具体地，循环执行以下步骤：

步骤1：创建Node节点，将Node值赋给Node_h；

步骤2：在F₂集合中所有特征约束下，计算训练集S_train的信息熵，附加F₁集合中单个特征约束后，再次计算S_train的信息熵，得到F₁集合中每个特征约束下的信息增益；

步骤3：分别计算F₁集合中每个特征的分裂信息度量，根据信息增益和分裂信息度量计算出F₁集合中每个特征的信息增益率，选出信息增益率最大的特征f_max，将f_max从中集合F₁取出放入集合F₂。

步骤4：以f_max为最优划分属性，经过Node节点对S_train进行划分，当划分后的数据集中的数据都是同一类别或者数据集为空，则将该Node标记为叶节点，并且返回决策树T；否则生成Node节点的左右节点返回计算S_train的信息熵。

步骤5：生成决策树模型T。

输入：决策树模型T，器件单元特征集合U，元计算任务集合Task，空集合W和CW。

步骤1：按集合U各单元位置初始化集合W和CW。

当Task非空时循环执行以下步骤

步骤2：通过决策树模型T计算集合U中所有单元的初始权重并放入到集合W中。

这些单元的默认权重为W＝{W1,W2,…,Wn}，当前权重为CW＝{CW1,CW2,…,CWn}，其中n为单元数。在该算法中有两个权重，默认权重表示服务器的原始权重，当前权重表示每次访问后重新计算的权重，当前权重的出初始值为默认权重值。W和CW在第一次执行算法或者算法重新开始执行时要初始化位相同的权重，即原始权重值。

步骤3：找出集合W中值最大的单元的下标i。

步骤4：计算集合W中所有权值之和Weight_sum。

步骤5：计算CW_i-Weight_sum并且赋值给CW_i。

步骤6：通过公式CW_t＝CW_t+W_t重新计算CW中的每个元素，t为单元的标号。

步骤7：分配当前元计算任务task_j给第i个单元，其中j表示当前循环次数。

步骤8：从Task中移除task_j。

最后得到计算任务分配信息。

本发明所述的计算系统负载均衡装置包括：存储器、处理器及在所述存储器上存储并可运行的计算系统负载均衡的程序，所述计算系统负载均衡的程序被处理器执行时实现所述计算系统负载均衡方法的部分或全部步骤。

本发明所述的计算机可读存储介质，其上存储有计算系统负载均衡的程序，所述计算系统负载均衡的程序被处理器执行时实现所述计算系统负载均衡方法的部分或全部步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种计算系统负载均衡方法，其特征在于，该方法包括：

提取特征，获得样本s_i≡{x_i,y_i}，x_i为特征向量，y_i为特征向量x_i对应的负载等级数值，生成样本集S；其中，

为特征值，k为特征数量，i为样本序号；

根据样本集S训练生成决策树模型；

采用平滑加权轮询算法分配权重，将计算任务分配给所述决策树模型中对应权重的处理单元。

2.根据权利要求1所述的计算系统负载均衡方法，其特征在于，所述特征至少包括以下一种：cache大小、线程数、ALU个数、单元当前负载、单元用户进程占用率、单元等待IO操作占用率、单元空闲态占用率、内存已经使用的交换空间数量、空闲内存数量、块设备缓存、字符设备缓存。

3.根据权利要求1所述的计算系统负载均衡方法，其特征在于，提取特征之后，还包括，对所述特征的特征值进行离散化处理。

4.根据权利要求3所述的计算系统负载均衡方法，其特征在于，当所述特征的特征值为百分比数据时，按照下述公式进行离散化处理：

其中，i为样本序号，

为待离散化的特征值，k为特征数量，value_max为

的最大值，value_min为

的最小值；否则，按照下述步骤处理：

利用三角形隶属函数对所述特征的特征值进行模糊化处理；

采用均值等分区间离散化法，将模糊化后的特征的连续值转化为离散值。

5.根据权利要求1所述的计算系统负载均衡方法，其特征在于，所述根据样本集S训练生成决策树模型包括：

将样本集S划分为训练集S_train、交叉验证集S_cv、测试集S_test，创建决策树头节点Node_h，创建集合F₁并将所有特征值放入集合内，创建空集F₂；

创建初始Node节点，将Node值赋给Node_h；在F₂集合中所有特征约束下，计算训练集S_train的信息熵，附加F₁集合中单个特征约束后，再次计算S_train的信息熵，得到F₁集合中每个特征约束下的信息增益；

分别计算F₁集合中每个特征的分裂信息度量，根据信息增益和分裂信息度量计算出F₁集合中每个特征的信息增益率，选出信息增益率最大的特征f_max，将f_max从中集合F₁取出放入集合F₂；

以f_max为最优划分属性，经过Node节点对S_train进行划分，当划分后的数据集中的数据都是同一类别或者数据集为空，则将该Node标记为叶节点，并且返回决策树T；否则生成Node节点的左右节点返回计算S_train的信息熵；

生成决策树模型，通过交叉验证集S_cv对生成的决策树模型进行交叉验证完成训练，通过测试集S_test对训练完的决策树模型进行测试。

6.根据权利要求1所述的计算系统负载均衡方法，其特征在于，所述采用平滑加权轮询算法分配权重，将计算任务分配给所述决策树模型中对应权重的处理单元包括：

按照器件单元特征集合U各单元位置，分别对默认权重集合W和当前权重集合CW进行初始化，初始时W和CW均为空集；

当任务Task非空时，循环执行以下步骤直至Task为空，按序得到计算任务分配信息：

通过决策树模型T计算集合U中所有单元的初始权重并放入到集合W中，同时赋予CW相同的权重，计算集合W中所有权值之和Weight_sum；找出集合W中权重值最大的单元的下标i，

计算CW_i-Weight_sum并且赋值给CW_i；

通过公式CW_t＝CW_t+W_t重新计算CW中的每个元素，t为单元的标号；

分配当前元计算任务task_j给第i个单元，其中j表示当前循环次数；

从Task中移除task_j。

7.一种计算系统负载均衡装置，其特征在于，该装置包括：存储器、处理器及在所述存储器上存储并可运行的计算系统负载均衡的程序，所述计算系统负载均衡的程序被处理器执行时实现如权利要求1至6中任一项所述计算系统负载均衡方法的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算系统负载均衡的程序，所述计算系统负载均衡的程序被处理器执行时实现如权利要求1至6中任一项所述计算系统负载均衡方法的步骤。