CN109976917A - 一种负载调度方法、装置、负载调度器、存储介质及系统 - Google Patents

Abstract

本申请提供了一种负载调度方法、装置、负载调度器、存储介质及系统，其中，负载调度方法应用于负载调度器，负载调度器与目标服务器集群连接，负载调度方法包括：接收客户端发送的任务请求；基于获取的目标服务器集群中各服务器的当前硬件性能指标，确定执行任务请求的目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；将任务请求发送至所述目标服务器执行。本申请充分考虑了目标服务器集群中各服务器的实时硬件性能，基于各服务器的当前硬件性能指标进行任务请求的分发，使得目标服务器集群中服务器的硬件资源能够得到充分利用，即服务器能够达到最优的硬件性能。

Description

一种负载调度方法、装置、负载调度器、存储介质及系统

技术领域

本申请涉及负载均衡技术领域，尤其涉及一种负载调度方法、装置、负载调度器、存储介质及系统。

背景技术

随着云计算概念的普及，越来越多的用户和企业趋向于使用和管理具有完备生态的云计算集群。一些对可靠性有比较高的要求的大型企业也会自己组建私有化集群。由于机器设备成本高、机器类型复杂、请求计算类型多元化导致服务器集群的负载均衡策略一直是一个重难点。

负载均衡的意义在于，让服务器集群中的各个服务器以最小的代价、最好的状态对外提供服务。一个好的负载均衡策略能够给用户带来更好的体验，给集群管理企业带来更低的成本，并且可以抵御一定范围的流量波动。

负载均衡的过程实质为负载调度器进行负载调度的过程，即负载调度器将用户请求分配给服务器集群中的最优服务器，目前，负载调度器在进行负载调度时，只是关注了用户请求的分配，这种只从用户请求角度进行负载调度的方案导致服务器集群中服务器的利用率不高、硬件性能无法达到最优。

发明内容

有鉴于此，本申请提供了一种负载调度方法、装置、负载调度器、存储介质及系统，用以解决现有技术中负载调度器在进行负载调度时，只关注用户请求的分配导致服务器集群中服务器的利用率不高、硬件性能无法达到最优的问题，其技术方案如下：

一种负载调度方法，应用于负载调度器，所述负载调度器与目标服务器集群连接，所述方法包括：

接收客户端发送的任务请求；

基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

将所述任务请求发送至所述目标服务器执行。

可选的，所述将所述任务请求发送至所述目标服务器执行，包括：

当接收到的任务请求为批处理任务请求时，将所述批处理任务请求均发送至所述目标服务器执行。

可选的，获取所述目标服务器集群中各服务器的当前硬件性能指标，包括：

获取设置于所述服务器集群中各个服务器上的数据采集器实时采集的、各服务器的当前硬件性能指标。

可选的，所述基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，包括：

基于所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器；

若所述目标服务器集群中存在能够执行所述任务请求的服务器，则从所述能够执行所述任务请求的服务器中确定执行所述任务请求的目标服务器；

若所述目标服务器集群中不存在能够执行所述任务请求的服务器，则在所述目标服务器集群中添加一空闲服务器，将添加的空闲服务器作为执行所述任务请求的目标服务器。

可选的，所述负载调度方法还包括：

当所述目标服务器集群中存在任务请求量小于预设任务请求量阈值的服务器时，将该服务器的任务请求发送至其它服务器执行，并将该服务器从所述目标服务器集群中移出。

可选的，所述基于所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器，包括：

通过所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中各服务器的当前压力值；

基于所述目标服务器集群中各服务器的当前压力值，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器。

可选的，所述通过所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中各服务器的当前压力值，包括：

针对所述目标服务器集群中的任一服务器：

将该服务器的所有当前硬件性能指标的值求和，求和得到的值除以该服务器的当前硬件性能指标的个数，得到该服务器的当前压力值；

以得到所述目标服务器集群中各服务器的压力值。

可选的，所述基于所述目标服务器集群中各服务器的当前压力值，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器，包括：

若所述目标服务器集群中存在当前压力值小于或等于预设压力阈值的服务器，则确定所述目标服务器集群中存在能够执行所述任务请求的服务器；

若所述目标服务器集群中不存在当前压力值小于或等于预设压力阈值的服务器，则确定所述目标服务器集群中不存在能够执行所述任务请求的服务器。

可选的，任一服务器的当前硬件性能指标包括以下指标中的一种或多种：

CPU的当前性能指标、GPU的当前性能指标、内存的当前性能指标、该服务器上的服务在该服务器上的硬件资源占用指标、该服务器的当前带宽利用率、该服务器的当前访问流量频率。

可选的，所述CPU的当前性能指标包括以下指标中的一种或多种：CPU的当前计算延迟、CPU的当前缓存置换频率、CPU每个核心的当前利用率、CPU每个核心的当前频率和多个核心的当前平均利用率、CPU的当前负载情况；

所述GPU的当前性能指标包括以下指标中的一种或多种：显存的当前使用率、显存的当前占用比例、显存的当前温度；

所述内存的当前性能指标包括以下指标中的一种或多种：内存的当前使用率、分页内存大小占总内存大小的比例、分页内存交换频率。

可选的，所述CPU的当前计算延迟通过循环多次调用两个缓存行大小的内存数据进行指定运算时，每次调用的计算延迟确定；

所述CPU的当前缓存置换频率通过循环多次调用多个缓存行大小的内存数组中每个内存数组进行指定运算时，每个内存数据每次调用时的计算时间确定；

所述当前分页内存交换频率通过多块分页大小的内存中当前置换到硬盘上的分页的数量确定，其中，置换到硬盘上的分页通过对所述多块分页大小的内存进行访问时，每个分页的访问时间确定。

一种负载调度装置，应用于负载调度器，所述负载调度器与目标服务器集群连接，所述负载调度装置包括：接收模块、目标服务器确定模块和发送模块；

所述接收模块，用于接收客户端发送的任务请求；

所述目标服务器模块，用于基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

所述发送模块，用于将所述任务请求发送至所述目标服务器执行。

一种负载调度器，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现所述负载调度方法的各个步骤。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述负载调度方法的各个步骤。

一种负载均衡系统，包括：负载调度器，以及与所述负载调度器连接的目标服务器集群，所述目标服务器集群中包括多个服务器；

所述负载调度器，用于接收客户端发送的任务请求，基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，将所述任务请求发送至所述目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

所述目标服务器集群中的所述目标服务器，用于执行所述任务请求。

所述负载均衡系统还包括：设置于所述目标服务器集群中各个服务器上的数据采集器；

每个所述数据采集器，用于实时采集其对应的服务器的当前硬件性能指标；

所述负载调度器，具体用于基于各个所述数据采集器采集的各个服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器。

经由上述的技术方案可知，本申请提供的负载调度方法充分考虑了目标服务器集群中各服务器的实时硬件性能，即负载调度器在接收到客户端的任务请求时，可基于目标服务器集群中各服务器的当前硬件性能指标从目标服务器集群中确定执行任务请求的目标服务器，进而将接收的任务请求发送至目标服务器执行，由于各个服务器的当前硬件性能指标反映了各个服务器的当前硬件使用情况，因此基于各个服务器的当前硬件性能指标进行任务请求的分发，使得目标服务器集群中服务器的硬件资源能够得到充分利用，即服务器能够达到最优的硬件性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的负载调度方法的流程示意图；

图2为本申请实施例提供的负载调度方法中，基于目标服务器集群中各服务器的当前硬件性能指标，确定执行任务请求的目标服务器的流程示意图；

图3为本申请实施例提供的负载调度装置的结构示意图；

图4为本申请实施例提供的负载调度器的结构示意图；

图5为本申请实施例提供的负载均衡系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人经研究发现，现有的负载调度方案主要包括两种：

其一，基于权重的负载调度方案，该方案具体为：为服务器集群中的每台服务器配置权重值，负载调度器基于每个服务器的权重值为服务器集群中的服务器分配用户请求，权重值较大的服务器分配的用户请求较多，权重值较小的服务器分配的用户请求较少。

其二，基于服务空闲实例数的负载调度方案，该方案具体为：负载调度器获取各个服务器的服务空闲实例数，然后对各个服务器的服务空闲实例数进行排序，以获得最空闲的服务器，从而将用户请求分配给服务器集群中最空闲的服务器。

发明人分析上述两种方案发现，上述两种方案均为平衡负载的方案，即只关注用户请求的分配，考虑的只是请求量，而没有考虑服务器集群中服务器的真实硬件性能，即没有考虑服务器的计算能力，这会导致服务器集群中服务器的利用率不高、硬件性能无法达到最优。另外，负载调度器接收的请求可能为计算密集型的任务请求，如果单纯的从请求量的角度进行负载调度，会导致计算密集型的任务请求存在计算稀疏的问题，即多个任务请求单独处理，无法进行合并批处理，而计算密集型的任务请求无法进行合并批处理使得服务器无法达到最优的硬件性能。

针对上述问题，本案发明人进行了深入研究，最终提出了一种效果较好负载调度方法，接下来通过下述实施例对本申请提供的负载调度方法进行介绍。

请参阅图1，示出了本申请实施例提供的负载调度方法的流程示意图，该负载调度方法应用于负载调度器，该负载调度器与目标服务器集群连接，该方法可以包括：

步骤S101：接收客户端发送的任务请求。

在本实施例中，客户端接收任务请求，将接收的任务请求发送至负载调度器，负载调度器接收任务请求，从目标服务集群中为该任务请求挑选目标服务器。

步骤S102：基于获取的目标服务器集群中各服务器的当前硬件性能指标，确定执行任务请求的目标服务器。

其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况，进一步的，该服务器中硬件的当前使用情况能够反映该服务器的当前压力情况。

本申请充分考虑目标服务器集群中各服务器的实时硬件性能，基于各服务器的当前硬件性能指标进行任务请求的分发。

步骤S103：将任务请求发送至目标服务器执行。

在某些时候，负载调度器可能会接收到客户端发送的批处理任务请求(比如计算密集型任务请求)，可以理解的是，对于批处理任务请求而言，只有进行合并批处理操作才可以达到硬件使用的最高性能，有鉴于此，当负载调度器接收到批处理任务请求时，可针对该批处理任务请求，基于目标服务器集群中各服务器的当前硬件性能指标确定一目标服务器，然后将批处理任务请求均发送至该目标服务器，以使目标服务器对批处理任务请求进行合并批处理操作。

需要说明的是，负载调度器可通过下述方式确定其接收的任务请求是否为批处理请求：若负载调度器在同一时刻接收到多个同类型的任务请求，可确定其在同一时刻接收到的多个同类型的任务请求为批处理任务请求；若负载调度器在不同时刻接收到多个同类型的任务请求，且多个同类型的任务请求中任意相邻的两个任务请求的接收时间差小于预设时间阈值，则确定在不同时刻接收到的多个同类型的任务请求为批处理任务请求。

本申请实施例提供的负载调度方法，负载调度器在接收到客户端的任务请求时，可基于目标服务器集群中各服务器的当前硬件性能指标从目标服务器集群中确定执行任务请求的目标服务器，进而将接收的任务请求发送至目标服务器执行，由于各个服务器的当前硬件性能指标反映了各个服务器的当前硬件使用情况，因此基于各个服务器的当前硬件性能指标进行任务请求的分发，使得目标服务器集群中服务器的硬件资源能够得到充分利用，即服务器能够达到最优的硬件性能。

另外，本申请实施例提供的负载调度方法中，当负载调度器接收到批处理任务请求(比如计算密集型任务请求)时，会将批处理任务请求分发给同一台目标服务器，这种任务请求的分发方式使得目标服务器能够对批处理任务请求进行合并批处理操作，对批处理任务请求进行合并批处理操作使得服务器的硬件资源能够得到最大化利用，同时还能降低任务请求的响应时间，提升用户体验。

由于执行任务请求的目标服务器基于目标服务器集群中各服务器的当前硬件性能指标确定，因此，如何获取目标服务器集群中各服务器的当前硬件性能指标，以及获取服务器的哪些硬件性能指标至关重要。以下对目标服务器集群中各服务器的当前硬件性能指标的获取方式，以及获取的具体硬件性能指标进行介绍。

在一种可能的实现方式中，可在目标服务器集群中的各个服务器上分别设置数据采集器，数据采集器实时采集各个服务器的当前硬件性能指标，负载调度获取设置于各个服务器上的数据采集器采集的、各个服务器的当前硬件性能指标。

在本实施例中，任一服务器的当前硬件性能指标可以包括以下指标中的一种或多种：CPU的当前性能指标、GPU的当前性能指标、内存的当前性能指标、该服务器的当前带宽利用率、该服务器的当前访问流量频率、该服务器上的服务在该服务器上的硬件资源占用指标。优选的，任一服务器的当前硬件性能指标包括上述所有指标。

其中，CPU的当前性能指标包括以下指标中的一种或多种(优选为包括下述所有指标)：CPU的当前计算延迟、CPU的当前缓存置换频率、CPU每个核心的当前利用率、CPU每个核心的当前频率和多个核心的当前平均利用率、CPU的当前负载情况。需要说明的是，CPU的当前计算延迟和CPU的当前缓存置换频率为影响CPU计算性能的指标，CPU每个核心的当前利用率和多个核心的当前平均利用率反映了CPU单核的利用情况以及多核的总体利用情况，CPU每个核心的当前频率反映的是CPU单核的频率健康状态，在获取CPU每个核心的当前频率时，可一并获取每个核心的最大频率和最小频率。

其中，GPU的当前性能指标包括以下指标中的一种或多种(优选为包括下述所有指标)：显存的当前使用率、显存的当前占用比例、显存的当前温度。需要说明的是，显存的当前使用率、显存的当前占用比例和显存的当前温度反映了GPU的综合利用情况。

其中，内存的当前性能指标包括以下指标中的一种或多种(优选为包括下述所有指标)：内存的当前使用率、当前分页内存大小占总内存大小的比例、当前分页内存交换频率。需要说明的是，内存的当前使用率反映的是内存的利用情况，当前分页内存大小占总内存大小的比例反映的是当内存增加时，是否有新分页可以加入而不是直接和磁盘进行分页交换。

其中，该服务器的当前带宽利用率包括该服务器进口处的当前带宽利用率和出口处的当前带宽利用率，该服务器进口处的当前带宽利用率为该服务器进口处的当前带宽与总带宽的比，该服务器出口处的当前带宽利用率为该服务器出口处的当前带宽与总带宽的比。

其中，该服务器的当前访问流量频率反映的该服务器的访问流量的变化趋势，比如访问流量总体上升还是总体下降。

需要说明的是，上述指标中，CPU的当前性能指标、GPU的当前性能指标、内存的当前性能指标、服务器的当前带宽利用率和服务器的当前访问流量频率为动态指标，数据采集器采集到这些指标后，直接将这些指标发送至负载调度器，而服务器上的服务在该服务器上的硬件资源占用指标为静态指标，数据采集器在采集到该指标后，将该指标存储至数据库，负载调度器可访问数据库获取该指标。

上述动态指标可根据数据采集器的采集方式不同而分为客观指标和高阶指标，客观指标指的是数据采集器不经计算从服务器直接可采集到的指标，高阶指标指的是数据采集器需要经计算才能获得的指标。其中，客观指标包括CPU每个核心的当前利用率、CPU每个核心的当前频率、CPU的当前负载情况、显存的当前使用率、显存的当前占用比例、显存的当前温度、内存的当前使用率、当前分页内存大小占总内存大小的比例以及服务器的当前带宽利用率，高阶指标包括CPU的当前计算延迟、CPU的当前缓存置换频率、分页内存交换频率以及服务器的当前访问流量频率。

以下对数据采集器采集高阶指标(CPU的当前计算延迟、CPU的当前缓存置换频率、当前分页内存交换频率以及服务器的当前访问流量频率)的过程进行介绍。

1)数据采集器采集CPU的当前计算延迟的过程：

CPU的当前计算延迟反映的CPU对于计算任务的当前时间片分配情况，其为影响CPU计算性能的一个指标。CPU对于计算任务的当前时间片分配情况能够反映CPU微观层面的繁忙程度。

缓存行(cacheline)是缓存(cache)中的基本单位，从主存向缓存迁移数据都是按照缓存行的大小进行替换的，缓存行的大小可以直接在系统配置上获取。考虑到缓存每次都是按照缓存行的大小进行数据交换，本申请可使用缓存行大小的数组进行主动拨测以确定CPU的当前计算延迟，具体的：

a1、分配缓存行大小的内存数组A和B，并分别生成随机数填充；

a2、循环N₁(比如N₁＝100)次调用A数组乘以B数组，记录N₁次调用的总耗时t以及每次循环的耗时t₁、…、t_N1，其中，相邻两次调用的时间间隔为n₁秒(比如10秒)；

a3、通过下式计算N₁次调用的平均计算延迟率作为CPU的当前计算延迟：

S＝[(t₁/T)²+...+(t_N1/T)²]/N₁ (1)

其中，T为N₁次调用的理论总耗时，t_i/T为第i次调用的计算延迟率，S即为N₁次调用的平均计算延迟率，即CPU的当前计算延迟。

数据采集器获取到CPU的当前计算延迟S后，将S发送至负载调度器，如此负载调度器便获得了CPU的当前计算延迟。

2)数据采集器采集CPU的当前缓存置换频率的过程：

影响CPU计算性能的指标除了上述的计算延迟外，还包括CPU的当前缓存置换频率。CPU在进行计算时，会首先从缓存中读取数据，如果数据不在缓存中，则会从下一级缓存或内存中读取数据，此时，数据读取速度会指数倍下降，导致CPU计算性能下降。

本申请实施例可采用基于缓存行的主动拨测以预测CPU的当前缓存置换频率，下面以缓存行为100，生成10个内存数组，循环3次调用为例对预测CPU的当前缓存置换频率的过程进行说明：

b1、分配100个缓存行大小的内存数组，并生成随机数填充，优选的，可使10个内存数组之间不是内存连续的；

b2、先循环两次调用每个内存数组，对原随机数进行自增操作，记录两次调用时，每个数组的计算时间T_j1、T_j2，j＝1、…、100；

b3、间隔n₁秒(比如1秒)，进行第三次调用，即调用每个内存数组对原随机数进行自增操作，记录第三次调用时，每个内存数组的计算时间T_j3；

b4、统计100个内存数据中，计算时间T_j3趋近于T_j1的内存数组的个数n。

b5、利用计算时间T_j3趋近于T_j1的内存数组的个数n以及下式，计算CPU的当前缓存置换频率C：

C＝(n/100)*缓存大小 (2)

需要说明的是，计算时间T_j3趋近于T_j1表示发生了缓存置换，计算时间T_j3趋近于T_j1的内存数组的个数为n表示发生了n行缓存置换，T_j3趋近于T_j2表示命中缓存，即未发生缓存置换。数据采集器获取到CPU的当前缓存置换频率C后，将CPU的当前缓存置换频率C发送至负载调度器，如此，负载调度器便获得了CPU的当前缓存置换频率。

3)数据采集器采集当前分页内存交换频率的过程：

本实施例可使用分页大小内存进行轮询访问，以获取当前分页内存交换频率，具体的：

c1、获取分页大小；

c2、申请P块(比如10)分页大小的内存，每s秒(比如5秒)循环访问一次，记录访问时间；

c3、若访问时间趋近于理论访问时间，则确定分页还在内存中，若访问时间大于理论访问时间，则确定分页已经置换到硬盘上；

c4、统计置换到硬盘上的分页的数量Q，则当前分页内存交换频率为交换频率为Q/P/s次/秒。

数据采集器获取到CPU的当前分页内存交换频率后，将其发送至负载调度器，如此，负载调度器便获得了CPU的当前分页内存交换频率。

4)数据采集器采集服务器的当前访问流量频率的过程：

任一服务器的当前访问流量频率包括该服务器上各类型的服务的当前访问流量频率，对于任一服务器X上的任一类型的服务x，确定服务x的当前访问流量频率的过程包括：

d1、统计服务器X上服务x的任务请求数据，假设任务请求数据为N个；

d2、生成长度为N的数组[t₁,t₂,t₃,...t_m,...,t_N]，从数组[t₁,t₂,t₃,...t_m,...,t_N]中选取一个数，优选的，选取[t₁,t₂,t₃,...t_m,...,t_N]中位于中间位置的数，假设位于数组中间位置的数为t_m，基于t_m对数组[t₁,t₂,t₃,...t_m,...,t_N]进行二阶差分，通过二阶差分结果确定服务器X上服务x的当前访问流量频率的走势。

示例性的，任务请求数据的个数N为21，生成长度为21的数组[t₁,t₂,t₃,...t₁₁,...,t₂₁]，对数组[t₁,t₂,t₃,...t₁₁,...,t₂₁]进行二次差分，具体的，首次差分时，选取位于数组中间位置的数t₁₁，对于t₁₁以及t₁₁之后的每个数据，分别计算其与t₁₁之前的各个数据以及t₁₁的差值，第一次差分结果为[(t₁₁-t₁),(t₁₁-t₂),(t₁₁-t₃),...,(t₁₁-t₁₁),...,(t₂₁-t₁₁)]，为了便于对第二次差分进行描述，此处将第一次差分结果简化为[n₁,n₂,n₃,...,0,...,n₂₁]，第二次差分时，用后10个数与前10个数作差，第二次差分结果为[(n₂₁-n₁),(n₂₀-n₂),(n₁₉-n₃),...,(n₁₂-n₁₀)]，将第二次差分结果简化为[m₁,m₂,m₃,...,m₁₀]，如果二次差分结果的和大于0(即m₁+m₂+...m₁₀>0)，则表明服务器X上服务x的访问流量频率总体是上升的，反之，表明服务器X上服务x的访问流量频率总体是下降的。服务器上各服务的当前访问流量频率在一定程度上能够反映服务器的硬件使用情况。

负载调度器在获得目标服务器集群中各服务器的当前硬件性能指标后，便可基于目标服务器集群中各服务器的当前硬件性能指标，确定执行任务请求的目标服务器。

请参阅图2，示出了基于目标服务器集群中各服务器的当前硬件性能指标，确定执行任务请求的目标服务器的流程示意图，可以包括：

步骤S201：基于目标服务器集群中各服务器的当前硬件性能指标，判断目标服务器集群中是否存在能够执行任务请求的服务器，若目标服务器集群中存在能够执行任务请求的服务器，则执行步骤S201a，若目标服务器集群中不存在能够执行任务请求的服务器，则执行步骤S201b。

具体的，基于目标服务器集群中各服务器的当前硬件性能指标，判断目标服务器集群中是否存在能够执行任务请求的服务器的过程可以包括：通过目标服务器集群中各服务器的当前硬件性能指标，确定目标服务器集群中各服务器的当前压力值；基于目标服务器集群中各服务器的当前压力值，确定目标服务器集群中是否存在能够执行所述任务请求的服务器。

在一种可能的实现方式中，通过目标服务器集群中各服务器的当前硬件性能指标，确定目标服务器集群中各服务器的当前压力值的过程可以包括：针对目标服务器集群中的任一服务器：将该服务器的所有当前硬件性能指标的值求和，求和得到的值除以该服务器的当前硬件性能指标的个数，得到该服务器的当前压力值；以得到目标服务器集群中各服务器的压力值。

进一步的，基于目标服务器集群中各服务器的当前压力值，确定目标服务器集群中是否存在能够执行所述任务请求的服务器的过程可以包括：在获得目标服务器集群中各服务器的压力值后，若目标服务器集群中存在当前压力值小于或等于预设压力阈值的服务器，则确定目标服务器集群中存在能够执行任务请求的服务器；若目标服务器集群中不存在当前压力值小于或等于预设压力阈值的服务器，则确定目标服务器集群中不存在能够执行所述任务请求的服务器。

步骤S202a：从能够执行任务请求的服务器中确定执行任务请求的目标服务器。

具体的，若能够执行任务请求的服务器为一台，则直接将该服务器确定为执行任务请求的目标服务器；若能够执行任务请求的服务器为多台，则将能够执行任务请求的多台服务器中压力值最小的服务器确定为执行任务请求的目标服务器，若能够执行任务请求的多台服务器中压力值最小的服务器为多台，则将压力值最小的多台服务器中的任意一台服务器作为执行任务请求的目标服务器。

步骤S202b：在目标服务器集群中添加一空闲服务器，将添加的空闲服务器作为执行任务请求的目标服务器。

需要说明的是，在目标服务器集群中添加的服务器上同样设置有用于实时采集该新添加的服务器的硬件性能指标的数据采集器。

需要说明的是，目标服务器集群中添加的服务器的流量是从0开始缓慢增加的，而不是和目标服务器集群中已有的服务器进行平分，即保证已有服务器尽可能满载运行，使已有服务器的硬件资源得到充分利用。

优选的，为了是目标服务集群中的每台服务器的硬件资源得到最大化利用，本实施例提供的负载调度方法还可以包括：当目标服务器集群中存在任务请求量小于预设任务请求量阈值的服务器时，将该服务器的任务请求发送至其它服务器执行，并将该服务器从目标服务器集群中移出。

本申请实施例提供的负载调度方法中，负载调度器可基于目标服务器集群中各服务器的当前硬件性能指标从目标服务器集群中确定执行任务请求的目标服务器，当目标服务器集群中不存在执行任务请求的目标服务器时，可对目标服务器集群进行弹性扩容，即在目标服务器集群添加空闲服务器，将任务请求分发给添加的空闲服务器，当目标服务器集群中存在任务请求量小于预设任务请求量阈值的服务器时，可将该服务器从目标服务器集群中移出，即对目标服务器集群进行弹性缩容，另外，负载调度器在接收到批处理任务请求时，可将批处理任务请求分发至基于各服务器的当前硬件性能指标确定的同一台目标服务器进行合并批处理操作，负载调度器的上述调度策略使得目标服务器集群中服务器的硬件资源能够得到充分利用，从而使服务器能够达到最优的硬件性能，且能降低任务请求的响应时间，提升用户体验。

本申请实施例还提供了一种负载调度装置，下面对本申请实施例提供的负载调度装置进行描述，下文描述的负载调度装置与上文描述的负载调度方法可相互对应参照。

请参阅图3，示出了本申请实施例提供的一种负载调度装置的结构示意图，该负载调度装置应用于负载调度器，负载调度器与目标服务器集群连接，该负载调度装置可以包括：接收模块301、确定模块302和发送模块303。

接收模块301，用于接收客户端发送的任务请求。

确定模块302，用于基于获取的目标服务器集群中各服务器的当前硬件性能指标，确定执行任务请求的目标服务器。

其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况。

发送模块303，用于将接收模块301接收的任务请求发送至目标服务器执行。

本申请实施例提供的负载调度装置，在接收到客户端的任务请求时，可基于目标服务器集群中各服务器的当前硬件性能指标从目标服务器集群中确定执行任务请求的目标服务器，进而将接收的任务请求发送至目标服务器执行，由于各个服务器的当前硬件性能指标反映了各个服务器的硬件使用情况，因此基于各个服务器的当前硬件性能指标进行任务请求的分发，使得目标服务器集群中服务器的硬件资源能够得到充分利用，即服务器能够达到最优的硬件性能。

在一种可能的实现方式中，上述实施例提供的负载调度装置中的发送模块303，具体用于当接收到的任务请求为批处理任务请求时，将所述批处理任务请求均发送至所述目标服务器执行。

本申请实施例提供的负载调度装置可将批处理任务请求分发给同一台目标服务器，这种任务请求的分发方式使得目标服务器能够对批处理任务请求进行合并批处理操作，对批处理任务请求进行合并批处理操作使得服务器的硬件资源能够得到最大化利用，同时还能降低任务请求的响应时间，提升用户体验。

在一种可能的实现方式中，上述实施例提供的负载调度装置还包括硬件性能指标获取模块。

硬件性能指标获取模块，用于获取设置于所述服务器集群中各个服务器上的数据采集器实时采集的、各服务器的当前硬件性能指标。

在一种可能的实现方式中，上述实施例提供的负载调度装置中的目标服务器确定模块302，包括：判断模块、目标服务器确定模块和服务器集群调整模块。

判断模块，用于基于所述目标服务器集群中各服务器的当前硬件性能指标，判断所述目标服务器集群中是否存在能够执行所述任务请求的服务器。

目标服务器确定模块，用于当所述目标服务器集群中存在能够执行所述任务请求的服务器时，从所述能够执行所述任务请求的服务器中确定执行所述任务请求的目标服务器。

服务器集群调整模块，用于当所述目标服务器集群中不存在能够执行所述任务请求的服务器，在所述目标服务器集群中添加一空闲服务器。

目标服务器确定模块，还用于将添加的空闲服务器确定为执行所述任务请求的目标服务器。

在一种可能的实现方式中，服务器集群调整模块，还用于当所述目标服务器集群中存在任务请求量小于预设任务请求量阈值的服务器时，将该服务器的任务请求发送至其它服务器执行，并将该服务器从所述目标服务器集群中移出。

在一种可能的实现方式中，判断模块包括：压力确定子模块和判断子模块。压力确定子模块，用于通过所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中各服务器的当前压力值。判断子模块，用于基于所述目标服务器集群中各服务器的当前压力值，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器。

在一种可能的实现方式中，压力确定子模块，具体用于针对所述目标服务器集群中的任一服务器：将该服务器的所有当前硬件性能指标的值求和，求和得到的值除以该服务器的当前硬件性能指标的个数，得到该服务器的当前压力值；以得到所述目标服务器集群中各服务器的压力值。

在一种可能的实现方式中，判断子模块，具体用于判断目标服务器集群中是否存在当前压力值小于或等于预设压力阈值的服务器，若所述目标服务器集群中存在当前压力值小于或等于预设压力阈值的服务器，则确定所述目标服务器集群中存在能够执行所述任务请求的服务器；若所述目标服务器集群中不存在当前压力值小于或等于预设压力阈值的服务器，则确定所述目标服务器集群中不存在能够执行所述任务请求的服务器。

在一种可能的实现方式中，任一服务器的当前硬件性能指标包括以下指标中的一种或多种：

CPU的当前性能指标、GPU的当前性能指标、内存的当前性能指标、所述任务请求对应的服务在该服务器上的硬件资源占用指标、该服务器的当前带宽利用率、该服务器的当前访问流量频率。

在一种可能的实现方式中，所述CPU的当前性能指标包括以下指标中的一种或多种：CPU的当前计算延迟、CPU的当前缓存置换频率、CPU每个核心的当前利用率、CPU每个核心的当前频率和多个核心的当前平均利用率、CPU的当前负载情况；所述GPU的当前性能指标包括以下指标中的一种或多种：显存的当前使用率、显存的当前占用比例、显存的当前温度；所述内存的当前性能指标包括以下指标中的一种或多种：内存的当前使用率、分页内存大小占总内存大小的比例、分页内存交换频率。

可选的，所述CPU的当前计算延迟通过循环多次调用两个缓存行大小的内存数据进行指定运算时，每次调用的计算延迟确定；

所述CPU的当前缓存置换频率通过循环多次调用多个缓存行大小的内存数组中每个内存数组进行指定运算时，每个内存数据每次调用时的计算时间确定；

所述当前分页内存交换频率通过多块分页大小的内存中当前置换到硬盘上的分页的数量确定，其中，置换到硬盘上的分页通过对所述多块分页大小的内存进行访问时，每个分页的访问时间确定。

本申请实施例还提供了一种负载调度器，请参阅图4，示出了该负载调度器的结构示意图，该负载调度器可以包括：至少一个处理器401，至少一个通信接口402，至少一个存储器403和至少一个通信总线404；

在本申请实施例中，处理器401、通信接口402、存储器403、通信总线404的数量为至少一个，且处理器401、通信接口402、存储器403通过通信总线404完成相互间的通信；

处理器401可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器403可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

接收客户端发送的任务请求；

基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

将所述任务请求发送至所述目标服务器执行。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种可读存储介质，该可读存储介质可存储有适于处理器执行的程序，所述程序用于：

接收客户端发送的任务请求；

基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

将所述任务请求发送至所述目标服务器执行。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种负载均衡系统，请参阅图5，示出了该负载均衡系统的结构示意图，可以包括负载调度器501，以及与负载调度器501连接的目标服务器集群502，目标服务器集群中包括多个服务器。

负载调度器501，用于接收客户端500发送的任务请求，基于获取的目标服务器集群502中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器5021，将所述任务请求发送至目标服务器5021。其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况。

目标服务器集群502中的目标服务器5021，用于接收并执行任务请求。

优选的，上述负载均衡系统还包括：设置于目标服务器集群中各个服务器上的数据采集器503。每个数据采集器，用于实时采集其对应的服务器的当前硬件性能指标。负载调度器501，具体用于基于各个数据采集器采集的各个服务器的当前硬件性能指标，确定执行任务请求的目标服务器。

优选的，上述负载均衡系统中的负载调度器，具体用于当接收到的任务请求为批处理任务请求时，将批处理任务请求均发送至目标服务器5021执行。目标服务器5021，具体用于对批处理任务请求进行合并批处理。

优选的，上述负载均衡系统中任一数据采集器采集的其对应服务器的当前硬件性能指标包括以下指标中的一种或多种：CPU的当前性能指标、GPU的当前性能指标、内存的当前性能指标、该服务器上的服务在该服务器上的硬件资源占用指标、该服务器的当前带宽利用率、该服务器的当前访问流量频率。

其中，所述CPU的当前性能指标包括以下指标中的一种或多种：CPU的当前计算延迟、CPU的当前缓存置换频率、CPU每个核心的当前利用率、CPU每个核心的当前频率和多个核心的当前平均利用率、CPU的当前负载情况；所述GPU的当前性能指标包括以下指标中的一种或多种：显存的当前使用率、显存的当前占用比例、显存的当前温度；所述内存的当前性能指标包括以下指标中的一种或多种：内存的当前使用率、分页内存大小占总内存大小的比例、分页内存交换频率。

上述指标中，CPU的当前性能指标、GPU的当前性能指标、内存的当前性能指标、服务器的当前带宽利用率和服务器的当前访问流量频率为动态指标，数据采集器采集到这些指标后，直接将这些指标发送至负载调度器501，而服务器上的服务在该服务器上的硬件资源占用指标为静态指标，数据采集器在采集到该指标后，将该指标存储至数据库504，负载调度器501可访问数据库504获取该指标。

需要说明的是，数据采集器采集各个指标的过程以及负载调度器基于各服务器的当前硬件性能指标，确定执行任务请求的目标服务器5021的过程可参见上述负载调度方法实施例的说明，本实施例在此不作赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种负载调度方法，其特征在于，应用于负载调度器，所述负载调度器与目标服务器集群连接，所述方法包括：

接收客户端发送的任务请求；

基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

将所述任务请求发送至所述目标服务器执行。

2.根据权利要求1所述的负载调度方法，其特征在于，获取所述目标服务器集群中各服务器的当前硬件性能指标，包括：

获取设置于所述服务器集群中各个服务器上的数据采集器实时采集的、各服务器的当前硬件性能指标。

3.根据权利要求1所述的负载调度方法，其特征在于，所述基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，包括：

基于所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器；

若所述目标服务器集群中存在能够执行所述任务请求的服务器，则从所述能够执行所述任务请求的服务器中确定执行所述任务请求的目标服务器；

若所述目标服务器集群中不存在能够执行所述任务请求的服务器，则在所述目标服务器集群中添加一空闲服务器，将添加的空闲服务器作为执行所述任务请求的目标服务器。

4.根据权利要求3所述的负载调度方法，其特征在于，所述方法还包括：

当所述目标服务器集群中存在任务请求量小于预设任务请求量阈值的服务器时，将该服务器的任务请求发送至其它服务器执行，并将该服务器从所述目标服务器集群中移出。

5.根据权利要求3所述的负载调度方法，其特征在于，所述基于所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器，包括：

通过所述目标服务器集群中各服务器的当前硬件性能指标，确定所述目标服务器集群中各服务器的当前压力值；

基于所述目标服务器集群中各服务器的当前压力值，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器。

6.根据权利要求5所述的负载调度方法，其特征在于，所述基于所述目标服务器集群中各服务器的当前压力值，确定所述目标服务器集群中是否存在能够执行所述任务请求的服务器，包括：

若所述目标服务器集群中存在当前压力值小于或等于预设压力阈值的服务器，则确定所述目标服务器集群中存在能够执行所述任务请求的服务器；

若所述目标服务器集群中不存在当前压力值小于或等于预设压力阈值的服务器，则确定所述目标服务器集群中不存在能够执行所述任务请求的服务器。

7.根据权利要求1～6中任意一项所述的负载调度方法，其特征在于，任一服务器的当前硬件性能指标包括以下指标中的一种或多种：

CPU的当前性能指标、GPU的当前性能指标、内存的当前性能指标、该服务器上的服务在该服务器上的硬件资源占用指标、该服务器的当前带宽利用率、该服务器的当前访问流量频率。

8.根据权利要求7所述的负载调度方法，其特征在于，所述CPU的当前性能指标包括以下指标中的一种或多种：CPU的当前计算延迟、CPU的当前缓存置换频率、CPU每个核心的当前利用率、CPU每个核心的当前频率和多个核心的当前平均利用率、CPU的当前负载情况；

所述GPU的当前性能指标包括以下指标中的一种或多种：显存的当前使用率、显存的当前占用比例、显存的当前温度；

所述内存的当前性能指标包括以下指标中的一种或多种：内存的当前使用率、当前分页内存大小占总内存大小的比例、当前分页内存交换频率。

9.根据权利要求8所述的负载调度方法，其特征在于，所述CPU的当前计算延迟通过循环多次调用两个缓存行大小的内存数据进行指定运算时，每次调用的计算延迟确定；

所述CPU的当前缓存置换频率通过循环多次调用多个缓存行大小的内存数组中每个内存数组进行指定运算时，每个内存数据每次调用时的计算时间确定；

所述当前分页内存交换频率通过多块分页大小的内存中当前置换到硬盘上的分页的数量确定，其中，置换到硬盘上的分页通过对所述多块分页大小的内存进行访问时，每个分页的访问时间确定。

10.一种负载调度装置，其特征在于，应用于负载调度器，所述负载调度器与目标服务器集群连接，所述负载调度装置包括：接收模块、目标服务器确定模块和发送模块；

所述接收模块，用于接收客户端发送的任务请求；

所述目标服务器模块，用于基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

所述发送模块，用于将所述任务请求发送至所述目标服务器执行。

11.一种负载调度器，其特征在于，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如权利要求1～9中任一项所述的负载调度方法的各个步骤。

12.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～9中任一项所述的负载调度方法的各个步骤。

13.一种负载均衡系统，其特征在于，包括：负载调度器，以及与所述负载调度器连接的目标服务器集群，所述目标服务器集群中包括多个服务器；

所述负载调度器，用于接收客户端发送的任务请求，基于获取的所述目标服务器集群中各服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器，将所述任务请求发送至所述目标服务器，其中，任一服务器的当前硬件性能指标能够反映该服务器中硬件的当前使用情况；

所述目标服务器集群中的所述目标服务器，用于执行所述任务请求。

14.根据权利要求13所述的负载均衡系统，其特征在于，还包括：设置于所述目标服务器集群中各个服务器上的数据采集器；

每个所述数据采集器，用于实时采集其对应的服务器的当前硬件性能指标；

所述负载调度器，具体用于基于各个所述数据采集器采集的各个服务器的当前硬件性能指标，确定执行所述任务请求的目标服务器。