CN103516807A - 一种云计算平台服务器负载均衡系统及方法 - Google Patents

Abstract

本发明公开了一种云计算平台服务器负载均衡系统及方法，克服目前静态负载均衡技术不能根据负载的实时状况动态调整的不足以及动态负载均衡技术需要额外占用系统资源的不足，云计算平台在该方法中执行如下处理：收到服务请求时，根据最近一个预设单位时间内所述集群中每台服务器已处理及正处理的请求数及产生的日志数，选择一台目标服务器；将所述服务请求转发给所述目标服务器进行处理。本申请的实施例有效提高了负载的均衡性。

Description

一种云计算平台服务器负载均衡系统及方法

技术领域

本发明涉及负载均衡处理技术，尤其涉及一种云计算平台服务器负载均衡系统及方法。

背景技术

高效、准确的负载均衡调度技术是云计算及大型应用系统等实际运营的基础。负载均衡可以使云计算平台能稳定、高效地运行，满足高并发请求，在云计算及大型应用系统中扮演着重要角色。在云计算领域，所谓负载均衡，主要是指能够均衡、合理地将短时间内大量到达的客户端请求分配给后台各服务器之上。

目前，云计算领域的负载均衡技术大致可分为二大类，即静态负载均衡技术和动态负载均衡技术。

静态负载均衡技术采用的是预先设定策略来执行用户请求分配的一种负载均衡技术。这种技术的特点是实现简单，但在分配策略中，不考虑后台具体服务器的实时负载状况，所以对于负载变化范围较小的系统均衡效果较好。但在应用负载变化范围较大情况下，静态负载技术的均衡效果并不是很理想。

动态负载均衡技术可以根据分析及反馈系统中各服务器的实时运行情况，把客户端请求均匀分配给各具体服务器。动态负载均衡技术需要周期性、不间断地收集并分析各服务器的实时负载，需占用额外的系统资源。

对于负载均衡，目前还没有适用于所有情况的通用解决方案，需要根据系统的实际部署情况具体配置。

负载均衡可以通过硬件实现，也可以通过软件实现。采用硬件实现的优点是性能高，有专业技术团队进行服务维护，缺点是费用高，对于一般的网络服务性价比不高。采用软件实现的优点是成本小。

不管是硬件实现还是软件实现，负载均衡的核心部分之一是调度算法，即根据服务器的负载情况，将任务均衡调度到各个服务器，因此调度算法的好坏对负载均衡性能的影响很大。

目前调度算法有如下几类：（一）简单轮询，这个是负载均衡中最基本的调度算法；（二）根据权重进行调度；（三）根据连接数调度，最少连接者先处理；（四）根据请求源IP地址进行调度。可以和hash算法结合，提高调度的均衡性；（五）根据请求的URI进行调度；（六）根据请求的URI参数进行调度；（七）根据HTTP请求头进行调度；（八）根据cookie进行调度，可以和hash算法结合，提高调度的均衡性。

这些算法的特点是根据客户端的服务请求进行调度，基本上属于静态调度，没有根据服务器的运行情况对算法进行动态调整。动态负载均衡技术，由于会消耗服务器资源，需要根据特定应用选用。

发明内容

本发明所要解决的技术问题是克服目前静态负载均衡技术不能根据负载的实时状况动态调整的不足以及动态负载均衡技术需要额外占用系统资源的不足。

为了解决上述技术问题，本申请的实施例首先提供了一种云计算平台服务器负载均衡方法，用于对云计算平台服务器集群中的各服务器的负载进行均衡处理，所述云计算平台在该方法中执行如下处理：

收到服务请求时，根据最近一个预设单位时间内所述集群中每台服务器已处理及正处理的请求数及产生的日志数，选择一台目标服务器；

将所述服务请求转发给所述目标服务器进行处理。

优选地，根据最近一个预设单位时间内所述集群中每台服务器已处理及正处理的请求数及产生的日志数，选择一台目标服务器，包括：

判断最近一个预设单位时间内是否有服务器已处理及正处理的请求数为零，是则从已处理及正处理的请求数为零的服务器中选择一台服务器作为所述目标服务器，否则根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，确定所述目标服务器。

优选地，根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，确定所述目标服务器，包括：

若所述集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值相等，则随机选择一台服务器作为所述目标服务器；否则选择所述比值从大到小排列时第二位所对应的服务器作为所述目标服务器。

优选地，该方法包括：

将所述目标服务器已处理及正处理的请求数加一。

优选地，该方法包括：

根据一日志配置文件及所述目标服务器处理所述服务请求的状态信息生成日志数据；

对所述日志数据进行过滤；

根据过滤后保留的日志数据将所述目标服务器产生的日志数加一。

本申请的实施例还提供了一种云计算平台服务器负载均衡系统，用于对云计算平台服务器集群中的各服务器的负载进行均衡处理，该系统包括：

负载均衡器，设置为接收服务请求，并将所述服务请求转发给一目标服务器进行处理；

调度控制器，设置为根据最近一个预设单位时间内所述集群中每台服务器已处理及正处理的请求数及产生的日志数，选择所述目标服务器。

优选地，该调度控制器包括：

判断模块，设置为判断最近一个预设单位时间内是否有服务器已处理及正处理的请求数为零；

选择模块，设置为所述判断模块判断出最近一个预设单位时间内有服务器已处理及正处理的请求数为零时，从已处理及正处理的请求数为零的服务器中选择一台服务器作为所述目标服务器；否则根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，确定所述目标服务器。

优选地，该选择模块包括：

判断子模块，设置为判断所述集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值是否相等；

选择子模块，设置为所述判断子模块判断出所述集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值相等时，随机选择一台服务器作为所述目标服务器；否则选择所述比值从大到小排列时第二位所对应的服务器作为所述目标服务器。

优选地，所述负载均衡器设置为将所述目标服务器已处理及正处理的请求数加一。

优选地，该系统包括：

日志生成器，设置为根据一日志配置文件及所述目标服务器处理所述服务请求的状态信息生成日志数据；

日志过滤器，设置为对所述日志数据进行过滤；

日志转换器，设置为根据过滤后保留的日志数据将所述目标服务器产生的日志数加一。

与现有技术相比，本发明利用了应用系统中已有的日志框架，不会额外占用服务器资源，且能动态地将服务器的运行信息进行反馈，有效提高了负载的均衡性。本申请的实施例不需要在系统中植入新的执行代码，因此不会增加应用系统的复杂度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请实施例的云计算平台服务器负载均衡方法的流程示意图。

图2为本申请实施例的云计算平台服务器负载均衡系统的构造示意图。

图3为本申请实施例的云计算平台服务器负载均衡系统中调度控制器的构造示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征在不相冲突前提下的相互结合，均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例的云计算平台服务器负载均衡方法，主要用于对云计算平台服务器集群中的各服务器的负载进行均衡处理。如图1所示，本申请实施例的云计算平台服务器负载均衡方法，主要包括如下内容。

步骤S110，云计算平台收到服务请求时，根据调度历史信息选择一台目标服务器。其中的调度历史信息，包括最近一个预设单位时间内每台服务器被分配的请求数以及产生的日志数。其中最近一个预设单位时间内一台服务器被分配的请求数，包括该预设单位时间内该台服务器已经处理的请求数及正处理的请求数。在最近一个预设单位时间内每台服务器所产生的日志数的多少，表示了在该预设单位时间内每台服务器负载强度。在该预设单位时间内产生的日志数多，表明在该预设单位时间内服务器负载较重；在该预设单位时间内产生的日志较少，表明在该预设单位时间内服务器负载较轻。本申请的实施例，通过设置在云计算平台中的一个负载均衡器来接收该服务请求。

步骤S120，云计算平台将该服务请求转发给该目标服务器进行处理。对该目标服务器处理该服务请求进行记录，以用于对下一条服务请求进行调度。

上述对该目标服务器处理该服务请求进行记录和更新，具体可以包括：

（1）将目标服务器已处理及正处理的请求数加一；

（2）根据一日志文件及目标服务器处理服务请求的状态信息生成日志数据，对日志数据进行过滤，并根据过滤后得到保留的日志数据将目标服务器产生的日志数加一。

本申请实施例的云计算平台服务器负载均衡处理在初始化时，需要设定服务器上哪些模块产生的日志需要进行一定的处理，并设定日志级别、日志推送目标以及预设时间单位T等。然后将集群中各服务器的请求处理初始值置为0，存入一调度信息库中。

本申请的实施例中，在有一个新的服务请求到来时，云计算平台中的一调度控制器根据调度信息库存储的一负载均衡器的调度历史信息、日志转换器的输出信息等数据，从服务器集群中选择一台目标服务器，指示负载均衡器将该服务请求转发给该目标服务器。其中日志转换器的输出信息表示了该新的服务请求之前的一条服务请求是调度到哪台服务器进行处理的信息。

本申请的实施例中，根据最近一个预设单位时间内集群中每台服务器已处理及正处理的请求数及产生的日志数选择一台目标服务器，可以包括：

判断最近一个预设单位时间内是否有服务器已处理及正处理的请求数为零，是则从已处理及正处理的请求数为零的服务器中选择一台服务器作为目标服务器，否则根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，来确定目标服务器。其中，服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，表征了服务器的动态负载水平。该比值越大，表明该服务器负载越重。

最近一个预设单位时间内有服务器已处理及正处理的请求数为零，说明最近一个预设单位时间内，集群中有服务器处理空闲状态，将新收到的服务请求分配给这样的服务器，可以充分调动整个集群中的服务器，避免部分服务器承担较多的服务请求而部分服务器完全空闲的情形出现，因而实时且有效地优化了服务请求的调度。

如果集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值相等，说明此时集群中每台服务器的空闲程度均相等，则可以随机选择一台服务器作为目标服务器；否则从预设单位时间内产生的日志数与已处理及正处理的请求数的比值较小的服务器中选择一台服务器作为目标服务器，比如选择预设单位时间内产生的日志数与已处理及正处理的请求数的比值最小的服务器作为目标服务器。本申请的实施例中，是选择预设单位时间内产生的日志数与已处理及正处理的请求数的比值从大到小排列时排第二位的比值（可以称其为第二极大值）所对应的服务器作为目标服务器，可以在保证负载均衡前提下，尽可能提高云平台上服务器动态伸缩能力，提高资源利用率，保证在部分服务器空闲情况下还可以进行回收。如果排第二位的比值对应有多台服务器，则从中任选一台作为目标服务器即可。

目标服务器处理该服务请求。目标服务器在处理该服务请求时或者之后，调用一日志生成器，将处理该服务请求时的状态信息传给日志生成器。日志生成器根据该状态信息、一日志适配器以及日志配置文件等生成日志数据。一日志过滤器按预设的过滤条件对日志生成器所生成的日志数据进行过滤，过滤后的日志数据由一日志转换器提取其中的时间、服务器来源等信息，转换为适用于调度信息库进行存储的统一格式，并输出到调度信息库进行存储。对日志数据进行过滤，保留可以对后续服务请求调度提供参考的日志数据，滤除对后续服务请求调度不具有指导意义的日志数据。日志数据经过过滤和转换，可以减少数据存储量，提高存储效率。

过滤后的日志数据，由日志转换器提取其中的时间、服务器来源等信息，然后写入调度信息库。调度信息库中的请求数加1这个操作，是由服务请求调度控制器调度请求后，写入调度信息库。

本申请的实施例，适用于Log4j、SLF4J、Logback、Java Logging APIs等日志系统。

本申请的实施例属于非侵入式设计方案，采用“推（push）”数据的方式，基于日志系统的日志输出功能，将日志数据作为服务器运行性能的统计源，以及分发后续请求的调度反馈，没有额外占用服务器资源，提高了负载均衡的实时性以及准确性，保证了集群整体的处理效率。

如图2所示，本申请实施例的云计算平台服务器负载均衡系统主要包括负载均衡器以及调度控制器220等。

负载均衡器210，与调度控制器220相连，设置为接收外部的服务请求，并根据调度控制器220对该服务请求的调度，将该服务请求转发到集群中的目标服务器上。

调度控制器220，设置为根据最近一个预设单位时间内，服务器集群中每台服务器已处理及正处理的请求数及产生的日志数，从中选择一台目标服务器，以便负载均衡器210对该服务请求进行调度。

如图3所示，本申请实施例的云计算平台服务器负载均衡系统中，该调度控制器220可以包括判断模块221以及选择模块222，其中：

判断模块221，设置为判断最近一个预设单位时间内是否有服务器已处理及正处理的请求数为零。

选择模块222，与判断模块221相连，设置为判断模块221判断出最近一个预设单位时间内有服务器已处理及正处理的请求数为零时，从已处理及正处理的请求数为零的服务器中选择一台服务器作为目标服务器；否则根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，确定目标服务器。

如图3所示，上述选择模块222可以包括判断子模块222a及选择子模块222b，其中：

判断子模块222a，与判断模块221相连，设置为在预设单位时间内服务器被分配的请求数不为零时，判断集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值是否相等。其中，在预设单位时间内服务器被分配的请求数，包括该预设单位时间内服务器已处理的请求数及正处理的请求数。

选择子模块222b，与判断子模块222a相连，设置为判断子模块222a判断出集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值相等时，随机选择一台服务器作为目标服务器；否则选择第二极大值对应的服务器作为目标服务器。

本申请实施例的云计算平台服务器负载均衡系统中，负载均衡器210设置为将目标服务器已处理及正处理的请求数加一。

如图2所示，本申请实施例的云计算平台服务器负载均衡系统，还可以包括一日志生成器230及一日志适配器240。其中，该日志生成器230设置为根据该目标服务器处理该服务请求时的状态信息、日志适配器240以及日志配置文件等生成日志数据。该日志适配器240设置指定日志生成器230所生成的日志数据的输出介质。

本申请实施例的云计算平台服务器负载均衡系统，还可以包括一日志过滤器250，其设置为按预设的过滤条件对日志生成器230所生成的日志数据进行过滤，保留可以对后续服务请求调度提供参考的日志数据，滤除对后续服务请求调度不具有指导意义的日志数据。

本申请实施例的云计算平台服务器负载均衡系统，还可以包括一日志转换器260，其设置为将日志过滤器250过滤后的日志数据换为适用于进行存储的统一格式，并根据过滤后保留的日志数据将目标服务器产生的日志数加一。

本申请实施例的云计算平台服务器负载均衡系统，还可以包括一调度信息库270，其设置为存储负载均衡器210的调度历史信息，及日志转换器260的输出信息，供调度控制器220在进行负载均衡调度时使用。

本申请实施例的云计算平台服务器负载均衡系统，日志转换器260从日志过滤器250过滤后的日志数据提取出时间、服务器来源等信息，转换为适用于调度信息库270进行存储的统一格式，并输出到调度信息库270进行存储。

本申请的实施例中，日志配置文件主要用于存在多个日志适配器240时，指定使用哪个日志适配器240，同时指定日志输出级别、格式、日志适配器240中的相关参数值等。

本申请的实施例中，配置管理器280主要是用于对事先不能确定或变化频繁的参数进行管理，可以将这些事先不能确定或变化频繁的参数存储日志配置文件中，由配置管理器280统一进行管理。这样可以在系统正式运行后易于修改，也可以降低系统各个模块的耦合度。比如，配置管理器280可以设定日志输出的级别（日志共分为DEBUG，INFO，WARN，ERROR，FATAL等5个级别），及日志数据的推送目标等。

本领域的技术人员应该明白，上述的本申请实施例所提供的系统的各组成部分，以及方法中的各步骤，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上。可选地，它们可以用计算装置可执行的程序代码来实现。从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种云计算平台服务器负载均衡方法，用于对云计算平台服务器集群中的各服务器的负载进行均衡处理，所述云计算平台在该方法中执行如下处理：

收到服务请求时，根据最近一个预设单位时间内所述集群中每台服务器已处理及正处理的请求数及产生的日志数，选择一台目标服务器；

将所述服务请求转发给所述目标服务器进行处理。

2.根据权利要求1所述的方法，其中，根据最近一个预设单位时间内所述集群中每台服务器已处理及正处理的请求数及产生的日志数，选择一台目标服务器，包括：

判断最近一个预设单位时间内是否有服务器已处理及正处理的请求数为零，是则从已处理及正处理的请求数为零的服务器中选择一台服务器作为所述目标服务器，否则根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，确定所述目标服务器。

3.根据权利要求2所述的方法，其中，根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，确定所述目标服务器，包括：

若所述集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值相等，则随机选择一台服务器作为所述目标服务器；否则选择所述比值从大到小排列时第二位所对应的服务器作为所述目标服务器。

4.根据权利要求1所述的方法，其中，该方法包括：

将所述目标服务器已处理及正处理的请求数加一。

5.根据权利要求1所述的方法，其中，该方法包括：

根据一日志配置文件及所述目标服务器处理所述服务请求的状态信息生成日志数据；

对所述日志数据进行过滤；

根据过滤后保留的日志数据将所述目标服务器产生的日志数加一。

6.一种云计算平台服务器负载均衡系统，用于对云计算平台服务器集群中的各服务器的负载进行均衡处理，该系统包括：

负载均衡器，设置为接收服务请求，并将所述服务请求转发给一目标服务器进行处理；

调度控制器，设置为根据最近一个预设单位时间内所述集群中每台服务器已处理及正处理的请求数及产生的日志数，选择所述目标服务器。

7.根据权利要求6所述的系统，其中，该调度控制器包括：

判断模块，设置为判断最近一个预设单位时间内是否有服务器已处理及正处理的请求数为零；

选择模块，设置为所述判断模块判断出最近一个预设单位时间内有服务器已处理及正处理的请求数为零时，从已处理及正处理的请求数为零的服务器中选择一台服务器作为所述目标服务器；否则根据每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值，确定所述目标服务器。

8.根据权利要求7所述的系统，其中，该选择模块包括：

判断子模块，设置为判断所述集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值是否相等；

选择子模块，设置为所述判断子模块判断出所述集群中每台服务器在该预设单位时间内产生的日志数与已处理及正处理的请求数的比值相等时，随机选择一台服务器作为所述目标服务器；否则选择所述比值从大到小排列时第二位所对应的服务器作为所述目标服务器。

9.根据权利要求6所述的系统，其中：

所述负载均衡器设置为将所述目标服务器已处理及正处理的请求数加一。

10.根据权利要求6所述的系统，其中，该系统包括：

日志生成器，设置为根据一日志配置文件及所述目标服务器处理所述服务请求的状态信息生成日志数据；

日志过滤器，设置为对所述日志数据进行过滤；

日志转换器，设置为根据过滤后保留的日志数据将所述目标服务器产生的日志数加一。

Images