CN103297511B - 高度动态环境下的客户端/服务器的调度方法和系统 - Google Patents

Abstract

本发明提供了一种高度动态环境下的客户端/服务器的调度方法，该方法包括以下步骤：基于服务形式，将服务器分成多个逻辑组；基于socket，为每个客户端连接一个逻辑组；根据所述服务器是否同质，确定相应的客户端/服务器调整策略。相应地，还提供了一种客户端/服务器的调度系统。本发明提供的调度方法和系统可以有效地解决高动态环境下集群系统的负载均衡问题。

Description

高度动态环境下的客户端/服务器的调度方法和系统

技术领域

本发明涉及互联网的集群调度技术，尤其涉及一种高度动态环境下的客户端/服务器的调度方法和系统。

背景技术

随着网络应用的不断丰富，客户端请求的数量不断增长，当前越来越多地采用集群的思想来提升服务器的负载能力。所谓集群的思想，指的是从体系结构入手，将过去单一的服务器结构扩充为集群式服务器结构，使用多台服务器组成集群系统提供服务，通过一定机制使他们共同分担系统负载，可以显著提高服务器的总体性能。对用户而言，整个集群系统就是一个逻辑服务器，其将用户请求按照负载均衡策略分发到集群中的某台服务器上，通过服务器间的协同工作处理用户的请求，从而可以提供较强的可扩展性、较好地吞吐性能和高可靠性。

虽然现有的集群系统在相对稳定的服务器环境中可以较好地解决服务性能的问题，但是在高度动态的服务器环境下，其在负载均衡方面会出现问题。这是因为现有的分布式任务调度系统都是针对固定集群（即数量固定）的服务器均衡各台服务器负载的，无法有效应对高动态的集群服务器均衡。

因此，希望可以提出一种用于解决上述问题的高度动态环境下的客户端/服务器的调度方法和系统。

发明内容

本发明的目的是提供一种高度动态环境下的客户端/服务器的调度方法和系统，可以较好地满足资源的动态调度。

根据本发明的一个方面，提供了一种高度动态环境下的客户端/服务器的调度方法，该方法包括以下步骤：

基于服务形式，将服务器分成多个逻辑组；

基于socket，为每个客户端连接一个逻辑组；

根据所述服务器是否同质，确定相应的客户端/服务器调整策略。

根据本发明的另一个方面，还提供了一种高度动态环境下的客户端/服务器的调度系统，包括：

服务器分组模块，基于服务形式，将服务器分成多个逻辑组；

网络连接模块，基于socket，为每个客户端连接一个逻辑组；

服务调度装置，用于根据所述服务器是否同质，确定相应的客户端/服务器调整策略。

与现有技术相比，本发明具有以下优点：

1)不同于hadoop调度在相对稳定的机器且计算资源数量相对固定的环境上进行，本发明提供的调度方法及系统可以在高度动态的集群机器环境下进行自动调度，其中，高度动态的集群机器环境包括运行节点随时停止任务、计算资源的数量不断变化等；

2)本发明采用更宏观的任务和资源级别的负载均衡，根据任务执行的过程中的不同阶段对资源需求的变化调度相应的资源。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为根据本发明一个优选实施例的一种高度动态环境下的客户端/服务器的调度方法流程图；

图2为根据本发明的一个优选实施例客户端与对应逻辑组中的服务器建立连接的示意图；

图3（a）是现有技术中数据处理过程中出现的长尾效应示意图；

图3（b）是根据本发明的客户端/服务器的调度方法进行数据处理的长尾阶段示意图；

图4是根据本发明另一个优选实施例的一种高度动态环境下的客户端/服务器的调度系统的示意性框图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

根据本发明的一个方面，提供了一种高度动态环境下的客户端/服务器的调度方法。请参考图1，图1为根据本发明一个优选实施例的一种高度动态环境下的客户端/服务器的调度方法，如图1所示，本发明提供的方法包括以下步骤：

步骤S101，基于服务形式，将服务器分成多个逻辑组。

具体地，将所有服务器（Servers）分成多个逻辑组（Group），其中，每个逻辑组是提供计算服务的最小单元。在本实施例中，对于将服务器划分为逻辑组的标准在此不予限定，根据各服务器的实际处理能力而定。划分后，所有服务器不再单独接收客户端的请求，而是以逻辑组的整体形式为客户端提供服务。

步骤S102，基于socket，为每个客户端连接一个逻辑组。

具体地，将服务器分成逻辑组后，为每个客户端基于socket连接一个逻辑组，需要说明的是，此处的客户端与逻辑组建立连接是指客户端与逻辑组中的所有服务器建立socket连接。在本实施例中，客户端的任意一个计算任务，都可以由一个逻辑组中的服务器来计算完成，不需要进行跨组交互，即所述客户端的任意一个计算任务最多由一个逻辑组中的服务器计算完成。请参考图2，图2为根据本发明的一个优选实施例客户端与对应逻辑组中的服务器建立连接的示意图。如图2所示，图中有四个客户端分别与Group1、Group2、Group3这三个逻辑组建立连接，其中，Group1中有三台服务器，Group2中有两台服务器，Group3中有四台服务器，有两台客户端同时连接到了Group3。

在本实施例中，假定所有逻辑组都是等价的，则所有客户端只需要和任意一个逻辑组建立连接即可正常工作。其中，所述等价，指的是每个逻辑组在功能上都是相同的且各自都是完备的。由此，本实施例提供的分组连接方式不会造成多个客户端同时连接一个服务器，从而避免服务器承受压力过大而造成对服务器的DDoS攻击，而且，当某个客户端中的异常计算任务导致部分服务器出现故障时，最多只可能导致一个逻辑组不能提供正常服务，而不会造成全局服务的终止。

步骤S103，根据所述服务器是否同质，确定相应的客户端/服务器调整策略。

具体地，由于服务器处理的数据往往是不均匀的，实际中存在很大的“长尾”。其中，所述的长尾是指这样一种情况：由于互联网数据分布不均，相应地，计算任务分布不均，导致少数或极少数的客户端负责的任务量非常大，由此处理的时间比平均处理时间延长很多。

由于长尾的存在，只有根据实际需求实时动态调整所需的服务器数量，才不会在长尾阶段造成严重的计算资源浪费，也不会在数据处理高峰时期造成计算资源的不足。例如，假设将所有任务分成10000个子任务，其中，每个客户端负责管理一个子任务，也就是，每个客户端负责将一个子任务分配给相应的服务器进行计算，并接收服务器返回的计算结果。经过一段计算时间后，绝大部分子任务已完成，只剩下少数几个子任务，这时已不需要大量的服务器进行计算，即需要减少所运行的服务器数量，避免造成严重的计算资源浪费。

为了更好地确定客户端/服务器调整策略，在本实施例中，假定提供的服务器本身是高度动态的，除其本身有可能存在故障外，还存在随时被抽走的可能性，例如运行A任务的服务器被优先级更高的B任务所抢占，又如服务器上已经运行了A、B、C任务，在继续运行D任务的情况下会超过其计算能力的阈值，则该服务器主动拒绝D任务的运行。实践中，可调度的服务器可以是同质的（数据处理能力相同），也可以是不同质的（数据处理能力存在较大差异）。

由于实践中绝大多数应用客户端施加的压力基本都是相同的，因此，为了便于计算，在确定相应的客户端/服务器调整策略前，假定每台客户端向服务器施加压力的能力是一样的或可视为一样的，且在服务器上运行任务的过程中保持压力恒定。下文将根据服务器处理能力相同和不同的情况分别确定不同的调整策略。

就服务器处理能力相同的情况而言，具体服务器节点分配策略如下：

第一，计算服务器数量（total_serv_num）与客户端数量（total_cli_num）的比值（ε），计算公式如下：

$\mathrm{\ϵ}=\frac{\mathrm{total}\_\mathrm{serv}\_\mathrm{num}}{\mathrm{total}\_\mathrm{cli}\_\mathrm{num}}$

第二，计算每个逻辑组中需分配的服务器数量（grp_serv_num_i），计算公式如下：

grp_serv_num_i=ε×grp_cli_num_i

其中，下标i表示各逻辑组的编号，对应地，将客户端也按照逻辑组的数量划分为相同数量的组，grp_cli_num_i表示第i组里客户端的数量。

第三，按照以下公式计算各逻辑组中实际分配的服务器数量：

min{grp_serv_max,max{grp_serv_min_i,grp_serv_num_i}}

其中，grp_serv_min_i表示第i组中最低要求的服务器数量，也就是，在i组中至少需要grp_serv_min_i个服务器才能正常提供服务，一般情况下可设grp_serv_min_i的数值为1；

grp_serv_max表示每个逻辑组可以容纳的服务器数量上限，通过规定上限，可以确保每个逻辑组的服务器数量不会过多而导致出现客户端连接数（socket句柄）超限等问题。

通过上述分配策略，可以较好地满足各客户端的计算需求。

就服务器不是同质的情况而言，即服务器处理能力存在较大的差异，由于每个逻辑组的平均负载不同，需要在上述分配策略的基础上进行微调。其中，所述平均负载指的是每个组的平均cpu使用率。具体微调的步骤如下：

第一，按逻辑组收集服务器的平均负载数据，确定处理能力强的逻辑组和处理能力弱的逻辑组；

其中，所谓的“强”、“弱”是相对实际情况中所有逻辑组的处理能力的平均值而言的。

第二，比较任意两个逻辑组的处理能力值，并设定一阈值，当得到的比较值大于该阈值时，则对所述两个逻辑组中的服务器进行调整，例如，从负载相对低的逻辑组中抽选部分服务器加入到负载相对高的逻辑组中。

与现有技术相比，本发明所提供的客户端/服务器的调度方法具有以下优点：有效地消除数据处理过程中的长尾效应，具体可参考图3（a）和图3（b），图3（a）是现有技术中数据处理过程中出现的长尾效应示意图，如图3（a）所示，在03日早晨7点左右，所有服务器的平均负载几乎下降到零，但是服务器的个数仍然保持在3800～2800之间浮动，这一情况持续到03日14点任务结束，持续时间约7个小时，由此说明了在处理数据的长尾时，资源浪费严重；如图3（b）所示，图3（b）是根据本发明的客户端/服务器的调度方法进行数据处理的长尾阶段示意图，如图3（b）所示，在11日3点半左右，所有服务器的负载几乎下降到零，进入长尾阶段，相应地，服务器的数量随节点负载迅速下降，整个过程到11日4点左右结束，持续约30分钟，由该图可见，使用本发明提供的调度方法可以有效降低长尾阶段节点资源的浪费。

根据本发明的另一个方面，还提供了一种高度动态环境下的客户端/服务器的调度系统。请参考图4，图4是根据本发明另一个优选实施例的一种高度动态环境下的客户端/服务器的调度系统的示意性框图，如图3所示，所述系统包括：

服务器分组模块401，基于服务形式，将服务器分成多个逻辑组；

网络连接模块402，基于socket，为每个客户端连接一个逻辑组；

服务调度装置403，用于根据所述服务器是否同质，确定相应的客户端/服务器调整策略。

下面，将对本发明所提供的各模块或装置的工作过程进行具体说明。

其中，所述服务器分组模块401将所有服务器（Servers）分成多个逻辑组（Group），由每个逻辑组整体地为数据计算提供服务。在本实施例中，对于所述服务器分组模块401将服务器划分为逻辑组的标准在此不予限定，根据各服务器的实际处理能力而定。划分后，所有服务器不再单独接收客户端的请求，而是以逻辑组的整体形式为客户端提供服务。

基于所述服务器分组模块401将服务器划分为逻辑组后，由网络连接模块402为每个客户端基于socket连接一个逻辑组，需要说明的是，此处的客户端与逻辑组建立连接是指客户端与逻辑组中的所有服务器建立socket连接。在本实施例中，客户端的任意一个计算任务，都可以由一个逻辑组中的服务器来计算完成，不需要进行跨组交互。同样请参考图2，图2为根据本发明的一个优选实施例客户端与对应逻辑组中的服务器建立连接的示意图。如图2所示，图中有四个客户端分别与Group1、Group2、Group3这三个逻辑组建立连接，其中，Group1中有三台服务器，Group2中有两台服务器，Group3中有四台服务器，有两台客户端同时连接到了Group3。

在本实施例中，假定所有逻辑组都是等价的，则所有客户端只需要和任意一个逻辑组建立连接即可正常工作。其中，所述等价指的是每个逻辑组在功能上都是相同的且各自都是完备的。由此，本实施例提供的分组连接方式不会造成多个客户端同时连接一个服务器，从而避免服务器承受压力过大而造成对服务器的DDoS攻击，而且，当某个客户端中的异常计算任务导致部分服务器出现故障时，最多只可能只会导致部分一个逻辑组不能提供正常服务，而不会造成全局服务的终止。

进一步地，所述服务调度装置403根据不同服务器处理数据能力是否同质，确定相应的客户端/服务器调整策略。实践中，由于服务器处理的数据往往是不均匀的，实际中存在很大的“长尾”，因此，只有根据实际需求实时动态调整所需的服务器数量，才不会在长尾阶段造成严重的计算资源浪费，也不会在数据处理高峰时期造成计算资源的不足。

为了更好地确定客户端/服务器调整策略，在本实施例中，假定提供的服务器本身是高度动态的，除其本身有可能存在故障外，还存在随时被抽走的可能性，例如运行A任务的服务器被优先级更高的B任务所抢占，又如服务器上已经运行了A、B、C任务，在继续运行D任务的情况下会超过其计算能力的阈值，则该服务器主动拒绝D任务的运行。实践中，可调度的服务器可以是同质的，也可以是不同质的（处理能力存在较大差异）。

由于实践中绝大多数应用客户端施加的压力基本都是相同的，因此，为了便于计算，在确定相应的客户端/服务器调整策略前，假定每台客户端向服务器施加压力的能力是一样的或可视为一样的，且在服务器上运行任务的过程中保持压力恒定。

进一步地，所述服务调度装置403包括服务器分配模块4031和服务器分配微调模块4032。其中，所述服务器分配模块4031针对服务器处理能力相同的情况确定服务器的分配策略；所述服务器分配微调模块4032，针对服务器处理能力不同的情况，微调所述服务器分配模块4031确定的分配策略。下文将根据服务器处理能力相同和不同的情况分别确定不同的调整策略。

就服务器处理能力相同的情况而言，所述服务器分配模块4031所采用的服务器节点分配策略如下：

第一，计算服务器数量（total_serv_num）与客户端数量（total_cli_num）的比值（ε），计算公式如下：

$\mathrm{\ϵ}=\frac{\mathrm{total}\_\mathrm{serv}\_\mathrm{num}}{\mathrm{total}\_\mathrm{cli}\_\mathrm{num}}$

第二，计算每个逻辑组中需分配的服务器数量（grp_serv_num_i），计算公式如下：

其中，下标i表示各逻辑组的编号，对应地，将客户端也按照逻辑组的数量划分为相同数量的组，grp_cli_num_i表示第i组里客户端的数量。

第三，按照以下公式计算各逻辑组中实际分配的服务器数量：

min{grp_serv_max,max{grp_serv_min_i,grp_serv_num_i}}

其中，grp_serv_min_i表示第i组中最低要求的服务器数量，也就是，在i组中至少需要grp_serv_min_i个服务器才能正常提供服务，一般情况下可设grp_serv_min_i的数值为1；

grp_serv_max表示每个逻辑组可以容纳的服务器数量上限，通过规定上限，可以确保每个逻辑组的服务器数量不会过多而导致出现客户端连接数（socket句柄）超限等问题。

通过上述分配策略，可以较好地满足各客户端的计算需求。

就服务器不是同质的而言，即服务器处理能力存在较大的差异，由于每个逻辑组的平均负载不同，由服务器分配微调模块4032在上述分配策略的基础上进行微调，具体微调的步骤如下：

第一，按逻辑组收集服务器的平均负载，确定处理能力强的逻辑组和处理能力弱的逻辑组;

第二，比较任意两个逻辑组的处理能力，并设定一阈值，当得到的比较值大于该阈值时，则对所述两个逻辑组中的服务器进行调整，例如，从负载相对低的逻辑组中抽选部分服务器加入到负载相对高的逻辑组中。

与现有技术相比，本发明所提供的客户端/服务器的调度系统具有以下优点：有效地消除数据处理过程中的长尾效应，具体可参考图3（a）和图3（b），图3（a）是现有技术中数据处理过程中出现的长尾效应示意图，如图3（a）所示，在03日早晨7点左右，所有服务器的平均负载几乎下降到零，但是服务器的个数仍然保持在3800～2800之间浮动，这一情况持续到03日14点任务结束，持续时间约7个小时，由此说明了在处理数据的长尾时，资源浪费严重；如图3（b）所示，图3（b）是根据本发明的客户端/服务器的调度方法进行数据处理的长尾阶段示意图，如图3（b）所示，在11日3点半左右，所有服务器的负载几乎下降到零，进入长尾阶段，相应地，服务器的数量随节点负载迅速下降，整个过程到11日4点左右结束，持续约30分钟，由该图可见，使用本发明提供的调度方法可以有效降低长尾阶段节点资源的浪费。

本发明所提供的高度动态环境下的客户端/服务器的调度系统具有以下优点：本调度系统主要应用于动态集群的（多个固定集群组成的一个大的逻辑集群、服务器数量随时都在变化、服务器机型也各不相同）情况，除了在任务已获得的服务器中进行负载均衡外，还充分利用集群机器的动态性、跟进任务实际需求动态增减任务所需的机器数量，提高利用率。

以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种高度动态环境下的客户端/服务器的调度方法，该方法包括以下步骤：

基于服务形式，将服务器分成多个逻辑组；

基于socket，为每个客户端连接一个逻辑组；

根据所述服务器是否同质，确定相应的客户端/服务器调整策略，其中，所述服务器是否同质指所述服务器的数据处理能力是否相同，所述服务器同质，所确定的客户端/服务器调整策略包括：

计算服务器数量与客户端数量的比值；

计算每个逻辑组中需分配的服务器数量；

综合上述步骤及所述逻辑组提供正常服务所需求的服务器数量，确定每个逻辑组中实际分配的服务器数量。

2.根据权利要求1所述的调度方法，其中，所述多个逻辑组是等价的，其中，所述多个逻辑组等价指每个逻辑组在功能上都是相同的且各自都是完备的。

3.根据权利要求1或2所述的调度方法，其中，所述客户端的任意一个计算任务最多由一个逻辑组中的服务器计算完成。

4.根据权利要求1或2所述的调度方法，其中，所述服务器不同质，所确定的客户端/服务器调整策略包括：

计算服务器数量与客户端数量的比值；

计算每个逻辑组中需分配的服务器数量；

综合上述步骤及所述逻辑组提供正常服务所需求的服务器数量，初步确定每个逻辑组中实际分配的服务器数量；

按逻辑组收集服务器的平均负载数据，确定各逻辑组的处理能力；

两两比较各逻辑组的处理能力值，并设定一阈值，当所述比较值大于该阈值，则对所述初步确定的每个逻辑组中实际分配的服务器数量进行调整。

5.一种高度动态环境下的客户端/服务器的调度系统，包括：

服务器分组模块，基于服务形式，将服务器分成多个逻辑组；

网络连接模块，基于socket，为每个客户端连接一个逻辑组；

服务调度装置，用于根据所述服务器是否同质，确定相应的客户端/服务器调整策略，其中，所述服务器是否同质指所述服务器的数据处理能力是否相同，所述服务调度装置还包括服务器分配模块和服务器分配微调模块，所述服务器同质，所述服务器分配模块确定的客户端/服务器调整策略包括：

计算服务器数量与客户端数量的比值；

计算每个逻辑组中需分配的服务器数量；

综合上述步骤及所述逻辑组提供正常服务所需求的服务器数量，确定每个逻辑组中实际分配的服务器数量。

6.根据权利要求5所述的调度系统，其中，所述多个逻辑组是等价的，其中，所述多个逻辑组等价指每个逻辑组在功能上都是相同的且各自都是完备的。

7.根据权利要求5或6所述的调度系统，其中，所述客户端的任意一个计算任务最多由一个逻辑组中的服务器计算完成。

8.根据权利要求5所述的调度系统，其中，所述服务器不同质，所述服务器分配微调模块对所述服务器分配模块确定的客户端/服务器调整策略进行调整，具体包括：

按逻辑组收集服务器的平均负载数据，确定各逻辑组的处理能力；

两两比较各逻辑组的处理能力值，并设定一阈值，当所述比较值大于该阈值，则对所述服务器分配模块所分配到相应逻辑组中的服务器数量进行调整。