CN114466020A - 服务请求的处理方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请实施例公开了一种服务请求的处理方法、装置、设备、存储介质及程序产品，属于互联网技术领域。所述方法包括：接收各个服务实例上报的实时负载参数；基于实时负载参数，确定各个服务实例的服务实例负载以及各个集群的集群负载；在接收到目标服务请求的情况下，基于集群负载从各个集群中筛选得到目标集群；基于候选服务实例的服务实例负载，从候选服务实例中筛选得到目标服务实例，候选服务实例是指目标集群内的服务实例，目标服务实例用于处理目标服务请求。本申请实施例提供的方法，可避免将目标服务请求分配至负载较高的集群以及负载较高的服务实例中，有助于提高对目标服务请求的处理性能，确保提供服务的服务质量。

Description

服务请求的处理方法、装置、设备、存储介质及程序产品

技术领域

本申请实施例涉及互联网技术领域，特别涉及一种服务请求的处理方法、装置、设备、存储介质及程序产品。

背景技术

随着互联网技术的发展，单服务器集群模式已无法满足服务需求。目前，多通过多集群方式提供服务，在通过多集群方式提供服务的情况下，需考虑负载均衡，即将服务均衡分配在集群的服务器上。

现有技术中，首先确定处理服务请求的集群，之后，在集群内通过负载均衡方法确定提供服务的服务器。

然而，在分配服务请求过程中，存在集群整体负载较高，资源较为紧张的情况，采用相关技术中方案，可能存在将服务请求分配至负载较高的集群中，对服务质量产生影响。

发明内容

本申请实施例提供了一种服务请求的处理方法、装置、设备、存储介质及程序产品。所述技术方案如下：

一方面，本申请实施例提供了一种服务请求的处理方法，所述方法用于负载均衡服务器，所述负载均衡服务器与至少一个集群相连，各个所述集群中设置有多个服务器，且各个所述服务器中包含多个服务实例；

所述方法包括：

接收各个所述服务实例上报的实时负载参数；

基于所述实时负载参数，确定各个所述服务实例的服务实例负载以及各个所述集群的集群负载；

在接收到目标服务请求的情况下，基于所述集群负载从各个所述集群中筛选得到目标集群；

基于候选服务实例的服务实例负载，从所述候选服务实例中筛选得到目标服务实例，所述候选服务实例是指所述目标集群内的服务实例，所述目标服务实例用于处理所述目标服务请求。

另一方面，本申请实施例提供了一种服务请求的处理装置，所述装置用于负载均衡服务器，所述负载均衡服务器与至少一个集群相连，各个所述集群中设置有多个服务器，且各个所述服务器中包含多个服务实例；

所述装置包括：

参数接收模块，用于接收各个所述服务实例上报的实时负载参数；

负载确定模块，用于基于所述实时负载参数，确定各个所述服务实例的服务实例负载以及各个所述集群的集群负载；

集群筛选模块，用于在接收到目标服务请求的情况下，基于所述集群负载从各个所述集群中筛选得到目标集群；

服务实例筛选模块，用于基于候选服务实例的服务实例负载，从所述候选服务实例中筛选得到目标服务实例，所述候选服务实例是指所述目标集群内的服务实例，所述目标服务实例用于处理所述目标服务请求。

另一方面，本申请实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的服务请求的处理方法。

另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的服务请求的处理方法。

另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的服务请求的处理方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例中，在多集群场景下，各个集群中的各个服务实例会上报实时负载参数至负载均衡服务器中，负载均衡服务器会根据实时负载参数确定各个服务实例的服务实例负载以及各个集群的集群负载，在接收到目标服务请求时，首先根据集群负载选取得到目标集群，避免将目标服务请求分配至负载较高的集群中，影响服务质量，且还可利用目标集群中服务实例的服务实例负载选取得到目标服务实例，从而通过目标服务实例处理目标服务请求，避免将目标服务实例分配至负载较高的服务实例中，有助于提高对目标服务请求的处理性能，确保提供服务的服务质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一个示例性实施例提供的实施环境的示意图；

图2示出了本申请一个示例性实施例提供的服务请求的处理方法的流程图；

图3示出了本申请一个示例性实施例集群与负载均衡服务器之间的交互示意图；

图4示出了本申请另一个示例性实施例提供的服务请求的处理方法的流程图；

图5示出了本申请另一个示例性实施例提供的服务请求的处理方法的流程图；

图6示出了本申请一个实施例提供的服务请求的处理装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中可以包括：集群101和负载均衡服务器102。

集群101是指共享相同网络条件的多个服务器组成的服务器集群。本申请实施例提供的方法应用于多集群场景下，即包含有多个集群。且每个集群中设置有多个服务器，每个服务器中包含多个服务实例。其中，服务实例用于处理服务请求，一个服务实例可处理一个或多个服务请求。

负载均衡服务器102是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例中，负载均衡服务器102与至少一个集群101相连。

其中，负载均衡服务器102与至少一个集群101之间能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一种可能的应用场景下，负载均衡服务器102可接收集群101中服务实例上报的实时负载参数，从而根据实时负载参数确定相连集群101的集群负载以及各个集群中各个服务实例的服务实例负载，从而在接收到服务请求时，可根据集群负载以及服务实例负载进行筛选，最终将服务请求分配至负载较低的服务实例上。

请参考图2，其示出了本申请一个示例性实施例提供的服务请求的处理方法的流程图。本实施例以该方法用于图1所示的负载均衡服务器为例进行说明，该方法包括如下步骤。

步骤201，接收各个服务实例上报的实时负载参数。

本申请实施例提供的方法可应用与媒体通话场景下。由于在处理不同通话请求时，处理请求的服务时长以及实际负载无法预测，因此，需服务实例上报实时负载，使负载均衡服务器可根据实际负载进行服务请求的分配。

在一种可能的实施方式中，各个集群中的各个服务实例可采集实时负载参数，并将采集得到的实时负载参数上报至负载均衡服务器中，负载均衡服务器可接收各个服务实例上报的实时负载参数，从而根据实时负载参数确定负载。

其中，各个服务实例可实时采集负载参数并进行上报，或者，可间隔一段时间采集实时的负载参数并进行上报。负载均衡服务器在每次接收到各个服务实例上报的实时负载参数后，对实时负载参数进行更新。

步骤202，基于实时负载参数，确定各个服务实例的服务实例负载以及各个集群的集群负载。

当接收到实时负载参数后，负载均衡服务器可根据同一服务实例上报的实时负载参数确定该服务实例的服务实例负载，且根据相同集群中各个服务实例上报的实时负载参数，确定该集群的集群负载。

可选的，同一服务实例上报的实时负载参数中可包含不同维度的负载参数，从而根据不同维度的负载参数确定负载，提高确定负载的准确性。

在一种可能的实施方式中，负载均衡服务器中包含负载聚合模块，通过负载聚合模块对各个服务实例上报的实时负载参数进行处理，得到各个服务实例的服务实例负载以及各个集群的集群负载。其中，负载聚合模块可包含一个或多个，用于对实时负载参数进行处理。

步骤203，在接收到目标服务请求的情况下，基于集群负载从各个集群中筛选得到目标集群。

可选的，目标服务请求可为语音通话请求、视频通话请求、信息发送请求等，本实施例对服务请求的类型不做限定。

当接收到目标服务请求时，负载均衡服务器首先根据各个集群的集群负载进行集群筛选，相较于相关技术中在选取集群后再进行负载均衡的方式，可避免将目标服务请求分配至负载较高的集群中。

在一种可能的实施方式中，负载均衡服务器中包含负载均衡模块，当负载聚合模块确定服务实例负载以及集群负载后，则将服务实例负载与集群负载上报至负载均衡模块，进而通过负载均衡模块进行集群筛选。相应的，负载均衡模块可包含一个或多个。

步骤204，基于候选服务实例的服务实例负载，从候选服务实例中筛选得到目标服务实例，候选服务实例是指目标集群内的服务实例，目标服务实例用于处理目标服务请求。

在选取得到目标集群后，可将目标集群中所包含的服务实例作为候选服务实例，负载均衡模块将根据候选服务实例对应的各个服务实例负载，在候选服务实例中筛选得到处理目标服务请求的服务实例。

如图3所示，负载均衡服务器与多个集群301相连，每个集群301中包含多个服务实例302，其中，服务实例302可上报实时负载参数至负载均衡服务器中的负载聚合模块303中，负载聚合模块303根据各个服务实例上报的实时负载参数确定服务实例负载以及集群负载后，将服务实例负载与集群负载上报至负载均衡模块304中，当负载均衡模块304接收到目标服务请求时，可根据接收到的负载情况筛选目标集群以及目标服务实例，完成目标服务请求的分配。

综上所述，本申请实施例中，在多集群场景下，各个集群中的各个服务实例会上报实时负载参数至负载均衡服务器中，负载均衡服务器会根据实时负载参数确定各个服务实例的服务实例负载以及各个集群的集群负载，在接收到目标服务请求时，首先根据集群负载选取得到目标集群，避免将目标服务请求分配至负载较高的集群中，影响服务质量，且还可利用目标集群中服务实例的服务实例负载选取得到目标服务实例，从而通过目标服务实例处理目标服务请求，避免将目标服务实例分配至负载较高的服务实例中，有助于提高对目标服务请求的处理性能，确保提供服务的服务质量。

在一种可能的实施方式中，每个服务实例上报的实时负载参数中包含不同维度的负载参数，即通过不同指标表示服务实例的负载，使负载均衡服务器根据不同维度的负载参数确定服务实例负载以及集群负载。下面将以示例性实施例进行说明。

请参考图4，其示出了本申请另一个示例性实施例提供的服务请求的处理方法的流程图。本实施例以该方法用于图1所示的负载均衡服务器为例进行说明，该方法包括如下步骤。

步骤401，接收各个服务实例上报的实时负载参数。

可选的，实时负载参数包括服务实例负载参数以及服务器负载参数，服务实例负载参数用于指示服务实例的负载状态，服务器负载参数用于指示服务实例所属服务器的负载状态，服务实例负载参数与服务器负载参数中分别包含不同维度的负载参数。

在一种可能的实施方式中，服务实例上报实时负载参数时，除上报自身的负载参数之外，还上报所属服务器的负载参数，表示服务器整体负载情况。其中，服务实例负载参数可包括服务实例对中央处理器(Central Processing Unit，CPU)的占用率、当前服务实例中处理请求的数量、一周期内服务实例处理单次服务请求超时的次数以及每次epoll循环处理时间的95百分位值中至少一种，每个参数分别对应不同维度的负载参数。其中，epoll循环处理是指对服务实例对应请求队列中待处理的服务请求进行连续处理的过程，每次epoll循环处理时间是指在一次循环中连续处理请求的耗时，用于表示服务实例对应请求队列的繁忙程度。其中，各个维度的负载参数均与服务实例负载呈正相关关系，比如当服务实例对CPU的占用率越大时，对应负载越大；当每次epoll循环处理时间的95百分位值越大时，对应负载越大。

可选的，服务器负载参数中包含服务器的网卡利用率、出口流量以及收发包字节数量中的至少一种。

步骤402，基于同一服务实例上报的服务实例负载参数与服务器负载参数，确定服务实例的服务实例负载。

当接收到各个服务实例上报的服务实例负载参数与服务器负载参数后，负载聚合模块可基于各个服务实例各自对应的服务实例负载参数与服务器负载参数确定服务实例负载，其中，确定服务实例负载可包括如下步骤：

步骤402a，对服务实例负载参数与服务器负载参数中各个维度的负载参数进行归一化处理，得到各个维度的负载参数对应的归一化负载参数。

由于不同维度的负载参数的表示方式不同，首先需对各个维度的负载参数进行归一化处理，归一化处理后各个维度的负载参数处于[0，1]范围之间，从而可基于各个归一化处理之后的负载参数确定服务实例负载。

在一种可能的实施方式中，通过各个维度负载参数对应的参数阈值对负载参数进行归一化处理，该方式可包括如下步骤：

步骤一、确定各个维度的负载参数对应的参数阈值，其中，参数阈值根据服务实例所属集群的配置确定，不同集群对应的参数阈值不同。

其中，属于相同集群的服务实例可提供的服务质量相同。参数阈值用于指示服务实例所属集群在处理服务请求时对服务质量无影响或影响较小的情况下可承受的负载上限。由于不同集群中服务器以及网络的配置不同，因此，不同集群对应的负载上限不同，即不同集群对应的参数阈值不同。

可选的，对于各个维度的负载参数所对应参数阈值可预先根据所属集群的配置进行设置。负载聚合模块中存储有各个集群对应不同维度负载参数的参数阈值，当接收到各个服务实例上报的实时负载参数后，可确定服务实例所属集群，并根据集群确定对应的参数阈值。

步骤二、基于参数阈值对负载参数进行归一化处理，得到归一化负载参数。

在一种可能的实施方式中，基于参数阈值对负载参数进行归一化处理方式如下：

其中，metric_load即为归一化处理后的归一化负载参数，metric为负载参数，limit为负载参数对应的参数阈值。

可选的，通过上述方式得到各个维度负载参数对应的归一化负载参数，其中，包括归一化处理后的服务实例负载参数以及归一化处理后的服务器负载参数。

或者，还可采用其他方式对各个维度的负载参数进行归一化处理，即：

metric_load＝f(metric，limit)

利用各个维度的负载参数与对应参数阈值进行归一化处理，使归一化负载参数处于[0，1]范围之间，且处理后的归一化负载参数越接近1，表示对应负载越大。本实施例仅对归一化处理方式进行示意性说明，但不做限定。

步骤402b，将各个维度的归一化负载参数中的最大参数确定为服务实例负载。

在得到各个维度负载参分别对应的归一化负载参数后，归一化负载参数与负载呈正相关关系，当归一化负载参数越接近1时，表示负载越接近满载。

可选的，可将各个归一化负载参数中最大参数确定为服务实例负载，表征服务实例的负载状态。

步骤403，基于同一集群内服务实例上报的服务实例负载参数与服务器负载参数，确定集群的集群负载。

同时，负载聚合模块还根据同一集群中各个服务实例上报的服务实例负载参数与服务器负载参数，确定该集群的集群负载。其中，确定集群负载的方式可包括如下步骤：

步骤403a，分别在同一集群内服务实例上报的相同维度的负载参数中选取集群负载参数，得到各个维度的集群负载参数。

在一种可能的实施方式中，同一集群内服务实例上报的实时负载参数的维度相同。比如，同一集群内服务实例均上报对CPU的占用率、当前服务实例中处理请求的数量以及网卡利用率。

当接收到同一集群中服务实例上报的相同维度的负载参数后，可在相同维度的负载参数中选取集群负载参数。示意性的，比如，同一集群中各个服务实例上报的当前服务实例中处理请求的数量为1、2、1、…、3，则可在其中选取一个参数作为集群负载参数。其中，选取方式如下：

步骤一、对属于相同维度的负载参数进行排序，得到负载参数序列。

可选的，可对属于相同维度的负载参数进行从小到大排序，得到负载参数序列。

步骤二、将负载参数序列中目标百分位值的负载参数确定为集群负载参数。

其中，目标百分位值是指在负载参数序列中位于目标百分位对应位置的值。比如，95百分位置指在负载参数序列中位于95％位置的值。目标百分位值可预先设定，不同维度负载参数对应的目标百分位值可相同，也可不同。

示意性的，当接收到100个服务实例上报的当前服务实例中处理请求数量时，可对100个服务实例上报的当前服务实例中处理请求数量进行从小到大排序，排序后，将第95个位置处数量确定为处理请求数量维度对应的集群负载参数。

步骤403b，对各个集群负载参数进行归一化处理，得到各个集群负载参数对应的归一化集群负载参数。

当得到各个维度的集群负载参数后，对各个维度的集群负载参数进行归一化处理，其中，归一化处理过程可与确定服务实例负载过程中对负载参数进行归一化处理的过程相同。

步骤403c，将各个归一化集群负载参数中的最大参数确定为集群负载。

在得到各个集群负载参数对应的归一化集群负载参数后，将其中最大参数作为集群负载。

步骤404，在接收到目标服务请求的情况下，基于集群负载从各个集群中筛选得到目标集群。

步骤405，基于候选服务实例的服务实例负载，从候选服务实例中筛选得到目标服务实例。

步骤404与步骤405的实施方式可参考上述实施例中步骤203与步骤204的实施方式，本实施例不再赘述。

本实施例中，对不同维度的负载参数进行归一化处理，从而利用归一化处理后的参数衡量不同配置集群中服务实例的负载状态以及集群整体的负载状态，可提高确定负载状态的准确性。

本实施例中，负载聚合模块将确定的负载上报至负载均衡模块，当负载均衡模块接收到服务请求后，可根据负载情况为服务请求分配服务实例。下面将以示例性实施例进行说明。

请参考图5，其示出了本申请另一个示例性实施例提供的服务请求的处理方法的流程图。本实施例以该方法用于图1所示的负载均衡服务器为例进行说明，该方法包括如下步骤。

步骤501，接收各个服务实例上报的实时负载参数。

步骤502，基于实时负载参数，确定各个服务实例的服务实例负载以及各个集群的集群负载。

步骤501与步骤502的实施方式可参考上述实施例中步骤401至步骤403的实施方式，本实施例不再赘述。

步骤503，在接收到目标服务请求的情况下，过滤各个集群中的满载集群，得到第一候选集群，满载集群是集群负载大于负载阈值的集群。

当集群满载后，若再分配服务请求至该集群中时，则将影响对该服务请求的服务质量，因此，当接收到目标服务请求时，首先过滤满载集群。

在一种可能的实施方式中，可设定负载阈值，比如，负载阈值为0.9，当集群负载大于负载阈值时，将该集群确定为满载集群。且还可设定不同阈值，从而将集群区分为不同负载状态的集群，比如，可区分为满载集群、高负载集群、较高负载集群、正常负载集群等。

过滤满载集群后，将剩余集群确定为第一候选集群，从而从第一候选集群中选取得到目标集群。

步骤504，基于第一候选集群的集群负载与集群服务参数，从第一候选集群中筛选得到目标集群，集群负载参数用于指示集群对目标服务请求的服务能力。

可选的，从第一候选集群中筛选得到目标集群的过程中，除根据集群负载进行筛选外，还需根据集群对目标服务请求的服务能力进行筛选。由于不同集群的配置不同，且与发送目标服务请求的物理距离不同，因此，各个集群对目标服务请求的服务能力不同。

其中，集群对目标服务请求的服务能力包括对目标服务请求的服务质量以及服务成本。可选的，集群服务参数可包括处理请求的网络延迟、丢包率以及网络抖动、成本等至少一种。其中，各个集群的集群服务参数可根据历史集群对服务请求的处理情况分析得到。

在一种可能的实施方式中，从第一候选集群中筛选得到目标集群可包括如下步骤：

步骤504a，基于第一候选集群的集群服务参数，从第一候选集群中筛选得到第二候选集群，第二候选集群对目标服务请求的服务能力高于其他集群对目标服务请求的服务能力。

首先根据各个第一候选集群的集群服务参数，进行集群筛选。可选的，可基于集群服务参数确定集群服务评分，从而基于集群服务评分进行集群筛选。

在一种可能的实施方式中，当基于集群服务参数确定集群服务评分时，可为处于不同阈值区间的服务参数设定对应评分。且当集群服务参数包含多个维度的参数时，可对不同维度的参数设定相对应的阈值区间。比如，当集群服务参数为网络延迟时，可设定不同延迟阈值区间，不同延迟阈值区间对应不同的集群服务评分，且网络延迟与集群服务评分呈负相关关系，当网络延迟越低时，对应的集群服务评分越高。当根据各个集群服务参数确定对应的集群服务评分后，可对各个集群服务评分进行加权平均得到平均集群服务评分，从而基于平均集群服务评分进行集群筛选。其中，加权平均过程中，不同集群服务参数对应的权重可相同也可不同，本实施例对此不做限定。

其中，平均集群服务评分与集群对目标服务请求的服务能力呈正相关关系。因此，选取平均集群服务评分最高或与最高评分差值小于差值阈值的集群，得到第二候选集群。可选的，第二候选集群可包括一个或多个集群。

步骤504b，基于第二候选集群的集群负载，调整第二候选集群中各个集群对应的筛选权重，筛选权重用于指示集群被分配目标服务请求的概率。

当筛选得到第二候选集群的集群负载后，第二候选集群对应设置有默认筛选权重，其中，筛选权重用于指示集群被分配目标服务请求的概率，且第二候选集群中各个集群对应的默认筛选权重相同。

在一种可能的实施方式中，负载均衡模块可基于第二候选集群的各个集群负载对默认筛选权重进行调整，从而基于调整后的筛选权重筛选目标集群。其中，调整权重方式如下：

Weight₂＝Weight₁*(1-f(region_load)),f(x)∈[0,1)

其中，Weight₂即为集群调整后的筛选权重，Weight₁为集群的默认筛选权重，region_load表示集群负载，f(x)表示负载为x时，权重下降的比例，其中，f(x)为递增函数，即当x越大时，权重下降的比例越大。

步骤504c，基于筛选权重，从第二候选集群中筛选得到目标集群。

可选的，可根据筛选权重确定集群被分配目标服务请求的概率，方式如下：

其中，Weight_i即为第i个集群对应的筛选权重，∑Weight为第二候选集群中各个集群筛选权重之和。

负载均衡模块可根据第二候选集群对应的概率进行集群抽取，得到目标集群。

步骤505，确定候选服务实例对应服务实例负载中的第一最低服务实例负载。

在选取得到目标集群后，负载均衡模块进一步将目标集群内的服务实例作为候选服务实例，并在候选服务实例中筛选得到目标服务实例。

在一种可能的实施方式中，可对候选服务实例对应服务实例负载进行排序，得到最低服务实例负载，即第一最低服务实例负载。

步骤506，将第一最低服务实例负载对应的服务实例确定为目标服务实例。

负载均衡模块将第一最低服务实例负载对应的服务实例确定为目标服务实例。

步骤507，从候选服务实例中随机选取N组备选服务实例，每组备选服务实例中包含M个服务实例。

而在另一种可能的实施方式中，由于目标集群中可能包含多个服务实例，若在目标集群内的全部服务实例中选取目标服务实例，方式较为复杂且效率较低。因此，为提高选取效率，可首先在候选服务实例中进行随机抽取得到N组备选服务实例，从而再基于N组备选服务实例的服务实例负载选取目标服务实例。其中，抽取N组备选服务实例的方式可包括如下步骤：

步骤一、对候选服务实例设置相邻序号。

首先对候选服务实例中各个服务实例设置序号，且设置的序号为相邻序号。

步骤二、从候选服务实例中随机选取N个服务实例，以及选取与N个服务实例中每个服务实例序号相邻的M-1个服务实例，得到N组备选服务实例。

确定各个候选服务实例对应的序号后，首先在候选服务实例中随机选取N个服务实例，且同时选取与N个服务实例序号相邻的M-1个服务实例，得到N组备选服务实例，即N*M个备选服务实例。可选的，可以N个服务实例中每个服务实例对应序号为起始，选取该序号之后相邻M-1个序号对应的服务实例。

示意性的，当选取的N个服务实例为序号2、7、10、15，M为3时，第一组备选服务实例可序号为2、3、4对应的服务实例；第二组备选服务实例可序号为7、8、9对应的服务实例；第三组备选服务实例可序号为10、11、12对应的服务实例；第四组备选服务实例可序号为15、16、17对应的服务实例。

步骤508，确定N组备选服务实例对应服务实例负载中的第二最低服务实例负载。

在得到N组备选服务实例后，可将N组备选服务实例中各个服务实例对应的服务实例负载进行排序，得到最低服务实例负载，即第二最低服务实例负载。

步骤509，将第二最低服务实例负载对应的服务实例确定为目标服务实例。

负载均衡模块可将第二最低服务实例负载确定为目标服务实例。

步骤510，将目标服务请求分配至目标服务实例，以及更新目标服务实例的服务实例负载。

当确定目标服务实例后，负载均衡模块可将目标服务请求分配至目标服务实例上，使目标服务实例对目标服务请求进行处理。

而由于目标服务请求被分配至目标服务实例上，目标服务实例对应的服务实例负载增加，因此，需更新目标服务实例的服务实例负载。其中，更新目标服务实例可包括如下步骤：

步骤一、确定目标服务请求对应的预计负载量。

在将目标服务请求分配至目标服务实例后，由于可能存在处理延迟，因此，无法快速确定目标服务请求的实际负载量，因此，在一种可能的实施方式中，可首先根据目标负载请求确定预计负载量。

步骤二、基于预计负载量更新目标服务实例的服务实例负载。

负载均衡模块在目标服务实例原本服务实例负载的基础上，增加预计负载量，得到更新后的目标服务实例的服务实例负载。

步骤三、在接收到下一周期目标服务实例上报的目标实时负载参数的情况下，基于目标实时负载参数更新目标服务实例的服务实例负载，其中，各个服务实例每隔目标周期上报实时负载参数。

在一种可能的实施方式中，各个服务实例每隔目标周期上报实时负载参数，即负载聚合模块每隔目标周期接收到各个服务实例上报的实时负载参数，从而每隔目标周期根据重新接收到实时负载参数更新各个服务实例的服务实例负载以及各个集群的集群负载，并将更新后的负载上报至负载均衡模块，使负载均衡模块根据更新后的集群负载与服务实例负载对其他服务请求进行分配。

在此过程中，当根据预计负载量更新目标服务实例的服务实例负载后，接收到下一周期目标服务实例上报的实时负载参数时，可根据实时负载参数重新更新目标服务实例的服务实例负载，确保目标服务实例对应服务实例负载的准确性。

本实施例中，在进行集群筛选时，首先对满载集群进行过滤，从而避免将目标服务请求分配至满载的集群中，影响处理目标服务请求的服务质量；且在过滤满载集群后，根据集群对目标服务请求的服务能力进行筛选，并再次利用筛选后集群的集群负载对筛选权重进行调整，从而在确保服务质量的前提下，将目标服务请求分配至负载较低的集群中。且由于首先根据集群对目标服务请求的服务能力进行筛选，当存在一集群对目标服务请求的服务能力远大于其他集群时，则可将该目标服务请求分配至在该集群中，提高处理目标服务请求的服务质量，且可使更适合集群的服务请求优先分配至该集群中，提高服务请求分配合理性。即根据集群的服务参数与集群负载，为目标服务请求分配集群，在确保服务质量的情况下，可合理利用高负载集群的承载能力。

且本实施例中，在确定目标集群后，进一步根据目标集群中服务实例的服务实例负载进行筛选，得到目标服务实例，从而将服务请求分配至低负载的目标服务实例中，且在分配后，为目标服务实例增加预计负载量，避免在当前周期内分配较多服务请求至同一低负载的服务实例中，确保分配合理性。

请参考图6，其示出了本申请一个示例性实施例提供的服务请求的处理装置的结构框图，所述装置用于负载均衡服务器，所述负载均衡服务器与至少一个集群相连，各个所述集群中设置有多个服务器，且各个所述服务器中包含多个服务实例。

该装置包括：

参数接收模块601，用于接收各个所述服务实例上报的实时负载参数；

负载确定模块602，用于基于所述实时负载参数，确定各个所述服务实例的服务实例负载以及各个所述集群的集群负载；

集群筛选模块603，用于在接收到目标服务请求的情况下，基于所述集群负载从各个所述集群中筛选得到目标集群；

服务实例筛选模块604，用于基于候选服务实例的服务实例负载，从所述候选服务实例中筛选得到目标服务实例，所述候选服务实例是指所述目标集群内的服务实例，所述目标服务实例用于处理所述目标服务请求。

可选的，所述实时负载参数包括服务实例负载参数以及服务器负载参数，所述服务实例负载参数用于指示所述服务实例的负载状态，所述服务器负载参数用于指示所述服务实例所属服务器的负载状态，所述服务实例负载参数与所述服务器负载参数中分别包含不同维度的负载参数；

所述负载确定模块602，包括：

第一负载确定单元，用于基于同一服务实例上报的所述服务实例负载参数与所述服务器负载参数，确定所述服务实例的所述服务实例负载；

第二负载确定单元，用于基于同一集群内服务实例上报的所述服务实例负载参数与所述服务器负载参数，确定所述集群的所述集群负载。

可选的，所述第一负载确定单元，还用于：

对所述服务实例负载参数与所述服务器负载参数中各个维度的所述负载参数进行归一化处理，得到各个维度的所述负载参数对应的归一化负载参数；

将各个维度的所述归一化负载参数中的最大参数确定为所述服务实例负载。

可选的，所述第一负载确定单元，还用于：

确定各个维度的所述负载参数对应的参数阈值，其中，所述参数阈值根据所述服务实例所属集群的配置确定，不同集群对应的参数阈值不同；

基于所述参数阈值对所述负载参数进行归一化处理，得到所述归一化负载参数。

可选的，所述第二负载确定单元，还用于：

分别在同一集群内服务实例上报的相同维度的所述负载参数中选取集群负载参数，得到各个维度的所述集群负载参数；

对各个所述集群负载参数进行归一化处理，得到各个所述集群负载参数对应的归一化集群负载参数；

将各个所述归一化集群负载参数中的最大参数确定为所述集群负载。

可选的，所述第二负载确定单元，还用于：

对属于相同维度的所述负载参数进行排序，得到负载参数序列；

将所述负载参数序列中目标百分位值的所述负载参数确定为所述集群负载参数。

可选的，所述集群筛选模块603，包括：

集群过滤单元，用于过滤各个所述集群中的满载集群，得到第一候选集群，所述满载集群是集群负载大于负载阈值的集群；

集群筛选单元，用于基于所述第一候选集群的集群负载与集群服务参数，从所述第一候选集群中筛选得到所述目标集群，所述集群负载参数用于指示集群对所述目标服务请求的服务能力。

可选的，所述集群筛选单元，还用于：

基于所述第一候选集群的所述集群服务参数，从所述第一候选集群中筛选得到第二候选集群，所述第二候选集群对所述目标服务请求的服务能力高于其他集群对所述目标服务请求的服务能力；

基于所述第二候选集群的所述集群负载，调整所述第二候选集群中各个集群对应的筛选权重，所述筛选权重用于指示集群被分配所述目标服务请求的概率；

基于所述筛选权重，从所述第二候选集群中筛选得到所述目标集群。

可选的，所述服务实例筛选模块604，包括：

第三负载确定单元，用于确定所述候选服务实例对应服务实例负载中的第一最低服务实例负载；

第一实例确定单元，用于将所述第一最低服务实例负载对应的服务实例确定为所述目标服务实例；

或，

实例选取单元，用于从所述候选服务实例中随机选取N组备选服务实例，每组备选服务实例中包含M个服务实例；

第四负载确定单元，用于确定所述N组备选服务实例对应服务实例负载中的第二最低服务实例负载；

第二实例确定单元，用于将所述第二最低服务实例负载对应的服务实例确定为所述目标服务实例。

可选的，所述实例选取单元，还用于：

对所述候选服务实例设置相邻序号；

从所述候选服务实例中随机选取N个服务实例，以及选取与所述N个服务实例中每个服务实例序号相邻的M-1个服务实例，得到所述N组备选服务实例。

可选的，所述装置还包括：

更新模块，用于将所述目标服务请求分配至所述目标服务实例，以及更新所述目标服务实例的所述服务实例负载。

可选的，所述更新模块，包括：

第五负载确定单元，用于确定所述目标服务请求对应的预计负载量；

第一更新单元，用于基于所述预计负载量更新所述目标服务实例的所述服务实例负载；

第二更新单元，用于在接收到下一周期所述目标服务实例上报的目标实时负载参数的情况下，基于所述目标实时负载参数更新所述目标服务实例的所述服务实例负载，其中，各个所述服务实例每隔目标周期上报所述实时负载参数。

本申请实施例中，在多集群场景下，各个集群中的各个服务实例会上报实时负载参数至负载均衡服务器中，负载均衡服务器会根据实时负载参数确定各个服务实例的服务实例负载以及各个集群的集群负载，在接收到目标服务请求时，可根据集群负载选取得到目标集群，避免将目标服务请求分配至负载较高的集群中，影响服务质量，且还可利用目标集群中服务实例的服务实例负载选取得到目标服务实例，从而通过目标服务实例处理目标服务请求，避免将目标服务实例分配至负载较高的服务实例中，有助于提高对目标服务请求的处理性能，确保提供服务的服务质量。

需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。

本申请实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的服务请求的处理方法。

本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的服务请求的处理方法。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的服务请求的处理方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种服务请求的处理方法，其特征在于，所述方法用于负载均衡服务器，所述负载均衡服务器与至少一个集群相连，各个所述集群中设置有多个服务器，且各个所述服务器中包含多个服务实例；

所述方法包括：

接收各个所述服务实例上报的实时负载参数；

基于所述实时负载参数，确定各个所述服务实例的服务实例负载以及各个所述集群的集群负载；

在接收到目标服务请求的情况下，基于所述集群负载从各个所述集群中筛选得到目标集群；

基于候选服务实例的服务实例负载，从所述候选服务实例中筛选得到目标服务实例，所述候选服务实例是指所述目标集群内的服务实例，所述目标服务实例用于处理所述目标服务请求。

2.根据权利要求1所述的方法，其特征在于，所述实时负载参数包括服务实例负载参数以及服务器负载参数，所述服务实例负载参数用于指示所述服务实例的负载状态，所述服务器负载参数用于指示所述服务实例所属服务器的负载状态，所述服务实例负载参数与所述服务器负载参数中分别包含不同维度的负载参数；

所述基于所述实时负载参数，确定各个所述服务实例的服务实例负载以及各个所述集群的集群负载，包括：

基于同一服务实例上报的所述服务实例负载参数与所述服务器负载参数，确定所述服务实例的所述服务实例负载；

基于同一集群内服务实例上报的所述服务实例负载参数与所述服务器负载参数，确定所述集群的所述集群负载。

3.根据权利要求2所述的方法，其特征在于，所述基于同一服务实例上报的所述服务实例负载参数与所述服务器负载参数，确定所述服务实例的所述服务实例负载，包括：

对所述服务实例负载参数与所述服务器负载参数中各个维度的所述负载参数进行归一化处理，得到各个维度的所述负载参数对应的归一化负载参数；

将各个维度的所述归一化负载参数中的最大参数确定为所述服务实例负载。

4.根据权利要求3所述的方法，其特征在于，所述对所述服务实例负载参数与所述服务器负载参数中各个维度的负载参数进行归一化处理，得到各个维度的所述负载参数对应的归一化负载参数，包括：

确定各个维度的所述负载参数对应的参数阈值，其中，所述参数阈值根据所述服务实例所属集群的配置确定，不同集群对应的参数阈值不同；

基于所述参数阈值对所述负载参数进行归一化处理，得到所述归一化负载参数。

5.根据权利要求2所述的方法，其特征在于，所述基于同一集群内服务实例上报的所述服务实例负载参数与所述服务器负载参数，确定所述集群的所述集群负载，包括：

分别在同一集群内服务实例上报的相同维度的所述负载参数中选取集群负载参数，得到各个维度的所述集群负载参数；

对各个所述集群负载参数进行归一化处理，得到各个所述集群负载参数对应的归一化集群负载参数；

将各个所述归一化集群负载参数中的最大参数确定为所述集群负载。

6.根据权利要求5所述的方法，其特征在于，所述分别在同一集群内服务实例上报的相同维度的所述负载参数中选取集群负载参数，得到各个维度的所述集群负载参数，包括：

对属于相同维度的所述负载参数进行排序，得到负载参数序列；

将所述负载参数序列中目标百分位值的所述负载参数确定为所述集群负载参数。

7.根据权利要求1至6任一所述的方法，其特征在于，所述基于所述集群负载从各个所述集群中筛选得到目标集群，包括：

过滤各个所述集群中的满载集群，得到第一候选集群，所述满载集群是集群负载大于负载阈值的集群；

基于所述第一候选集群的集群负载与集群服务参数，从所述第一候选集群中筛选得到所述目标集群，所述集群负载参数用于指示集群对所述目标服务请求的服务能力。

8.根据权利要求7所述的方法，其特征在于，所述基于所述第一候选集群的集群负载与集群服务参数，从所述第一候选集群中筛选得到所述目标集群，包括：

基于所述第一候选集群的所述集群服务参数，从所述第一候选集群中筛选得到第二候选集群，所述第二候选集群对所述目标服务请求的服务能力高于其他集群对所述目标服务请求的服务能力；

基于所述第二候选集群的所述集群负载，调整所述第二候选集群中各个集群对应的筛选权重，所述筛选权重用于指示集群被分配所述目标服务请求的概率；

基于所述筛选权重，从所述第二候选集群中筛选得到所述目标集群。

9.根据权利要求1至6任一所述的方法，其特征在于，所述基于候选服务实例的服务实例负载，从所述候选服务实例中筛选得到目标服务实例，包括：

确定所述候选服务实例对应服务实例负载中的第一最低服务实例负载；

将所述第一最低服务实例负载对应的服务实例确定为所述目标服务实例；

或，

从所述候选服务实例中随机选取N组备选服务实例，每组备选服务实例中包含M个服务实例；

确定所述N组备选服务实例对应服务实例负载中的第二最低服务实例负载；

将所述第二最低服务实例负载对应的服务实例确定为所述目标服务实例。

10.根据权利要求9所述的方法，其特征在于，所述从所述候选服务实例中随机选取N组备选服务实例，包括：

对所述候选服务实例设置相邻序号；

从所述候选服务实例中随机选取N个服务实例，以及选取与所述N个服务实例中每个服务实例序号相邻的M-1个服务实例，得到所述N组备选服务实例。

11.根据权利要求1至6任一所述的方法，其特征在于，所述从所述候选服务实例中筛选得到目标服务实例之后，所述方法还包括：

将所述目标服务请求分配至所述目标服务实例，以及更新所述目标服务实例的所述服务实例负载。

12.根据权利要求11所述的方法，其特征在于，所述更新所述目标服务实例的所述服务实例负载，包括：

确定所述目标服务请求对应的预计负载量；

基于所述预计负载量更新所述目标服务实例的所述服务实例负载；

在接收到下一周期所述目标服务实例上报的目标实时负载参数的情况下，基于所述目标实时负载参数更新所述目标服务实例的所述服务实例负载，其中，各个所述服务实例每隔目标周期上报所述实时负载参数。

13.一种服务请求的处理装置，其特征在于，所述装置用于负载均衡服务器，所述负载均衡服务器与至少一个集群相连，各个所述集群中设置有多个服务器，且各个所述服务器中包含多个服务实例；

所述装置包括：

参数接收模块，用于接收各个所述服务实例上报的实时负载参数；

负载确定模块，用于基于所述实时负载参数，确定各个所述服务实例的服务实例负载以及各个所述集群的集群负载；

集群筛选模块，用于在接收到目标服务请求的情况下，基于所述集群负载从各个所述集群中筛选得到目标集群；

服务实例筛选模块，用于基于候选服务实例的服务实例负载，从所述候选服务实例中筛选得到目标服务实例，所述候选服务实例是指所述目标集群内的服务实例，所述目标服务实例用于处理所述目标服务请求。

14.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的服务请求的处理方法。

15.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的服务请求的处理方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令以实现如权利要求1至12任一所述的服务请求的处理方法。

Images