CN110278229A - 分布式服务集群的负载均衡方法、装置以及电子设备 - Google Patents

Abstract

本发明实施例提供了一种分布式服务集群的负载均衡方法、装置以及电子设备，所述方法包括：在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务。通过本方案可更好的实现各服务端的负载均衡，提高服务调用效率。

Description

分布式服务集群的负载均衡方法、装置以及电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式服务集群的负载均衡方法、装置以及电子设备。

背景技术

在现有分布式服务集群的远程过程调用(RPC，Remote Procedure Call)框架中，包括用于将已注册服务相关信息发布到服务配置中心的RPC服务端(可简称服务端)，用于从服务配置中心查询和订阅包括可用服务相关信息的服务信息列表，并从中选择服务端执行服务的RPC客户端(可简称客户端)，以及用于存储服务端发送的服务相关信息并对服务端进行健康监测的服务配置中心。

其中，在上述客户端从服务信息列表选择执行服务的服务端的过程中，通常为根据预定的负载均衡策略来选择，现有的负载均衡策略可包括随机选择、同机房优先选择、指定权重选择等策略，虽然能够解决比如处理压力过于集中、跨机房调用延时长、服务端处理能力与执行服务的压力不匹配等问题，但还会存在如下问题：

在某服务端与客户端之间突然发生网络故障、或是在某服务端突然出现软件故障以致处理能力变差等情况下，若根据现有负载均衡策略选择服务器执行任务，很难规避这些存在突发问题的服务器，从而影响服务调用效率，因此，现有负载均衡策略并不理想。

发明内容

本发明提供了一种分布式服务集群的负载均衡方法、装置以及电子设备，对执行相同服务的服务端可依据平均响应时间进行合理调用，从而更好的实现各服务端的负载均衡，提高服务调用效率。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种分布式服务集群的负载均衡方法，包括：

在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务。

第二方面，提供了一种分布式服务集群的负载均衡装置，包括：

响应时间统计模块，用于在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

服务端选择模块，用于根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务。

第三方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，以用于：

在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务。

本发明提供的分布式服务集群的负载均衡方法、装置以及电子设备，可在执行相同服务项的RPC服务过程中，以各服务端执行服务的平均响应时间为依据，确定在后续调用服务中对服务端的选择概率，以便可以尽可能大概率的选择平均响应时间较短的服务端来执行下一次的调用服务。以此，可根据当前各服务端的负载情况来确定后续调用服务时被选择的概率，以更好的实现各服务端之间的负载均衡，进而提高服务调用效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为现有RPC框架的部署架构图；

图2为现有RPC框架中的服务处理流程示意图；

图3为本发明实施例提供的分布式服务集群的负载均衡方法的逻辑架构图；

图4为本发明实施例一提供的分布式服务集群的负载均衡方法的流程示意图；

图5为本发明实施例一提供的分布式服务集群的负载均衡方法的场景示意图；

图6为本发明实施例二提供的分布式服务集群的负载均衡装置结构示意图；

图7为本发明实施例三提供的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例涉及分布式服务集群的负载均衡的技术方案，可应用于RPC框架中，如图1所示，为现有RPC框架的部署架构图，其核心组成包括：RPC客户端(以下简称客户端)组11、RPC服务端(以下简称服务端)组12和服务配置中心13，客户端组11可由多个客户端组合，服务端组12可由多个服务端组成。

如图2所示，为现有技术中在RPC框架中执行服务处理的逻辑架构图，其中：

客户端110，可用于根据所需服务，向服务配置中心13查询并订阅服务，并从服务配置中心13获取服务信息列表(比如，可包括可执行所订阅服务的服务端相关信息等)，并根据预定的负载均衡策略从中选择服务端120以执行所订阅的服务；

服务端120，可用于将已注册的服务的相关信息发布到服务配置中心13，并与服务配置中心13保持长连接(定时发送心跳包)；

服务配置中心13，可用于存储服务端120发送的服务相关信息(可以服务信息列表的形式进行存储，其中可包括服务端120的标识信息、连接信息等)，并对服务端120进行健康监测。

其中，客户端110根据预定的负载均衡策略从服务信息列表中选择服务端120以执行所订阅的服务，现有的负载均衡策略，具体可包括如下几种：

第一种，随机选择，比如在执行相同服务的各服务端中，以随机的方式选择一个或多个服务端来执行服务，以将处理压力尽量的分摊到各个服务端；

第二种，同机房优先选择，比如执行相同服务的各服务端分布于多个机房，在执行某一服务时，优先选择某个机房中的服务端执行服务，以使得执行服务的各服务端之间的响应时间是均衡的；

第三种，根据指定权重选择，比如可预先根据服务端的处理能力以设置各服务端相应的权重，处理能力与指定的权重可成正比关系，并以权重作为选择服务端的依据，以使得执行服务的各服务端的处理能力得到均衡。

上述策略虽然能解决比如跨机房调用延时长、处理能力差的服务端执行较多处理任务等问题，但还会存在如下问题：

在某服务端与客户端之间突然发生网络故障、或是在某服务端突然出现软件故障以致处理能力变差等情况下，若根据上述现有负载均衡策略选择服务端执行任务，很难规避选择该些存在突发问题的服务端。相应的，很可能出现客户端与服务器连接不上而无法调用服务、或是服务器执行任务过慢而被请求冲垮、甚至服务器过载严重时引起的服务集群崩溃等问题，也就是说，在服务端发生突发问题的情况下，采用现有负载均衡策略不能很好的实现各服务端间的负载均衡，进而会影响服务调用的效率。

基于上述分析，为了有效解决上述在服务端发生突发问题的情况下，无法实现各服务端间的负载均衡的问题，本发明实施例改变了现有技术中，根据固定负载均衡策略(比如，随机选择、或同机房优选选择、或指定权重选择等)来选择执行服务的服务端，以实现各服务端间的负载均衡，其核心思想在于，先确定一个最能综合代表服务端负载情况的指标，即服务端执行服务的响应时间，通常情况下，响应时间越短则可说明对应服务端的负载越轻，响应时间越长则可说明对应服务端的负载越重，以在后续调用服务时根据这个指标合理分配各服务端的负载。基于此，可在执行相同服务项的RPC服务过程中，以各服务端执行服务的平均响应时间(比如，某采样时间内采集到的多次响应时间的平均值等)为依据，确定在后续调用服务中对各服务端的选择概率，以尽可能大概率的选择平均响应时间较短的服务端来执行下一次的调用服务。以此，可根据当前各服务端的负载情况来确定后续调用服务时被选择的概率，以更好的实现各服务端间的负载均衡，进而提高服务调用效率。

如图3所示，为本发明实施例提供的分布式服务集群的负载均衡方案的逻辑架构图。其中，用来执行某服务项(比如A服务)的服务端可包括三个服务端120，在客户端110调用A服务的过程中，可针对A服务分别向三个服务端120发送服务调用请求，然后可统计每个服务端120执行服务A的平均响应时间(比如，为在预设采样窗口或采样时间内多次响应时间的均值等)，然后可根据上述每个服务端120的平均响应时间获知各服务端相应的负载情况，以在后续调用服务时灵活调整(也可理解为灵活选择)执行服务的服务端，以便尽可能大的概率选择负载轻(也即平均响应时间短)的服务端，以保证各服务端能够均匀的处理客户端的调用请求，实现各服务端间的负载均衡。

实施例一

如图4所示，为本发明实施例一的分布式服务集群的负载均衡方法的流程示意图，该方法的执行主体可为图3中的客户端。如图4所示，该方法包括如下步骤：

S410，在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间。

在本实施例中，可针对每一服务，统计执行该服务的每个服务端的响应时间，比如，可设置一个采样窗口，比如10秒，则可采集10秒内每个服务端接收到来自客户端的调用请求数、针对每次调用请求的响应时间(实际应用中，可能不止接收到一次调用请求)，然后根据上述采集结果，计算每个服务端对应的平均响应时间(比如，调用请求数为2次，则将该两次调用请求的响应时间的均值作为平均响应时间)。

其中，所谓响应时间，可为从客户端向服务端发起一次服务调用请求到服务端返回针对该次调用请求的处理结果之间的这段时间；平均响应时间可为多次调用请求对应的响应时间的均值。

S420，根据各服务端对应的平均响应时间，在后续调用服务的过程中选择服务端执行服务。

其中，比如可采用如下机制对服务端进行选择，即服务端的平均响应时间越短，在后续调用服务的过程中被选择执行服务的概率越大。

在本实施例中，可根据各服务端对应的平均响应时间设置各服务端的负载权重值，以根据权重值作为后续选择服务端执行服务的基础。在具体实现时，在统计出各服务端执行服务的平均响应时间后，还可采用预置计算逻辑对各服务端执行服务的平均响应时间进行计算，以得到各个服务端的负载权重值，其中，平均响应时间越短对应的负载权重值越大。

比如，可先计算执行相同服务项的所有服务端的平均响应时间的和值，并计算该和值与除当前服务端的其他服务端的平均响应时间的和值之间的差值，然后将该差值作为当前服务端的负载权重值。

在得到各服务端的负载权重值之后，还可根据各服务端的负载权重值确定各服务端被选择执行服务的概率，并且在后续服务调用时根据该概率选择服务端执行服务。

在实际应用中，可通过如下方式来确定各服务端被选择执行服务的概率：

先计算执行相同服务项的所有服务端的负载权重值的和值，然后将每个服务端的负载权重值在该和值中所占比例确定为相应服务端在后续调用服务的过程中被选择执行服务的概率。

在具体实现时，在确定各服务端被选择执行服务的概率之后，可根据各服务端被选择执行服务的概率，为每个服务端设置相应比例个数的数据值，其中，每两个服务端对应的数据值之间完全不同。然后，随机在所有数据值中抽取一个数据值，并将该数据值所对应的服务端选择为执行服务的服务端。

以下可参看图5以具体例子来说明上述步骤。

比如，服务端121、122、123均可执行服务A，也即，在客户端110想要调用服务A的情况下，客户端110可向服务端121、122、123发送服务调用请求。

可设置一个采样窗口，比如10秒，则可采集在该采样窗口内服务端121、122、123分别针对服务A的调用请求所对应的平均响应时间(总响应时间/总调用次数)，比如，可分别为rt1、rt2、rt3。

接下来，可计算服务端121、122、123的平均响应时间的和值，为rt_sum＝rt₁+rt₂+rt₃。

再通过计算平均响应时间的和值与除当前服务端的其他服务端的平均响应时间的和值之间的差值，以得到当前服务端的负载权重值，则服务端121、122、123的负载权重值可分别为如下：

Weight₁＝rt_sum-rt₁；

Weight₂＝rt_sum-rt₂；

Weight₃＝rt_sum-rt₃。

在得到各服务端内负载权重值之后，可根据各服务端的负载权重值确定各服务端被选择执行服务的概率，并且在后续服务调用时根据该概率选择服务端执行服务。

比如，可为先计算服务端121、122、123的负载权重值的和值，可为如下：

Weight_sum＝Weight₁+Weight₂+Weight₃。

然后，将每个服务端的负载权重值在该和值中所占比例确定为相应服务端在后续调用服务的过程中被选择执行服务的概率，则服务端121、122、123被选择执行服务的概率(也可称为调用概率)，可分别为：

调用概率_1＝weight₁/weight_sum；

调用概率_2＝weight₂/weight_sum；

调用概率_3＝weight₃/weight_sum。

在具体实现时，在确定各服务端被选择执行服务的概率(也即调用概率)之后，还可根据各服务端的调用概率，为每个服务端设置相应比例个数的令牌，比如，调用概率_1为0.02对应令牌1、调用概率_2为0.1对应令牌2，调用概率_3为0.05对应令牌3，则相应比例个数可对应为2个令牌1、10个令牌2、5个令牌3，所以一共有17个令牌，调用概率越高，所对应的令牌的个数越多，被选择的几率就越大。由于每个服务端的平均调用时间不同，因此每两个服务端对应的令牌个数也是不同的。

然后，随机在所有数据值中抽取一个令牌，并将该令牌所对应的服务端选择为执行服务的服务端，比如，抽取到令牌2，则对应的服务端122为下次执行服务的服务端。

本实施例提供的分布式服务集群的负载均衡方法，可在执行相同服务项的RPC服务过程中，以各服务端执行服务的平均响应时间为依据，确定在后续调用服务中对服务端的选择概率，以尽可能大概率的选择平均响应时间较短的服务端来执行下一次的调用服务。以此，可根据当前各服务端的负载情况来确定后续调用服务时被选择的概率，以更好的实现各服务端间的负载均衡，进而提高服务调用效率。

实施例二

如图6所示，其为本发明实施例四的分布式服务集群的负载均衡装置的结构示意图，可用于执行如图4所示的方法步骤，该装置可以包括：响应时间统计模块610及服务端选择模块620，其中：

响应时间统计模块610，可用于在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

服务端选择模块620，可用于根据各服务端对应的平均响应时间，在后续调用服务的过程中选择服务端执行服务。

在具体实现时，服务端选择模块620，可具体用于：服务端的平均响应时间越短，在后续调用服务的过程中被选择执行服务的概率越大。

在具体实现时，上述装置还可包括：

计算模块，可用于采用预置计算逻辑对各服务端执行服务的平均响应时间进行计算，得到各个服务端的负载权重值，平均响应时间越短对应的负载权重值越大。

基于此，服务端选择模块620，可具体用于：

根据各服务端的负载权重值，确定各服务端被选择执行服务的概率，并根据概率选择服务端执行服务。

在实际应用中，计算模块，可具体用于：

计算执行相同服务项的所有服务端的平均响应时间的和值，并计算该和值与除当前服务端的其他服务端的平均响应时间的和值之间的差值，将差值作为当前服务端的负载权重值。

基于此，服务端选择模块620，可具体用于：

计算执行相同服务项的所有服务端的负载权重值的和值，并将每个服务端的负载权重值在该和值中所占比例确定为相应服务端在后续调用服务的过程中被选择执行服务的概率。

进一步的，服务端选择模块620，还可具体用于：

根据各服务端被选择执行服务的概率为每个服务端设置相应比例个数的数据值且每两个服务端对应的数据值之间完全不同；

随机在所有数据值中抽取一个数据值，并将该数据值所对应的服务端选择为执行服务的服务端。

本实施例提供的分布式服务集群的负载均衡装置，可在执行相同服务项的RPC服务过程中，以各服务端执行服务的平均响应时间为依据，确定在后续调用服务中对服务端的选择概率，以尽可能大概率的选择平均响应时间较短的服务端来执行下一次的调用服务。以此，可根据当前各服务端的负载情况来确定后续调用服务时被选择的概率，以更好的实现各服务端间的负载均衡，进而提高服务调用效率。

实施例三

前面描述了分布式服务集群的负载均衡装置的内部功能和结构，该装置可实现为一种电子设备，如图7所示，其为本发明实施例提供的电子设备的结构示意图，具体包括：存储器710和处理器720。

存储器710，用于存储程序。

除上述程序之外，存储器710还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器710可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器720，耦合至存储器710，用于执行存储器710中的程序，以用于：

在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

根据各服务端对应的平均响应时间，在后续调用服务的过程中选择服务端执行服务。

上述的具体处理操作已经在前面实施例中进行了详细说明，在此不再赘述。

进一步，如图7所示，电子设备还可以包括：通信组件730、电源组件740、音频组件750、显示器760等其它组件。图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。

通信组件730被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件730经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件730还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件740，为电子设备的各种组件提供电力。电源组件740可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件750被配置为输出和/或输入音频信号。例如，音频组件750包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器710或经由通信组件730发送。在一些实施例中，音频组件750还包括一个扬声器，用于输出音频信号。

显示器760包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种分布式服务集群的负载均衡方法，其特征在于，包括：

在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务。

2.根据权利要求1所述的方法，其特征在于，所述根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务，包括：

所述服务端的平均响应时间越短，在后续调用服务的过程中被选择执行服务的概率越大。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用预置计算逻辑对各服务端执行服务的所述平均响应时间进行计算，得到各个服务端的负载权重值，所述平均响应时间越短对应的所述负载权重值越大；

所述根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务，包括：

根据各所述服务端的所述负载权重值，确定各服务端被选择执行服务的概率，并根据概率选择服务端执行服务。

4.根据权利要求3所述的方法，其特征在于，所述采用预置计算逻辑对各服务端执行服务的所述平均响应时间进行计算，得到各个服务端的负载权重值，包括：

计算执行相同服务项的所有服务端的平均响应时间的和值，并计算该和值与除当前服务端的其他服务端的平均响应时间的和值之间的差值，将所述差值作为所述当前服务端的所述负载权重值。

5.根据权利要求3所述的方法，其特征在于，所述根据各所述服务端的所述负载权重值，确定各服务端被选择执行服务的概率，包括：

计算执行相同服务项的所有服务端的所述负载权重值的和值，并将每个所述服务端的所述负载权重值在该和值中所占比例确定为相应服务端在后续调用服务的过程中被选择执行服务的概率。

6.根据权利要求3所述的方法，其特征在于，所述根据概率选择服务端执行服务，包括：

根据各所述服务端被选择执行服务的概率为每个服务端设置相应比例个数的数据值且每两个所述服务端对应的所述数据值之间完全不同；

随机在所有所述数据值中抽取一个所述数据值，并将该数据值所对应的服务端选择为执行服务的服务端。

7.一种分布式服务集群的负载均衡装置，其特征在于，包括：

响应时间统计模块，用于在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

服务端选择模块，用于根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务。

8.根据权利要求7所述的装置，其特征在于，所述服务端选择模块，具体用于：

所述服务端的平均响应时间越短，在后续调用服务的过程中被选择执行服务的概率越大。

9.根据权利要求7所述的装置，其特征在于，还包括：

计算模块，用于采用预置计算逻辑对各服务端执行服务的所述平均响应时间进行计算，得到各个服务端的负载权重值，所述平均响应时间越短对应的所述负载权重值越大；

所述服务端选择模块，具体用于：

根据各所述服务端的所述负载权重值，确定各服务端被选择执行服务的概率，并根据概率选择服务端执行服务。

10.根据权利要求9所述的装置，其特征在于，所述计算模块，具体用于：

计算执行相同服务项的所有服务端的平均响应时间的和值，并计算该和值与除当前服务端的其他服务端的平均响应时间的和值之间的差值，将所述差值作为所述当前服务端的所述负载权重值。

11.根据权利要求9所述的装置，其特征在于，所述服务端选择模块，具体用于：

计算执行相同服务项的所有服务端的所述负载权重值的和值，并将每个所述服务端的所述负载权重值在该和值中所占比例确定为相应服务端在后续调用服务的过程中被选择执行服务的概率。

12.根据权利要求9所述的装置，其特征在于，所述服务端选择模块，具体用于：

根据各所述服务端被选择执行服务的概率为每个服务端设置相应比例个数的数据值且每两个所述服务端对应的所述数据值之间完全不同；

随机在所有所述数据值中抽取一个所述数据值，并将该数据值所对应的服务端选择为执行服务的服务端。

13.一种电子设备，其特征在于，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，以用于：

在执行相同服务项的远程过程调用服务过程中，统计各服务端执行服务的平均响应时间；

根据各服务端对应的所述平均响应时间，在后续调用服务的过程中选择服务端执行服务。