CN102891868B - 一种分布式系统的负载均衡方法及装置 - Google Patents

Abstract

本发明公开了一种分布式系统的负载均衡方法及装置，在分布式系统中，实时对各主服务器的负荷和网口流量进行监控，当主服务器的负荷超出预设门限，或该服务器对应的各网口流量低于最小正常值，或各网口流量均超出最高限制值时，对该主服务器与备用服务器进行主备切换。从而能够有效地避免因仅靠流量大小来确定服务器的可用性而导致的片面性，防止因对部分信息交互少但计算复杂的服务的误判，且能更为准确地判断服务器的繁忙（适用）程度，实现真正的自适应负载均衡服务调度机制，确保高效利用所有硬件资源，有效控制系统过载的发生概率。

Description

一种分布式系统的负载均衡方法及装置

技术领域

本发明涉及一种负载均衡技术，尤其涉及一种分布式环境下的负载均衡技术。

背景技术

随着工业控制系统的进一步延伸和发展，需要提供更为强大的处理能力，以便能够更为及时的处理与日俱增的用户访问量和处理请求。一般通过设置一系列提供相同服务内容的服务器以组成服务器集群来响应客户端的处理请求。在收到来自客户端的处理请求后，需要进行负载均衡计算以决定将该请求具体发往哪一台服务器进行处理。

分布式系统给用户提供了一个丰富的资源集合，因而日益得以广泛的应用并受到人们的重视，在现有技术中，一般按照集群中的各台计算机或者服务器的网口流量来进行负载均衡计算，判定各台计算机或服务器的负载状况。然而随着研究的深入进行，本发明发明人发现，使用网口流量进行负载均衡计算，在某些时刻，分布式系统中一些服务器的负载很重而另外一些服务器的负载却很轻。进而本发明的发明人发现流量的大小对于服务器或计算机的负载的体现有很大片面性，有的服务信息交互虽然少，但是计算复杂。鉴于各台服务器之间存在个体性能差异，及服务所耗资源的差异，仅依靠网口流量来进行负载均衡计算，无法实现真正的自适应负载均衡服务调度机制，不能高效利用所有硬件资源，不能有效控制系统过载的发生概率。

发明内容

本发明主要解决的技术问题是提供一种分布式系统的负载均衡方法及装置，使得能够更合理、准确地判断分布式系统中服务器的繁忙程度，实现真正的自适应负载均衡服务调度机制，高效利用所有硬件资源，有效控制系统过载的发生概率。

为了解决上述技术问题，本发明提供了一种分布式系统的负载均衡方法，系统中各服务分布在不同工业网络的各服务器中，一个服务分布在多个服务器上，由多个服务器提供相同服务，进行服务备份，其中一个服务器为主服务器，其余为备份服务器，每个服务器对应多个网卡，进行网络备份，该方法包含以下步骤：

在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择多个空闲网口，将该网口对应的接入地址返回给客户端；客户端从接入地址获取所请求的服务；

实时对各主服务器的负荷和网口流量进行监控，在主服务器的负荷超出预设门限，或该主服务器对应的各网口中至少n个网口流量低于最小正常值，或该主服务器对应的各网口中至少m个网口流量超出最高限制值时，对该主服务器与备用服务器进行主备切换，其中，m、n大于等于1，小于等于该服务器对应的所有网口数量。

作为上述技术方案的改进，服务器负荷可以包括：CPU负荷、内存占用率、服务器上各服务的负荷；而主服务器的负荷超出预设门限可以包含各种情况，如主服务器CPU负荷超出预设门限；主服务器内存占用率超出预设门限；和主服务器上主要服务的负荷超出预设门限等，这里的主要服务为预先选定的服务。

作为上述技术方案的改进，实时对各主服务器的负荷和网口流量进行监控的步骤之前，还可以包含以下步骤：各主服务器定时上报本服务器负荷信息和该服务器对应的各网口流量。

作为上述技术方案的改进，根据被请求服务所在的主服务器的各网口流量进行选择的步骤之前，还可以进一步包含以下步骤：

对分布式系统中各服务进行注册，保存服务与所在服务器之间、服务与网口之间的对应关系。

根据被请求服务所在的主服务器的各网口流量进行选择，从中选择至少一个空闲网口的步骤中，根据对应关系确定候选网口，从这些候选网口中选择空闲网口。

作为上述技术方案的改进，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择至少一个空闲网口的步骤中，选择一主用空闲网口和一备用空闲网口；

将该网口对应的接入地址返回给客户端的步骤中，返回的接入地址包括：服务名、主用网口IP地址+端口号、备用网口的IP地址。

本发明还提供了一种分布式系统的负载均衡装置，系统中各服务分布在不同工业网络的各服务器中，一个服务分布在多个服务器上，由多个服务器提供相同服务，进行服务备份，其中一个服务器为主服务器，其余为备份服务器，每个服务器对应多个网卡，进行网络备份，该装置包含：

网口选择模块，用于在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择至少一个空闲网口；入口返回模块，用于将网口选择模块选择的网口对应的接入地址返回给客户端，指示客户端从接入地址获取所请求的服务；主备切换模块，在主服务器与备用服务器之间进行主备切换；监控模块，用于实时对各主服务器的负荷和网口流量进行监控，在主服务器的负荷超出预设门限，或主服务器对应的各网口中至少n个网口流量低于最小正常值，或该主服务器对应的各网口中至少m个网口流量超出最高限制值时，指示主备切换模块对该主服务器与备用服务器进行主备切换，其中，m、n大于等于1，小于等于该服务器对应的所有网口数量。

作为上述技术方案的改进，服务器负荷还可以包括：CPU负荷、内存占用率、服务器上各服务的负荷；而主服务器的负荷超出预设门限可以包含多种情况，如主服务器CPU负荷超出预设门限；主服务器内存占用率超出预设门限；和主服务器上主要服务的负荷超出预设门限等，这里的主要服务为预先选定的服务。

作为上述技术方案的改进，该装置可以包含：接收模块，用于定期从各主服务器接收该服务器的负荷信息和该服务器对应的各网口流量。

作为上述技术方案的改进，该装置还可以进一步包含：注册模块，用于对分布式系统中各服务进行注册，保存服务与所在服务器之间、服务与网口之间的对应关系；网口选择模块根据注册模块中保存的对应关系确定候选网口，从这些候选网口中选择空闲网口。

作为上述技术方案的改进，网口选择模块中进一步包含以下子模块：

选择一主用空闲网口的子模块；

选择一备用空闲网口的子模块；

入口返回模块返回的接入地址包括：服务名、主用网口IP地址+端口号、备用网口的IP地址。

本发明实施方式与现有技术相比，主要区别及其效果在于：在分布式系统中，将各服务分布在不同工业网络的各服务器中，一个服务至少分布在两个服务器上，由至少两个服务器提供相同服务，进行服务备份，其中一个服务器为主服务器，其余为备份服务器，每个服务器对应至少两个网卡，用于进行网络备份。且需要实时对各主服务器的负荷和网口流量进行监控，当主服务器的负荷超出预设门限，或该服务器对应的网口流量低于最小正常值，或网口流量超出最高限制值时，对该主服务器与备用服务器进行主备切换。在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择至少一个空闲网口，将该网口对应的接入地址返回给客户端，客户端从接入地址获取所请求的服务。由于在综合地考虑了服务器的负荷情况及其网口流量后，才确定该服务器的繁忙程度，判断是否适合继续提供服务，并根据判断结果来进行主从服务器的切换，进而控制服务分配，从而能够有效地避免因仅靠流量大小来确定服务器的可用性而导致的片面性，防止对部分信息交互少但计算复杂的服务的误判，且能更为准确地判断服务器的繁忙、适用程度，实现真正的自适应负载均衡服务调度机制，确保高效利用所有硬件资源，有效控制系统过载的发生概率。

主服务器的负荷超出预设门限可以包含各种情况，如主服务器CPU负荷超出预设门限；主服务器内存占用率超出预设门限；主服务器上主要服务的负荷超出预设门限，这里的主要服务为预先选定的服务。其中，对服务器的CPU负荷和内存占用率的判断是从整体上综合考虑服务器的运能情况；而对服务器上主要服务的负荷进行判断，则主要针对：一个服务器能够提供多种服务，但其最终常被调用的服务集中在某一个或少数几个服务上，从而导致只要连接到该服务器的客户端，请求的均是该固定的一个或几个服务。在这种情况下，虽然服务器的CPU负荷和内存占用率可能未超标，但是该热门服务本身已无法承受如此大的负荷，同样需要对其进行负载均衡。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1是本发明第一实施方式的分布式系统的负载均衡方法中的主从设备的判断切换流程图；

图2是本发明第一实施方式的分布式系统的负载均衡方法中服务网口的选择流程图；

图3是本发明第二实施方式的分布式系统的负载均衡装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种分布式系统的负载均衡方法。在分布式系统中，将各服务分布在不同工业网络的各服务器中，一个服务可以分布在多个服务器上，由多个服务器提供相同服务，进行服务备份，其中一个服务器为主服务器，其余为备份服务器，每个服务器对应多个网卡，用于进行网络备份。且各主服务器定时上报本服务器负荷信息和该服务器对应的各网口流量，由负载均衡装置根据其上报的信息，确定是否需要对该主服务器与备用服务器进行主备切换。

分布式系统中各服务需要进行注册，在进行服务注册时，需保存服务与所在服务器之间、服务与各服务器网口之间的对应关系，可保存在注册表中。其中，服务与所在服务器之间的对应关系中，包含该服务对应的各服务器中主服务器的信息；主服务器信息的保存可以有各种形式，如在该对应关系中排在最前面的服务器即为主服务器。

具体的分布式系统的负载均衡方法包括主从设备判断切换、和服务网口选择两部分，其中主从设备的判断和切换流程，如图1所示。

在步骤101中，各主服务器定时上报本服务器负荷信息和该服务器对应的各网口流量。其中，服务器负荷包括：CPU负荷、内存占用率和服务器上各服务的负荷等信息。举例而言，各主服务器每隔十分钟就上报本服务器的CPU负荷、内存占用率、服务器上各服务的负荷信息和该服务器对应的网口流量等信息。

负载均衡装置根据各主服务器上报的信息，实时对各主服务器的负荷和网口流量进行监控，如步骤102至步骤104所示。

在步骤102中，判断主服务器的负荷是否超出预设门限，如果主服务器的负荷超出预设门限，则进入步骤105；如果主服务器的负荷未超出预设门限，则进入步骤103。

具体地说，主服务器的负荷超出预设门限可以包含多种情况，如主服务器CPU负荷超出预设门限；主服务器内存占用率超出预设门限；主服务器上主要服务的负荷超出预设门限等，这里的主要服务则为预先选定的一个或几个服务。

其中，对服务器的CPU负荷和内存占用率的判断是从整体上综合考虑服务器的运能情况；而对服务器上主要服务的负荷进行判断，则主要针对：一个服务器能够提供多种服务，但其最终常被调用的服务集中在某一个或少数几个服务上，从而导致只要连接到该服务器的客户端，请求的均是该固定的一个或几个服务。在这种情况下，虽然服务器的CPU负荷和内存占用率可能未超标，但是该热门服务本身已无法承受如此大的负荷，同样需要对其进行负载均衡。

在步骤103中，判断该主服务器对应的各网口中是否有至少n个网口流量低于最小正常值，即网络是否不通。如果该主服务器对应的各网口中有超过n（含n）个网口流量低于最小正常值，则判定网络故障，进入步骤105；如果该主服务器对应的各网口中流量低于最小正常值的网口数量少于n，则判定网络正常，进入步骤104中。其中n可以根据实际情况设置，n大于等于1，小于等于该服务器对应的所有网口数量。假设n为1，则主服务器对应的各网口中只要有一个网口流量低于最小正常值，即认为其网络故障，进入步骤105；否则认为网络正常，进入步骤104。

在步骤104中，判断该主服务器对应的各网口中是否有至少m个网口流量超出最高限制值，即网络是否过忙。如果有超过m（含m）个网口流量超出最高限制值，则说明网络过忙，不适合再增加新的服务，进入步骤105；如果各网口中超出最高限制值的网口数量少于m，则认为网络正常，返回步骤102，重新实时对各主服务器的负荷和网口流量进行监控。其中m可以根据实际情况设置，m大于等于1，小于等于该服务器对应的所有网口数量。假设m为3，则主服务器对应的各网口中有3个以上（含3个）网口流量超出最高限制值，才认为该服务器网络过忙，进入步骤105；否则认为网络正常，返回步骤102。

在步骤105中，对该主服务器与备用服务器进行主备切换。在对服务器进行主备切换后，更新服务与所在服务器之间的对应关系中的主服务器信息。接着返回步骤102，重新实时对各主服务器的负荷和网口流量进行监控，继续循环监控。

由于在综合地考虑了服务器的负荷情况及其网口流量后，才确定该服务器的繁忙程度，判断是否适合继续提供服务，并根据判断结果来进行主从服务器的切换，能够有效地避免因仅靠流量大小来确定服务器的可用性而导致的片面性，防止因对部分信息交互少但计算复杂的服务的误判，且能更为准确地判断服务器的繁忙、适用程度。

下面对负载均衡中服务网口的选择进行说明：

当收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择空闲网口，将空闲网口对应的接入地址返回给客户端，客户端从接入地址获取所请求的服务。具体的分布式系统的负载均衡方法中服务网口的选择流程，如图2所示。

在步骤201中，收到来自客户端的服务请求。

在步骤202中，根据被请求服务，和注册表中保存的服务与所在服务器之间的对应关系，找到其所在的主服务器。

步骤203中，根据注册时保存的服务与各服务器网口之间的对应关系，确定该主服务器上对应该服务的网口，即候选网口。根据实际应用中设置的不同，部分情况下，候选网口即为该服务器所有网口，部分情况下，候选网口为该服务器的部分网口。

在步骤204中，对该主服务器的各候选网口的流量进行判断，并从中选择空闲网口。

具体地说，可以预先设置一门限值，当一网口流量低于这个门限值时，该网口即被认定为空闲网口。根据此门限值确定多个空闲网口，并从中选择一主用空闲网口和一备用空闲网口。

在步骤205中，将该网口对应的接入地址返回给客户端。其中，返回的接入地址包括：服务名、主用网口IP地址+端口号、备用网口的IP地址。之后，客户端可以从该接入地址获取所请求的服务。

综上所述，在现有技术中，一般按照集群中的各台计算机或者服务器的网口流量来进行负载均衡计算，判定各台计算机或服务器的负载状况。而本实施方式中，需要实时对各主服务器的负荷和网口流量进行监控，当主服务器的负荷超出预设门限，或该服务器对应的各网口流量低于最小正常值，或各网口流量超出最高限制值时，对该主服务器与备用服务器进行主备切换。在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择空闲网口，将该网口对应的接入地址返回给客户端，客户端从接入地址获取所请求的服务。由于在综合地考虑了服务器的负荷情况及其网口流量后，才确定该服务器的繁忙程度，判断是否适合继续提供服务，并根据判断结果来进行主从服务器的切换，进而控制服务分配，从而能够有效地避免因仅靠流量大小来确定服务器的可用性而导致的片面性，防止对部分信息交互少但计算复杂的服务的误判，且能更为准确地判断服务器的繁忙、适用程度，实现真正的自适应负载均衡服务调度机制，确保高效利用所有硬件资源，有效控制系统过载的发生概率。

本发明第二实施方式涉及一种分布式系统的负载均衡装置，如图3所示，系统中各服务分布在不同工业网络的各服务器中，一个服务分布在多个服务器上，由多个服务器提供相同服务，进行服务备份，其中一个服务器为主服务器，其余为备份服务器，每个服务器对应多个网卡，进行网络备份，该装置包含：

主备切换模块，在主服务器与备用服务器之间进行主备切换；监控模块，用于实时对各主服务器的负荷和网口流量进行监控，在主服务器的负荷超出预设门限，或主服务器对应的各网口中至少n个网口流量低于最小正常值，或主服务器对应的各网口中至少m个网口流量超出最高限制值时，指示主备切换模块对该主服务器与备用服务器进行主备切换，其中，m、n大于等于1，小于等于该服务器对应的所有网口数量；网口选择模块，用于在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择空闲网口；入口返回模块，用于将网口选择模块选择的网口对应的接入地址返回给客户端，指示客户端从接入地址获取所请求的服务。

作为进一步改进，服务器负荷可以包含：CPU负荷、内存占用率、服务器上各服务的负荷等；而主服务器的负荷超出预设门限可以包含：主服务器CPU负荷超出预设门限；或者主服务器内存占用率超出预设门限；或者主服务器上主要服务的负荷超出预设门限，其中，主要服务为预先选定的一个或几个服务。

作为进一步改进，该装置还可以包含：接收模块，用于定期从各主服务器接收该服务器的负荷信息和该服务器对应的各网口流量；注册模块，用于对分布式系统中各服务进行注册，保存服务与所在服务器之间、服务与各服务器网口之间的对应关系，其中，服务与所在服务器之间的对应关系中，还保存该服务对应的各服务器中主服务器的信息；主服务器信息的保存可以有各种形式，如在该对应关系中排在最前面的服务器即为主服务器；该注册模块还用于在主备切换模块对服务器进行主备切换后，更新该对应关系中主服务器信息。网口选择模块根据注册模块中保存的服务与所在服务器之间的对应关系，确定该服务对应的主服务器，根据服务与各服务器网口之间的对应关系，确定候选网口，从候选网口中选择空闲网口。

作为进一步改进，网口选择模块中可以进一步包含以下子模块：选择一主用空闲网口的子模块；选择一备用空闲网口的子模块。其中，入口返回模块返回的接入地址包括：服务名、主用网口IP地址+端口号、备用网口的IP地址。

综上所述，在分布式系统中，实时对各主服务器的负荷和网口流量进行监控，当主服务器的负荷超出预设门限，或该服务器对应的各网口流量低于最小正常值，或各网口流量均超出最高限制值时，对该主服务器与备用服务器进行主备切换。在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从中选择空闲网口，将该网口对应的接入地址返回给客户端，客户端从接入地址获取所请求的服务。从而能够有效地避免因仅靠流量大小来确定服务器的可用性而导致的片面性，防止对部分信息交互少但计算复杂的服务的误判，且能更为准确地判断服务器的繁忙、适用程度，实现真正的自适应负载均衡服务调度机制，确保高效利用所有硬件资源，有效控制系统过载的发生概率。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种分布式系统的负载均衡方法，其特征在于，系统中各服务分布在不同工业网络的各服务器中，一个服务至少分布在两个服务器上，由所述至少两个服务器提供相同服务，进行服务备份，其中一个服务器为主服务器，其余为备份服务器，每个服务器对应至少两个网卡，进行网络备份，该方法包含以下步骤：

实时对所述各主服务器的负荷和网口流量进行监控，在所述主服务器的负荷超出预设门限，或该主服务器对应的各网口中至少n个网口流量低于最小正常值，或该主服务器对应的各网口中至少m个网口流量超出最高限制值时，对该主服务器与备用服务器进行主备切换，其中，m、n大于等于1，小于等于该服务器对应的所有网口数量；

对所述分布式系统中各服务进行注册，保存服务与所在服务器之间、服务与网口之间的对应关系，根据所述对应关系确定候选网口；

在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，从所述候选网口中选择至少一空闲网口，将该网口对应的接入地址返回给所述客户端；

所述客户端从所述接入地址获取所请求的服务。

2.根据权利要求1所述的分布式系统的负载均衡方法，其特征在于，所述服务器负荷至少包括以下之一或其任意组合：

CPU负荷、内存占用率、服务器上各服务的负荷；

所述主服务器的负荷超出预设门限至少包含以下情况之一：

主服务器CPU负荷超出预设门限；或者

主服务器内存占用率超出预设门限；或者

主服务器上主要服务的负荷超出预设门限，所述主要服务为预先选定的至少一项服务。

3.根据权利要求2所述的分布式系统的负载均衡方法，其特征在于，所述实时对各主服务器的负荷和网口流量进行监控的步骤之前，还包含以下步骤：

各主服务器定时上报本服务器负荷信息和该服务器对应的各网口流量。

4.根据权利要求1至3中任意一项所述的分布式系统的负载均衡方法，其特征在于，所述根据被请求服务所在的主服务器的各网口流量进行选择，从中选择至少一个空闲网口的步骤中，选择一主用空闲网口和一备用空闲网口；

所述将该网口对应的接入地址返回给所述客户端的步骤中，返回的接入地址包括：服务名、主用网口IP地址+端口号、备用网口的IP地址。

5.一种分布式系统的负载均衡装置，其特征在于，系统中各服务分布在不同工业网络的各服务器中，一个服务至少分布在两个服务器上，由所述至少两个服务器提供相同服务，进行服务备份，其中一个服务器为主服务器，其余为备份服务器，每个服务器对应至少两个网卡，进行网络备份，该装置包含：

主备切换模块，在主服务器与备用服务器之间进行主备切换；

监控模块，用于实时对所述各主服务器的负荷和网口流量进行监控，在所述主服务器的负荷超出预设门限，或主服务器对应的各网口中至少n个网口流量低于最小正常值，或该主服务器对应的各网口中至少m个网口流量超出最高限制值时，指示所述主备切换模块对该主服务器与备用服务器进行主备切换，其中，m、n大于等于1，小于等于该服务器对应的所有网口数量；

注册模块，用于对所述分布式系统中各服务进行注册，保存服务与所在服务器之间、服务与网口之间的对应关系；

网口选择模块，用于在收到来自客户端的服务请求时，根据被请求服务所在的主服务器的各网口流量进行选择，所述网口选择模块根据所述注册模块中保存的对应关系确定候选网口，从所述候选网口中选择至少一空闲网口；

入口返回模块，用于将所述网口选择模块选择的网口对应的接入地址返回给所述客户端，指示所述客户端从所述接入地址获取所请求的服务。

6.根据权利要求5所述的分布式系统的负载均衡装置，其特征在于，所述服务器负荷至少包括以下之一或其任意组合：

CPU负荷、内存占用率、服务器上各服务的负荷；

所述主服务器的负荷超出预设门限至少包含以下情况之一：

主服务器CPU负荷超出预设门限；或者

主服务器内存占用率超出预设门限；或者

主服务器上主要服务的负荷超出预设门限，所述主要服务为预先选定的至少一项服务。

7.根据权利要求6所述的分布式系统的负载均衡装置，其特征在于，该装置还包含：

接收模块，用于定期从各主服务器接收该服务器的负荷信息和该服务器对应的各网口流量。

8.根据权利要求5至7中任意一项所述的分布式系统的负载均衡装置，其特征在于，所述网口选择模块中进一步包含以下子模块：

选择一主用空闲网口的子模块；

选择一备用空闲网口的子模块；

所述入口返回模块返回的接入地址包括：服务名、主用网口IP地址+端口号、备用网口的IP地址。