CN103227754A - 一种高可用集群系统负载动态均衡方法及节点设备 - Google Patents

Abstract

本发明公开了一种高可用集群系统负载动态均衡方法及节点设备，涉及集群系统。本发明公开的方法包括：各接口节点对自身进行周期性采样，采样信息包括获取接口节点与客户端间的进程连接数和接口节点的各类资源利用情况；当接口节点接收到客户端发起的访问请求时，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标；若所计算出的负载指标超过设定阈值，则拒绝客户端发起的访问请求，若所计算出的负载指标未超过设定阈值，则接受客户端发起的访问请求，与所述客户端建立连接。本发明还公开了一种高可用集群系统中节点设备。本申请技术方案提高了集群系统的并发性、响应性和可靠性。

Description

一种高可用集群系统负载动态均衡方法及节点设备

技术领域

本发明涉及集群系统，特别涉及一种高可用集群系统中负载动态均衡方案。

背景技术

基于CTDB实现的高可用集群系统(如图1所示)可保证部分接口节点发生故障时应用不被中断，而由于不具备负载均衡功能，高性能计算领域，如石油、勘探、地震、高能物理、空间信息处理等大规模、高并发访问或数据密集型应用很容易导致集群中个别接口节点负载过重，从而出现节点宕机的情况，降低了集群访问并发性并影响客户端访问性能。

常用的负载均衡方法是RR-DNS和LVS，其中RR-DNS无法感知集群节点的负载状态，对故障节点的调度过程不仅会造成不必要的网络负载，还会增加系统容错反应时间。另外，如果在一个TTL内多个域名请求被映射到同一IP地址，则会导致明显的负载失衡；而LVS仅支持Linux应用，对广泛的Windows应用则无能为力。

发明内容

本发明所要解决的技术问题是，提供一种高可用集群系统负载动态均衡方法及节点设备，以提高集群系统的并发性。

为了解决上述技术问题，本发明公开了一种高可用集群系统负载动态均衡方法，包括：

各接口节点对自身进行周期性采样，采样信息包括获取接口节点与客户端间的进程连接数和接口节点的各类资源利用情况；

当接口节点接收到客户端发起的访问请求时，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标；

若所计算出的负载指标超过设定阈值，则拒绝客户端发起的访问请求，若所计算出的负载指标未超过设定阈值，则接受客户端发起的访问请求，与所述客户端建立连接。

较佳地，上述方法中，所述接口节点的资源利用情况包括如下一种或几种：

CPU利用率、内存利用率、磁盘利用率、网络流量值

较佳地，上述方法中，将本接口节点的各采样信息进行过加权求和计算出本接口节点的负载指标指：

将本接口节点最近一次采样的所有采样信息进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

较佳地，上述方法中，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标指：

所述高可用集群系统将所获取的接口节点最近一次采样的各类采样信息与上一次采样的对应采样信息求和取平均值，再将接口节点的各类采样信息的平均值进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

较佳地，上述方法中，所计算出的负载指标超过设定阈值指：

所计算出的负载指标的值超过设定阈值。

较佳地，上述方法中，所计算出的负载指标超过设定阈值指，所计算出的负载指标在高可用集群系统的所有接口节点的负载指标排序的位置超过设定排序位置，此时，该方法还包括：

各接口节点分别以

频率在高可用集群系统中的samba网络中广播本接口节点每次采样的采样信息，接口节点根据接收到的其他接口节点的采样信息，确定本接口节点的负载指标在高可用集群系统的所有接口节点的负载指标排序的位置。

本发明还公开了一种高可用集群系统中节点设备，包括：

动态均衡(DLB-HA)模块，对本接口节点进行周期性采样，采样信息包括获取接口节点与客户端间的进程连接数和接口节点的各类资源利用情况，并在接收到客户端发起的访问请求时，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标；

处理模块，在DLB-HA模块所计算出的负载指标超过设定阈值时，拒绝客户端发起的访问请求，在DLB-HA模块所计算出的负载指标未超过设定阈值时，接受客户端发起的访问请求，与所述客户端建立连接。

较佳地，上述设备中，所述接口节点的资源利用情况包括如下一种或几种：

CPU利用率、内存利用率、磁盘利用率、网络流量值。

较佳地，上述设备中，所述DLB-HA模块，将所获取的接口节点最近一次采样的所有采样信息进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

较佳地，上述设备中，所述DLB-HA模块，将所获取的接口节点最近一次采样的各类采样信息与上一次采样的对应采样信息求和取平均值，再将接口节点的各类采样信息的平均值进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

较佳地，上述设备中，所述DLB-HA模块，所计算出的负载指标超过设定阈值指，所计算出的负载指标的值超过设定阈值，或者所计算出的负载指标在高可用集群系统的所有接口节点的负载指标排序的位置超过设定排序位置。

较佳地，上述设备还包括：

通信模块，以

频率在高可用集群系统中的samba网络中广播本接口节点每次采样的采样信息，并通过广播接收其他接口节点广播的采样信息；

所述DLB-HA模块，存储其他接口节点的采样信息，在接收到客户端发起的访问请求时，根据本接口节点的采样信息以及其他接口节点的采样信息，分别进行加权和计算，得到各接口节点的负载指标，并根据本接口节点的负载指标确定本接口节点在高可用集群系统的所有接口节点的负载指标排序中的位置。

本申请技术方案可适用于分布式、并行文件系统，能够减少因局部负载过大导致节点故障的可能性，从而提高集群系统的并发性、响应性和可靠性。

附图说明

图1为基于CTDB的高可用集群架构示意图；

图2为本实施例中高可用集群系统负载动态均衡流程图；

图3为本实施例中具有动态负载均衡功能的高可用集群架构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

实施例1

本申请发明人提出可以在高可用集群系统的各接口节点上分别添加DLB-HA(Dynamic Load Balancing in High Available cluster，动态均衡)模块，以实时获取本接口节点与客户端间的进程连接数和各类资源利用情况(各类资源至少包括CPU、内存、磁盘利用率和网络流量值)，再使用加权算法计算出本接口节点的负载指标，根据此负载指标来判断是否接口客户端的访问请求。从而使得客户端进程访问高可用集群系统时，可以优先选择那些负载指标值较小的接口节点(即负荷较小的接口节点)来进行数据处理，以达到动态负载均衡的目的，在提升客户端访问性能，保证高可用集群的稳定性和可靠性的同时，允许多平台客户端访问。

基于上述思想，本实施例提供一种高可用集群系统中的接口节点设备，该设备至少包括DLB-HA模块和处理模块。

DLB-HA模块，对本接口节点进行周期性采样，采样信息包括获取接口节点与客户端间的进程连接数和接口节点的各类资源利用情况，并在接收到客户端发起的访问请求时，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标；

其中，DLB-HA模块确定负载指标时，可以将所获取的接口节点最近一次采样的所有采样信息进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1，而不同信息的权重系数可参见具体应用环境来设置。当然，DLB-HA模块也可以将所获取的接口节点最近一次采样的各类采样信息与上一次采样的对应采样信息求和取平均值，再将接口节点的各类采样信息的平均值进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1，而不同信息的权重系数可参见具体应用环境来设置。需要说明的是，本实施例提供的两种确定负载指标的方式仅为示例，本申请并不限于这种两种负载指标的确定方式，只要能客观反映接口节点的负载情况的任何计算方式均可。

上述接口节点的资源利用情况包括如下一种或几种：

CPU利用率、内存利用率、磁盘利用率、网络流量值。

处理模块，判断DLB-HA模块所计算出的负载指标是否超过设定阈值，如果所计算出的负载指标超过设定阈值，则拒绝客户端发起的访问请求，如果所计算出的负载指标未超过设定阈值，则接受客户端发起的访问请求，与该客户端建立连接。

具体地，设定阈值可以是一个设定的负载指标的阈值，也可以是设定的负载指标排序位置。

当设定阈值为设定的负载指标排序位置时，处理模块，判断DLB-HA模块所计算出的负载指标是否超过设定阈值就是判断所计算出的负载指标在高可用集群系统的所有接口节点的负载指标排序的位置是否超过设定排序位置。

还要指出的是，当设定阈值为设定的负载指标排序位置时，上述接口节点设备还需要包括一通信模块，该模块以频率在高可用集群系统中的samba网络中广播本接口节点每次采样的采样信息，并通过广播接收其他接口节点广播的采样信息。此时，DLB-HA模块，存储其他接口节点的采样信息，在接收到客户端发起的访问请求时，根据本接口节点的采样信息以及其他接口节点的采样信息，分别进行加权和计算，得到各接口节点的负载指标，并根据本接口节点的负载指标确定本接口节点在高可用集群系统的所有接口节点的负载指标排序中的位置。其中，DLB-HA模块计算其他接口节点的负载指标的方法与计算本接口节点的负载指标的方法可以相同。

实施例2

本实施例提供一种高可用集群系统负载动态均衡方法，如图2所示，包括如下步骤100至300：

步骤100，各接口节点对自身进行周期性采样，采样信息包括获取接口节点与客户端问的进程连接数和接口节点的各类资源利用情况；

上述接口节点的资源利用情况包括如下一种或几种：

CPU利用率、内存利用率、磁盘利用率、网络流量值。

步骤200，当接口节点接收到客户端发起的访问请求时，将本接口节点的采样信息进行加权求和计算出本接口节点的负载指标；

该步骤中，可以将所获取的接口节点最近一次采样的所有采样信息进行加权求和运算得到接口节点的负载指标，或者将所获取的接口节点最近一次采样的各类采样信息与上一次采样的对应采样信息求和取平均值，再将接口节点的各类采样信息的平均值进行加权求和运算得到接口节点的负载指标。其中，所有采样信息的加权系数之和为1，而不同信息的权重系数可参见具体应用环境来设置。需要说明的是，本申请技术方案并不限于上述这两种负载指标的确定方式，只要能客观反映接口节点的负载情况的任何计算方式均可。

步骤300，判断所计算出的负载指标是否超过设定阈值，如果是，则拒绝客户端发起的访问请求，否则接受客户端发起的访问请求，与该客户端建立连接。

上述设定阈值可以是一个设定的负载指标的阈值，此时，接口节点即是通过一绝对阈值来确定本接口节点是否负载过重。另外，设定阈值也可以是设定的负载指标排序位置。也就是说，接口节点通过与集群系统中的所有接口节点比较来确定自身的负载情况是否过重。

特别指出的是，当设定阈值采用设定的负载指标排序位置时，各接口节点还需要以

频率在高可用集群系统中的samba网络中广播本接口节点每次采样的采样信息，同样的，各接口节点也可以通过广播接收其他接口节点广播的采样信息。这样，各接口节点只需要存储其他接口节点的采样信息，在接收到客户端发起的访问请求时，根据本接口节点的采样信息以及所存储的其他接口节点的采样信息，分别进行加权和计算，得到各接口节点的负载指标，从而根据本接口节点的负载指标确定本接口节点在高可用集群系统的所有接口节点的负载指标排序中的位置。其中，接口节点计算其他接口节点的负载指标的方法与计算本接口节点的负载指标的方法可以相同。

下面以图3所示的高可用集群系统为例说明上述方法的具体实现。假设高可用集群系统中接口节点、客户端的个数均设置为4个。其中，接口节点的个数可扩展。下面将详细阐述此高可用集群系统实现负载动态均衡的过程：

1)假设ctdb服务正常，即各接口节点对应固定的外部虚拟ip地址，同时具有其他节点与外部虚拟ip地址问的对应信息：

2)假设两连续采样点为P、Q，采样时间间隔T＝T_q-T_p，其中T_p、T_q分别为系统开机至此的时间间隔；

3)客户端通过域名或公共虚拟ip地址向高可用集群系统发送访问请求；

4)各接口节点以

频率在samba集群网络中广播上一采样点Q的采样信息，包括与客户端之间samba进程连接数量、CPU、内存利用率和网络流量值；

其中，由于CTDB集群具有两个独立的网络，一个内部网络用于CTDB进程间的通信，一个公共网络把Samba、NFS等服务提供给客户端。

5)接口节点收集由其他接口节点广播的T_q的采样信息，将其与T_p的各项信息求和取均值后，使用加权算法计算各接口节点负载指标，确定客户端发起访问请求的接口节点的负载指标在所有接口节点负载指标排序中的位置，此位置未超过设定位置时，接受此客户端的访问请求，与其建立samba连接；

其中，计算各接口节点的负载指标时，接口节点的各项采样信息的权重系数的大小要经过具体应用环境下的测试才能确定；各项采样信息的权重均为0-1之间的小数，所有采样信息的权重系数之和等于1。

6)向客户端返回连接建立成功信号，将客户端进程与接口节点对应信息在samba集群网络中广播；

7)开始数据处理过程，即处理客户端发送的访问请求。

另外，本发明能及时感知各接口节点服务状态，当某节点故障或samba、ctdb服务异常，该节点从samba集群网络中自动退出，不再向其他节点反馈其采样信息，即该节点不再属于备选节点集，从而减少了额外的网络负载，缩短了高可用集群系统的响应时间。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种高可用集群系统负载动态均衡方法，其特征在于，该方法包括：

各接口节点对自身进行周期性采样，采样信息包括获取接口节点与客户端间的进程连接数和接口节点的各类资源利用情况；

当接口节点接收到客户端发起的访问请求时，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标；

若所计算出的负载指标超过设定阈值，则拒绝客户端发起的访问请求，若所计算出的负载指标未超过设定阈值，则接受客户端发起的访问请求，与所述客户端建立连接。

2.如权利要求1所述的方法，其特征在于，

所述接口节点的资源利用情况包括如下一种或几种：

CPU利用率、内存利用率、磁盘利用率、网络流量值。

3.如权利要求1所述的方法，其特征在于，将本接口节点的各采样信息进行过加权求和计算出本接口节点的负载指标指：

将本接口节点最近一次采样的所有采样信息进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

4.如权利要求1所述的方法，其特征在于，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标指：

所述高可用集群系统将所获取的接口节点最近一次采样的各类采样信息与上一次采样的对应采样信息求和取平均值，再将接口节点的各类采样信息的平均值进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

5.如权利要求1至4任一项所述的方法，其特征在于，所计算出的负载指标超过设定阈值指：

所计算出的负载指标的值超过设定阈值。

6.如权利要求1至4任一项所述的方法，其特征在于，所计算出的负载指标超过设定阈值指，所计算出的负载指标在高可用集群系统的所有接口节点的负载指标排序的位置超过设定排序位置，此时，该方法还包括：

各接口节点分别以

频率在高可用集群系统中的samba网络中广播本接口节点每次采样的采样信息，接口节点根据接收到的其他接口节点的采样信息，确定本接口节点的负载指标在高可用集群系统的所有接口节点的负载指标排序的位置。

7.一种高可用集群系统中节点设备，其特征在于，该设备包括：

动态均衡(DLB-HA)模块，对本接口节点进行周期性采样，采样信息包括获取接口节点与客户端间的进程连接数和接口节点的各类资源利用情况，并在接收到客户端发起的访问请求时，将本接口节点的各采样信息进行加权求和计算出本接口节点的负载指标；

处理模块，在DLB-HA模块所计算出的负载指标超过设定阈值时，拒绝客户端发起的访问请求，在DLB-HA模块所计算出的负载指标未超过设定阈值时，接受客户端发起的访问请求，与所述客户端建立连接。

8.如权利要求7所述的设备，其特征在于，

所述接口节点的资源利用情况包括如下一种或几种：

CPU利用率、内存利用率、磁盘利用率、网络流量值。

9.如权利要求7所述的设备，其特征在于，

所述DLB-HA模块，将所获取的接口节点最近一次采样的所有采样信息进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

10.如权利要求7所述的设备，其特征在于，

所述DLB-HA模块，将所获取的接口节点最近一次采样的各类采样信息与上一次采样的对应采样信息求和取平均值，再将接口节点的各类采样信息的平均值进行加权求和运算得到接口节点的负载指标，其中，所有采样信息的加权系数之和为1。

11.如权利要求7至10任一项所述的设备，其特征在于，

所述DLB-HA模块，所计算出的负载指标超过设定阈值指，所计算出的负载指标的值超过设定阈值，或者所计算出的负载指标在高可用集群系统的所有接口节点的负载指标排序的位置超过设定排序位置。

12.如权利要求10所述的设备，其特征在于，该设备还包括：

通信模块，以频率在高可用集群系统中的samba网络中广播本接口节点每次采样的采样信息，并通过广播接收其他接口节点广播的采样信息；

所述DLB-HA模块，存储其他接口节点的采样信息，在接收到客户端发起的访问请求时，根据本接口节点的采样信息以及其他接口节点的采样信息，分别进行加权和计算，得到各接口节点的负载指标，并根据本接口节点的负载指标确定本接口节点在高可用集群系统的所有接口节点的负载指标排序中的位置。

Images