CN104023083B - 日志收集集群负载均衡的方法及装置 - Google Patents

Abstract

本发明公开了一种日志收集集群负载均衡的方法及装置。所述方法包括：通过zookeeper同步日志服务器的状态信息；根据日志服务器的状态信息确定日志服务器数据结构的指针的数组；接收日志客户端发送来的日志；以轮询数组的方式确定为所述日志分配的日志服务器的指针；将所述日志转发到确定的为所述日志分配的日志服务器的指针所指向的日志服务器。本发明通过zookeeper实现日志收集服务器与日志服务器之间的通信，由于zookeeper是一个集群，避免了单点故障的问题；根据日志服务器的状态信息为接收到的日志分配日志服务器进行存储，实现了负载均衡。

Description

日志收集集群负载均衡的方法及装置

技术领域

本发明实施例涉及网络技术，尤其涉及一种日志收集集群负载均衡的方法及装置。

背景技术

日志收集集群，是多台日志收集服务器组成的服务集群，日志发送客户端向集群发送数据，数据会保存到集群的机器中，并提供数据的访问接口。现有技术中，日志收集集群的实现方法包括：上传服务器接收中央控制器发送的携带至少一个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；上传服务器从保存的节点收集服务器的地址信息中选定一个待接收日志的节点收集服务器的地址信息；上传服务器根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器；节点收集服务器将来自上传服务器的日志汇总到中央收集服务器。

但是，现有技术中，由一个中央控制器实现上传服务器与节点收集服务器的通信，如果该中央控制器出现问题，整个系统便不能继续工作，存在单点故障问题；现有技术没有考虑中央收集服务器的负载问题，当中央收集服务器为单台机器时，能承受的流量是有限的，如果流量超过限制值就会发生失包，造成日志丢失，当中央收集服务器是一个集群时，没有考虑负载均衡的问题。

发明内容

有鉴于此，本发明实施例提供一种日志收集集群负载均衡的方法及装置，以解决单点故障问题，实现负载均衡。

第一方面，本发明实施例提供了一种日志收集集群负载均衡的方法，所述方法包括：

通过zookeeper同步日志服务器的状态信息；

根据日志服务器的状态信息确定日志服务器数据结构的指针的数组；

接收日志客户端发送来的日志；

以轮询数组的方式确定为所述日志分配的日志服务器的指针；

将所述日志转发到确定的为所述日志分配的日志服务器的指针所指向的日志服务器。

第二方面，本发明实施例还提供了一种日志收集集群负载均衡的装置，所述装置包括：

同步模块，用于通过zookeeper同步日志服务器的状态信息；

第一确定模块，用于根据日志服务器的状态信息确定日志服务器数据结构的指针的数组；

接收模块，用于接收日志客户端发送来的日志；

第二确定模块，用于以轮询数组的方式确定为所述日志分配的日志服务器的指针；

转发模块，用于将所述日志转发到所述第二确定模块确定的为所述日志分配的日志服务器的指针所指向的日志服务器。

本发明实施例提供的日志收集集群负载均衡的方法及装置，通过zookeeper同步日志服务器的状态信息，并根据日志服务器的状态信息确定日志服务器数据结构的指针的数组，以轮询数组的方式确定为接收到的日志客户端发送来的日志分配的日志服务器的指针，将所述日志转发到该指针所指向的日志服务器。通过zookeeper实现日志收集服务器与日志服务器之间的通信，由于zookeeper是一个集群，避免了单点故障的问题；日志从发送到最终保存，只在日志服务器上写了一次的磁盘，中间的过程均是经过网络和内存的处理，性能相比写磁盘好很多；根据日志服务器的状态信息为接收到的日志分配日志服务器进行存储，实现了负载均衡。

附图说明

图1是本发明第一实施例提供的一种日志收集集群负载均衡的方法的流程图；

图2是本发明第二实施例提供的一种日志收集集群负载均衡的装置的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1示出了本发明的第一实施例。

图1是本发明第一实施例提供的一种日志收集集群负载均衡的方法的流程图，该方法适用于日志收集集群的负载均衡，可由日志收集服务器执行。其中，负载均衡，是指对日志的处理，应该根据集群中日志服务器的当前负荷，将处理日志的任务分配给集群中的机器，以保证日志集群的正常可用。在一个日志收集集群中，可以包括多台日志客户端、一台或者多台日志收集服务器、zookeeper、多台日志服务器。其中，zookeeper是一个集群。该方法具体包括如下步骤：

步骤110，通过zookeeper同步日志服务器的状态信息。

日志服务器启动后便连接上zookeeper，zookeeper便可获取日志服务器的状态信息，其中，日志服务器的状态信息包括日志服务器可用或者不可用，及日志服务器的优先级值。其中，各个日志服务器的优先级值可根据每个日志服务器的磁盘存储量来确定，优先级值越大表示可存储的日志越多，当某个日志服务器的优先级值为0时，表示该日志服务器不再接收日志进行存储。日志收集服务器从启动开始，便连接上zookeeper，实时获取zookeeper上的日志服务器的状态信息，即zookeeper上的日志服务器的状态信息有变化时，便通过调用回调函数通知日志收集服务器，实现日志收集服务器通过zookeeper同步日志服务器的状态信息。

其中，zookeeper是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。zookeeper表现出来是一个分布式名字服务，就好像文件系统那样，是一些虚拟的目录与文件，其中的文件有持久化与非持久化之分。持久化文件就是，建立文件的客户端与zookeeper的tcp连接断开后，文件依然会存在于zookeeper中；非持久化文件，在维持客户端与zookeeper的tcp连接的session断开后，文件就随之被删除。另外，zookeeper有回调的机制，客户端可对名字服务中的节点进行状态监控，当相应节点的内容有变化时，会执行相应的回调函数，实现对zookeeper的节点的内容的监控。该日志收集集群负载均衡的方法中，日志服务器在zookeeper中是非持久节点，以便于有日志服务器出现问题时zookeeper可以随时删除该节点。

优选的，通过zookeeper同步日志服务器的状态信息，包括：

连接zookeeper，获取zookeeper的日志服务器目录，其中，所述日志服务器目录包括日志服务器列表和日志服务器的优先级值；

监控zookeeper的日志服务器目录；

如果zookeeper的日志服务器目录发生变化，则更新自身保存的日志服务器列表和/或日志服务器的优先级值。

日志收集服务器从启动开始便连接上zookeeper，获取zookeeper中的日志服务器目录，其中，所述日志服务器目录包括日志服务器列表和日志服务器的优先级值，日志服务器在zookeeper中是非持久节点，以便于有日志服务器出现问题时zookeeper可以随时删除该节点，即更新日志服务器目录；日志收集服务器通过zookeeper的回调函数实现对zookeeper的日志服务器目录的监控，当日志服务器目录有变化时，zookeeper会通过调用回调函数向日志收集服务器发送日志服务器目录的变化信息；如果zookeeper的日志服务器目录发生变化，日志服务器目录发生变化有可能是增加或者删除了某个日志服务器(即有日志服务器启动了日志服务程序或者关闭了日志服务程序)或者是某个日志服务器的优先级值改变了，当增加或者删除了某个日志服务器时日志收集服务器更新自身保存的日志服务器列表和日志服务器的优先级值，当某个日志服务器的优先级值改变时，日志收集服务器更新该日志服务器的优先级值。

步骤120，根据日志服务器的状态信息确定日志服务器数据结构的指针的数组。

日志收集服务器根据日志服务器的状态信息(即日志服务器可用或者不可用，及各个日志服务器的优先级值)，申请一个数组长度为各个日志服务器的优先级值之和的数组，用于存储各个日志服务器数据结构的指针，以便于后续实现通过确定为日志分配的日志服务器的指针确定为日志分配的日志服务器，实现负载均衡。当zookeeper中的日志服务器节点为非持久化节点时，日志服务器的状态信息便是可用的日志服务器及相应的优先级值，这时，日志收集服务器便可以申请一个数组长度为可用的日志服务器的优先级值之和的数组，用于存储可用的各个日志服务器数据结构的指针，在该数组中，用于存储日志服务器数据结构的指针的数量与该日志服务器的优先级值相等。日志收集服务器按照各个日志服务器的优先级值随机向该日志服务器数据结构的指针的数组中放入指向各个日志服务器的指针。

优选的，根据日志服务器的状态信息确定日志服务器数据结构的指针的数组，包括：

从zookeeper中获取日志服务器列表和各个日志服务器的优先级值；

计算日志服务器列表中各个日志服务器的优先级值的总和；

申请一个大小为所述日志服务器的优先级值的总和的数组的空间；

根据日志服务器的优先级值随机向数组放入日志服务器数据结构的指针。

例如：日志服务器列表存在三个日志服务器/log/server/log_server1、/log/server/log_server2和/log/server/log_server3，各自的优先级值分别为2、2、3；计算日志服务器列表中各个日志服务器的优先级值的总和，则为2+2+3＝7；申请一个数组的空间，其大小为优先级值总和7；以抽奖的形式，随机向数组放入日志服务器数据结构的指针，如：首先对log_server1抽第一次，利用rand(1,7),抽到5，由数组的第1个位置开始数，空的才算数，数到第5个，第5个就放入log_server1的指针，由于log_server1的优先级值为2，则再对Log_server1抽第二次，rand(1,6),抽到2，2就放入log_server1指针；由于log_server1的优先级为2，所以抽2次，接下来对log_server2进行随机分配；log_server2抽第一次，rand(1,5),抽到5，由第1个开始数，空的才算数，数到第5个，也就是数组的第7个位置(前面2和5都被占了)，放入log_server2的指针；如此类推，就能把日志服务器的指针，按优先级打散到数组中去。则日志收集服务器对日志进行存储时，会按照该数组为日志分配存储该日志的日志服务器，对于该例子来说，会有2/7的日志会存储到log_server1，有2/7的日志会存储到log_server2，有3/7的日志会存储到log_server2，从而实现了负载均衡。

步骤130，接收日志客户端发送来的日志。

日志客户端产生的日志，会发送到日志收集服务器，日志收集服务器接收日志客户端发送来的日志，保存到自己的内存中。日志客户端向日志收集服务器发送日志时用端口来区分不同业务，如500端口用来发送邮件日志。

步骤140，以轮询数组的方式确定为所述日志分配的日志服务器的指针。

日志收集服务器通过对接收到的日志进行计数，通过该计数对日志服务器数据结构的指针的数组的数组长度进行求余计算，以确定为所述日志分配的日志服务器的指针所处日志服务器数据结构的指针的数组的位置，从而确定为所述日志分配的日志服务器的指针。

优选的，以轮询数组的方式确定为所述日志分配的日志服务器的指针，包括：

通过计数器对接收到的日志进行计数；

通过下式计算为所述日志分配的日志服务器的指针位于数组中的位置：

ind＝index％len

其中，ind为日志服务器指针位于数组中的位置，index为计数器的计数，len为日志服务器数据结构的指针的数组的数组长度，％表示求余，上式表示的即为轮询数组的方式；

根据日志服务器的指针位于数组中的位置确定为所述日志分配的日志服务器的指针。

步骤150，将所述日志转发到确定的为所述日志分配的日志服务器的指针所指向的日志服务器。

日志收集服务器将接收到的日志转发到确定的为所述日志分配的日志服务器的指针所指向的日志服务器，由日志服务器将该日志存储到该日志服务器的磁盘中。

优选的，所述日志收集集群负载均衡的方法还包括：

日志服务器启动日志服务程序，连接zookeeper；

zookeeper在zookeeper的日志服务器节点中建立所述日志服务器的非持久化节点，并设置所述日志服务器的优先级值。

当新增日志服务器(也用于所有的日志服务器启动开始)时，该新增的日志服务器会启动日志服务程序，连接上zookeeper，zookeeper会在zookeeper的日志服务器节点(/log/server)中建立所述日志服务器的非持久化节点，如/log/server/log_server1,并把节点内容设置为0，日志收集服务器通过zookeeper的命令行接收人为设置的所述日志服务器的优先级值，如将/log/server/log_server1的优先级值设置为2，则该日志服务器便可以接收到日志。

优选的，所述日志收集集群负载均衡的方法还包括：

当日志服务器磁盘满或有问题时，通过zookeeper将该磁盘满或有问题的日志服务器的优先级设置为0；

该磁盘满或有问题的日志服务器关闭日志服务程序。

当日志服务器磁盘满或出现问题时，需要下架该日志服务器，首先通过zookeeper将该磁盘满或有问题的日志服务器的优先级设置为0，这里优先级的设置是通过接收人为对优先级的设置命令而实现的，让所有日志收集器不再向该磁盘满或有问题的日志服务器发送日志；然后该磁盘满或有问题的日志服务器关闭日志服务程序。

本实施例通过zookeeper同步日志服务器的状态信息，并根据日志服务器的状态信息确定日志服务器数据结构的指针的数组，以轮询数组的方式确定为接收到的日志客户端发送来的日志分配的日志服务器的指针，将所述日志转发到该指针所指向的日志服务器。通过zookeeper实现日志收集服务器与日志服务器之间的通信，由于zookeeper是一个集群，避免了单点故障的问题；日志从发送到最终保存，只在日志服务器上写了一次的磁盘，中间的过程均是经过网络和内存的处理，性能相比写磁盘好很多；根据日志服务器的状态信息为接收到的日志分配日志服务器进行存储，实现了负载均衡。

图2示出了本发明的第二实施例。

图2是本发明第二实施例提供的一种日志收集集群负载均衡的装置的示意图。本实施例提供的日志收集集群负载均衡的装置用于实现第一实施例提供的日志收集集群负载均衡的方法。如图2所示，本实施例所述的日志收集集群负载均衡的装置包括：同步模块210、第一确定模块220、接收模块230、第二确定模块240和转发模块250。

其中，同步模块210用于通过zookeeper同步日志服务器的状态信息。

优选的，所述同步模块包括：

连接子模块，用于连接zookeeper，获取zookeeper的日志服务器目录，其中，所述日志服务器目录包括日志服务器列表和日志服务器的优先级值；

监控子模块，用于监控zookeeper的日志服务器目录；

更新子模块，用于如果zookeeper的日志服务器目录发生变化，则更新自身保存的日志服务器列表和/或日志服务器的优先级值。

第一确定模块220，用于根据日志服务器的状态信息确定日志服务器数据结构的指针的数组。

优选的，所述第一确定模块包括：

获取子模块，用于从zookeeper中获取日志服务器列表和各个日志服务器的优先级值；

第一计算子模块，用于计算日志服务器列表中各个日志服务器的优先级值的总和；

申请子模块，用于申请一个大小为所述日志服务器的优先级值的总和的数组的空间；

存储子模块，用于根据日志服务器的优先级值随机向数组放入日志服务器数据结构的指针。

接收模块230用于接收日志客户端发送来的日志。

第二确定模块240用于以轮询数组的方式确定为所述日志分配的日志服务器的指针。

优选的，所述第二确定模块包括：

计数子模块，用于通过计数器对接收到的日志进行计数；

第二计算子模块，用于通过下式计算为所述日志分配的日志服务器的指针位于数组中的位置：

ind＝index％len

其中，ind为日志服务器指针位于数组中的位置，index为计数器的计数，len为日志服务器数据结构的指针的数组的数组长度，％表示求余；

确定子模块，用于根据日志服务器的指针位于数组中的位置确定为所述日志分配的日志服务器的指针。

转发模块250用于将所述日志转发到所述第二确定模块确定的为所述日志分配的日志服务器的指针所指向的日志服务器。

优选的，所述日志收集集群负载均衡的装置还包括：

启动模块，配置于日志服务器中，用于启动日志服务程序，连接zookeeper；

建立模块，配置于zookeeper中，用于在zookeeper的日志服务器节点中建立所述日志服务器的非持久化节点，并设置所述日志服务器的优先级值。

优选的，所述日志收集集群负载均衡的装置还包括：

设置模块，配置于zookeeper中，用于当日志服务器磁盘满或有问题时，将该磁盘满或有问题的日志服务器的优先级设置为0；

关闭模块，配置于日志服务器中，用于关闭日志服务程序。

本实施例通过同步模块210通过zookeeper同步日志服务器的状态信息，第一确定模块220根据日志服务器的状态信息确定日志服务器数据结构的指针的数组，接收模块230接收日志客户端发送来的日志，第二确定模块240以轮询数组的方式确定为所述日志分配的日志服务器的指针，转发模块250用于将所述日志转发到所述第二确定模块确定的为所述日志分配的日志服务器的指针所指向的日志服务器。通过zookeeper实现日志收集服务器与日志服务器之间的通信，由于zookeeper是一个集群，避免了单点故障的问题；日志从发送到最终保存，只在日志服务器上写了一次的磁盘，中间的过程均是经过网络和内存的处理，性能相比写磁盘好很多；根据日志服务器的状态信息为接收到的日志分配日志服务器进行存储，实现了负载均衡。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种日志收集集群负载均衡的方法，其特征在于，所述方法包括：

通过zookeeper同步日志服务器的状态信息；

根据日志服务器的状态信息确定日志服务器数据结构的指针的数组；

接收日志客户端发送来的日志；

以轮询数组的方式确定为所述日志分配的日志服务器的指针；

将所述日志转发到确定的为所述日志分配的日志服务器的指针所指向的日志服务器；

以轮询数组的方式确定为所述日志分配的日志服务器的指针，包括：

通过计数器对接收到的日志进行计数；

通过下式计算为所述日志分配的日志服务器的指针位于数组中的位置：

ind＝index％len

其中，ind为日志服务器指针位于数组中的位置，index为计数器的计数，len为日志服务器数据结构的指针的数组的数组长度，％表示求余；

根据日志服务器的指针位于数组中的位置确定为所述日志分配的日志服务器的指针。

2.根据权利要求1所述的方法，其特征在于，通过zookeeper同步日志服务器的状态信息，包括：

连接zookeeper，获取zookeeper的日志服务器目录，其中，所述日志服务器目录包括日志服务器列表和日志服务器的优先级值；

监控zookeeper的日志服务器目录；

如果zookeeper的日志服务器目录发生变化，则更新自身保存的日志服务器列表和/或日志服务器的优先级值。

3.根据权利要求1所述的方法，其特征在于，根据日志服务器的状态信息确定日志服务器数据结构的指针的数组，包括：

从zookeeper中获取日志服务器列表和各个日志服务器的优先级值；

计算日志服务器列表中各个日志服务器的优先级值的总和；

申请一个大小为所述日志服务器的优先级值的总和的数组的空间；

根据日志服务器的优先级值随机向数组放入日志服务器数据结构的指针。

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

日志服务器启动日志服务程序，连接zookeeper；

zookeeper在zookeeper的日志服务器节点中建立所述日志服务器的非持久化节点，并设置所述日志服务器的优先级值。

5.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

当日志服务器磁盘满或有问题时，通过zookeeper将该磁盘满或有问题的日志服务器的优先级设置为0；

该磁盘满或有问题的日志服务器关闭日志服务程序。

6.一种日志收集集群负载均衡的装置，其特征在于，所述装置包括：

同步模块，用于通过zookeeper同步日志服务器的状态信息；

第一确定模块，用于根据日志服务器的状态信息确定日志服务器数据结构的指针的数组；

接收模块，用于接收日志客户端发送来的日志；

第二确定模块，用于以轮询数组的方式确定为所述日志分配的日志服务器的指针；

转发模块，用于将所述日志转发到所述第二确定模块确定的为所述日志分配的日志服务器的指针所指向的日志服务器；

所述第二确定模块包括：

计数子模块，用于通过计数器对接收到的日志进行计数；

第二计算子模块，用于通过下式计算为所述日志分配的日志服务器的指针位于数组中的位置：

ind＝index％len

其中，ind为日志服务器指针位于数组中的位置，index为计数器的计数，len为日志服务器数据结构的指针的数组的数组长度，％表示求余；

确定子模块，用于根据日志服务器的指针位于数组中的位置确定为所述日志分配的日志服务器的指针。

7.根据权利要求6所述的装置，其特征在于，所述同步模块包括：

连接子模块，用于连接zookeeper，获取zookeeper的日志服务器目录，其中，所述日志服务器目录包括日志服务器列表和日志服务器的优先级值；

监控子模块，用于监控zookeeper的日志服务器目录；

更新子模块，用于如果zookeeper的日志服务器目录发生变化，则更新自身保存的日志服务器列表和/或日志服务器的优先级值。

8.根据权利要求6所述的装置，其特征在于，所述第一确定模块包括：

获取子模块，用于从zookeeper中获取日志服务器列表和各个日志服务器的优先级值；

第一计算子模块，用于计算日志服务器列表中各个日志服务器的优先级值的总和；

申请子模块，用于申请一个大小为所述日志服务器的优先级值的总和的数组的空间；

存储子模块，用于根据日志服务器的优先级值随机向数组放入日志服务器数据结构的指针。

9.根据权利要求6-8任一项所述的装置，其特征在于，还包括：

启动模块，配置于日志服务器中，用于启动日志服务程序，连接zookeeper；

建立模块，配置于zookeeper中，用于在zookeeper的日志服务器节点中建立所述日志服务器的非持久化节点，并设置所述日志服务器的优先级值。

10.根据权利要求6-8任一项所述的装置，其特征在于，还包括：

设置模块，配置于zookeeper中，用于当日志服务器磁盘满或有问题时，将该磁盘满或有问题的日志服务器的优先级设置为0；

关闭模块，配置于日志服务器中，用于关闭日志服务程序。