CN103812691A

CN103812691A - 一种集群负载均衡系统的日志统计系统及方法

Info

Publication number: CN103812691A
Application number: CN201410015535.6A
Authority: CN
Inventors: 戴纯兴
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2014-01-14
Filing date: 2014-01-14
Publication date: 2014-05-21

Abstract

本发明涉及一种日志统计技术领域，特别涉及一种集群负载均衡系统的日志统计系统及方法。本发明采用日志存储模块、日志统计模块、日志显示模块和日志传输模块，将负载均衡设备产生的日志存储到日志存储模块中，日志统计模块统计出相关特征数据，通过日志传输模块和日志显示模块将各个设备的数据统计结果联合显示。其通过相关模块组合后，能够实现集群日志及统计结果的完整性和海量数据下快速显示相关查询及统计结论的功能。

Description

一种集群负载均衡系统的日志统计系统及方法

技术领域

本发明涉及一种日志统计技术领域，特别涉及一种集群负载均衡系统的日志统计系统及方法。

背景技术

随着网络技术的不断进步，Web网络服务和用户的数量正在以爆炸式的增长。以至于Web网站的访问量和数据流量不断的挑战服务器的性能。单一服务器的处理能力和计算能力在很多情况下无法承受这种挑战。因此提出了负载均衡的方案，通过负载均衡技术使得多台Web服务器组合成一个有机整体统一对外提供Web服务，有效的保证了Web网站的稳定性和高效性。

由负载均衡设备组成的集群也在不断的融入到这一领域。由于负载均衡设备产生了大量的日志，在进行显示、统计及生成报告的过程中也不断的在挑战者设备的性能。多台负载均衡设备组成的集群产生的日志及统计结果如何能够统一的显示到客户端，保证日志的完整性也在不断的挑战者系统的性能。

为了能够保证负载均衡设备能够有效的对外提供服务和能够快速的显示日志、相关统计数据和生成报告。给客户代理极佳的用户体验性。如何能够极大程度的降低负载均衡设备的日志存储、统计和生成报表所占用的系统的性能也是负载均衡设备的一个研究方向。

发明内容

为了解决现有技术的问题，本发明提供了一种集群负载均衡系统的日志统计系统及方法，其通过相关模块组合后，能够实现集群日志及统计结果的完整性和海量数据下快速显示相关查询及统计结论的功能。

本发明所采用的技术方案如下：

一种集群负载均衡系统的日志统计系统，包括日志存储模块、日志统计模块、日志显示模块和日志传输模块，其中：

日志存储模块，用于将负载均衡设备产生的服务日志、事件日志、系统日志、管理日志根据一定的策略记录到数据库中；

日志统计模块，用于将相关日志按照负载均衡设备当前的配置方式、系统的状态，统计出相关数据；

日志显示模块，用于根据用户的请求，回显数据到客户端；

日志传输模块，用于将各个负载均衡设备上的统计相关结论传递到相关设备上，供数据显示模块使用。

一种集群负载均衡系统的日志统计方法，是采用日志存储模块、日志统计模块、日志显示模块和日志传输模块，将负载均衡设备产生的日志存储到日志存储模块中，日志统计模块统计出相关特征数据，通过日志传输模块和日志显示模块将各个设备的数据统计结果联合显示。

采用了日志存储模块将数据根据表中数据量的大小，进行分表的机制，将达到一定条数的存储表格进行备份，并生成新的表格。

采用了日志统计模块将各个日志表中的相关数据存储到不同的统计表中。

采用了日志传输模块，把不同负载均衡设备上的数据根据相关设置传输到一台设备上。

采用了日志显示模块将用户要浏览的数据从本机或者日志传输模块获取的数据显示到客户端；或者将用户要生成报告的数据从本机或者日志传输模块获取的数据生成相关报告。

采用了报文机制，在搜集数据时，能够同时对负载均衡集群内的其它设备同时进行搜集，并根据设置排序接收到的数据或者分开处理接收到的数据。

采用了智能设备状态判断机制，这种机制决定了设备在每个状态下都有一个度量值，决定是否进行统计或者延迟统计时间，度量值由自学习机制，在设备运行的时间段内不断的对设备的CPU、内存、硬盘、并发连接数、新建连接数和用户设置信息加权后得出。

本发明该方法能够为负载均衡设备提供日志存储、日志统计、日志传输和日志显示。整个框架包括日志存储模块、日志统计模块、日志传输模块和日志显示模块。

本发明的一种集群负载均衡系统的日志统计系统及方法具有以下特征：

1、通过该方法实现的日志系统能够为单独的负载均衡设备提供日志的存储、统计、显示。也能够为由负载均衡设备组成的集群提供日志的存储、统计、传输和显示。实现了日志显示的完整性及报表生成的完整性。

2、单台设备的时候，日志传输模块将不启用。在进行日志显示的时候只查询本地的日志数据库的日志内容和由日志统计模块所产生的统计数据。日志报表生成也只是根据本地数据库的相关数据生成。

3、多台设备的时候，日志传输模块将启用。日志模块是否搜集其它设备的日志或者统计数据将根据当前用户的设置进行。日志在显示的时候将根据配置情况将本地数据库和其它设备上的数据库中的日志和统计数据根据一定规则组合显示或者分开显示。日志报表生成也将根据用户设置的相关规则搜集集群内的相关数据生成报表。

4、日志存储模块的主要特征是根据当前日志表的大小，将日志存储到相关的日志表中。当日志表超过规定的大小时，当前日志表会根据日志备份到其它表中，重新生成日志表和启动备份日志表的相关统计工作。为日志统计及显示提供基础数据。

5、日志统计模块负责对相关统计数据进行结果统计。其内部有任务监控机制、智能设备状态判断机制、Web请求客户端统计机制、Web请求区域统计机制、Web访问次数统计机制、Web流量统计机制、错误码统计机制、URL统计机制、日志访问统计机制和实时统计机制。其中任务监控机制保证其它机制的正常运行。智能设备状态判断机制主要为日志统计的时间提供优化，确保设备不会因为对日志的统计而造成设备对外提供服务的性能的下降。其它机制共同为日志显示提供基础数据。

6、日志显示模块的主要作用是显示日志，生成报表。提供Web请求访问的基础数据，供客户分析其服务。帮助客户排除安全隐患和提升服务质量。

附图说明

图1为本发明的一种集群负载均衡系统的日志统计系统及方法的基本架构图；

图2为本发明的一种集群负载均衡系统的日志统计系统及方法的数据库表结构示意图；

图3为本发明的一种集群负载均衡系统的日志统计系统及方法的日志存储模块的数据处理流程图；

图4为本发明的一种集群负载均衡系统的日志统计系统及方法的日志传输模块的数据处理流程图；

图5为本发明的一种集群负载均衡系统的日志统计系统及方法的日志统计模块的数据处理流程图；

图6为本发明的一种集群负载均衡系统的日志统计系统及方法的日志显示模块的数据处理流程图；

图7为本发明的一种集群负载均衡系统的日志统计系统及方法的统计结果归并流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

下面结合附图对本发明作进一步描述：

本发明的日志统计方法是作为一个整体模块存在于负载均衡系统中的，具体的位置见附图1。数据库是核心（附图2），所有的其它日志模块都是围绕着数据库的数据展开的。日志存储模块（附图3）是数据库中数据的来源，其它模块是使用数据库的数据工作的。

为防止在海量数据情况下，对数据的统计和查询造成系统的瘫痪或者非常耗费时间。将日志按照日志表的大小，进行分表。当日志表达到一定大小后，会将日志表的内容备份，并产生新的日志表。因此数据库分为基本表区、备份表区、统计表区和控制表区。基本表区是存放了最近一段时间所产生的日志数据。备份表区是存放了基本表区产生的日志之前时间段的数据。统计表区存放的是对备份表区的数据进行统计而得出的数据。其中分钟统计表记录了一天以内的一分钟的数据统计结果，小时统计表存放的是月天以内的每小时的数据统计结果，天统计表存放的是一年以内的每天的数据统计结果，周统计表统计的是一年以内的每周的数据统计结果，月统计的是一年以内的数据的没月的统计结果，年统计的是每年的数据的统计结果。控制表区存放的是对日志进行统计的各个任务的监控和配置内容。

日志存储模块（附图3）为数据库中基本日志数据的来源和基本统计任务的发起者。它接收web日志，并分析日志表大小。当存入到日志表数据后，日志表达到一定规模，备份日志表和启动日志统计任务。任务管理器是监控日志存储模块是否正常的，当发现日志存储模块异常时，将自动重启该模块。

数据传输模块（附图4）接收本地命令和网络命令。本地命令主要为启动搜集集群内其它设备数据的功能。网络命令主要为根据命令字的不同，将本地数据库的相关数据发送到搜集者。任务管理器主要功能是监控本模块是否正常运行，当异常时将自动重启本模块。在进行数据搜集的过程中，对每一台的数据的内容采用报文的形式传递，确保报文的完整性和整个集群的显示的顺序性和完整性。

日志统计模块（附图5）中任务监控的主要作用监控当前模块和各个计划任务的执行状态。一旦发生计划任务执行失败或者异常的状态，将终止计划任务执行。智能设备状态判断机制的主要作用是搜集负载均衡器在一周内的各个时间段的性能数据。并根据这些数据形成统一的度量值，用于表示某个时间段内的设备的状态。在计划任务机制中，将根据这些度量值对各个按照计划的统计任务执行时间进行合理调整。确保设备不会因为统计任务的执行而造成设备对外提供服务的中断。各个计划任务的执行流程见附图7。每个计划任务都是从接收任务开始执行、判断是否需要启动本任务、选取数据进行统计、存入数据库、删除数据库中过期数据等几个阶段。

日志显示模块（附图6）提供浏览日志和统计数据以及生成报表的功能。将接收到要进行日志显示的命令后，首先根据命令类型判断显示范围。搜集本机或者集群内的所有相关数据（日志传输模块报文机制），在进行数据合并后（按照时间先后或者按照不同设备分类），在根据命令的类型（浏览或者报表）返回数据到客户端或者生成报表供客户使用。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种集群负载均衡系统的日志统计系统，包括日志存储模块、日志统计模块、日志显示模块和日志传输模块，其中：

日志显示模块，用于根据用户的请求，回显数据到客户端；

2.一种集群负载均衡系统的日志统计方法，是采用日志存储模块、日志统计模块、日志显示模块和日志传输模块，将负载均衡设备产生的日志存储到日志存储模块中，日志统计模块统计出相关特征数据，通过日志传输模块和日志显示模块将各个设备的数据统计结果联合显示。

3.根据权利要求2所述的一种集群负载均衡系统的日志统计方法，其特征在于，采用了日志存储模块将数据根据表中数据量的大小，进行分表的机制，将达到一定条数的存储表格进行备份，并生成新的表格。

4.根据权利要求2所述的一种集群负载均衡系统的日志统计方法，其特征在于，采用了日志统计模块将各个日志表中的相关数据存储到不同的统计表中。

5.根据权利要求2所述的一种集群负载均衡系统的日志统计方法，其特征在于，采用了日志传输模块，把不同负载均衡设备上的数据根据相关设置传输到一台设备上。

6.根据权利要求2所述的一种集群负载均衡系统的日志统计方法，其特征在于，采用了日志显示模块将用户要浏览的数据从本机或者日志传输模块获取的数据显示到客户端；或者将用户要生成报告的数据从本机或者日志传输模块获取的数据生成相关报告。

7.根据权利要求2所述的一种集群负载均衡系统的日志统计方法，其特征在于，采用了报文机制，在搜集数据时，能够同时对负载均衡集群内的其它设备同时进行搜集，并根据设置排序接收到的数据或者分开处理接收到的数据。

8.根据权利要求2所述的一种集群负载均衡系统的日志统计方法，其特征在于，采用了智能设备状态判断机制，这种机制决定了设备在每个状态下都有一个度量值，决定是否进行统计或者延迟统计时间，度量值由自学习机制，在设备运行的时间段内不断的对设备的CPU、内存、硬盘、并发连接数、新建连接数和用户设置信息加权后得出。