CN101197694B

CN101197694B - 一种通讯系统日志集中统计、处理系统及其方法

Info

Publication number: CN101197694B
Application number: CN2006101443680A
Authority: CN
Inventors: 吴琦
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-12-04
Filing date: 2006-12-04
Publication date: 2011-05-11
Anticipated expiration: 2026-12-04
Also published as: CN101197694A

Abstract

本发明公开了一种系统日志集中统计、处理系统及其方法，其中，方法包括：步骤一，建立多个数据源与一日志服务器之间的通讯链路；步骤二，所述各数据源按照所述日志服务器设定的数据格式传送基础数据至所述日志服务器；及步骤三，所述日志服务器接收、处理所述基础信息，并将处理后的基础数据导入数据库服务器。本发明提供的一种集中式日志统计、处理系统及其方法，能有效降低系统对数据库服务器的依赖程度，减小日志信息对数据库服务器的影响，提高系统稳定性；此外，还能大幅度提高系统灵活性和可实施性，减小因新增业务需求而带给系统的影响。

Description

一种通讯系统日志集中统计、处理系统及其方法

技术领域

本发明涉及数据通信领域，特别是涉及一种通信系统的系统日志集中统计、处理系统及其方法。

背景技术

通信系统都需要记录日志信息，其包括系统日志、操作日志、异常日志等信息，其主要目的就是为了让客户更全面、更详细地了解系统的运行情况，评估工作量等。

一般的通信系统的日志信息，都采用分散式的日志记录架构，该架构中包括数据源1～N共N个数据源101，如图1所示。

数据源101一般都是系统中一些重要的功能性模块，由于功能不同，不同的数据源101往往不能共用一个数据表结构，因此各个数据源101只能按照各自的数据表结构，生成可执行的SQL(Structured Query Language，结构化查询语言)语句，将数据写入数据服务器102中。日志展示模块103从数据库服务器102中获取各数据源101写入的数据，供用户查看。采用这种方式，存在以下问题：

1)，各个数据源必须具备访问数据库服务器的功能，加大了系统的开销，增加系统复杂度；

2)，多个数据源同时操作一个库或一张数据表，对数据库服务器的性能要求较高，使得系统成本增高；

3)，当数据库服务器中的数据表结构因故有所变动时，对应的数据源都必须变动，降低了系统灵活性，加大了工程实施的难度与风险。

发明内容

本发明所要解决的技术问题在于提供一种系统日志集中统计、处理系统及其方法，用于降低系统复杂度，提高系统灵活性及可实施性。

为了实现上述目的，本发明提供了一种通讯系统日志集中统计、处理系统，包括多个数据源、数据库服务器，所述各数据源用于提供基础数据，所述数据库服务器用于存放所述系统的系统数据，其特征在于，还包括：一日志服务器，用于接收、处理所述各数据源按照所述日志服务器设定的数据格式传送的基础数据，并将处理后的基础数据导入所述数据库服务器；

其中，所述日志服务器包括：

一内存数据库，用于存放数据；

一采集模块，用于接收所述基础数据，并对所述基础数据进行分类，再将分类后的基础数据保存至所述内存数据库；

一挖掘模块，用于对所述分类后的基础数据进行整理、统计，生成新数据，并存放至所述内存数据库；及

一同步模块，用于将所述新数据中需同步的新数据同步至所述数据库服务器。

所述的系统日志集中统计、处理系统，其中，所述统计、处理系统还包括：一日志展示模块，连接所述数据库服务器，用于以图形或表格形式展示从所述数据库服务器中获取的数据。

所述的系统日志集中统计、处理系统，其中，所述各数据源通过所述日志服务器设定的通用日志消息接口将所述基础数据传送至所述日志服务器。

所述的系统日志集中统计、处理系统，其中，所述日志服务器根据所述系统的要求增加或减少设置模块的数量以适应不同的策略。

为了实现上述目的，本发明提供了一种系统日志集中统计、处理方法，其特征在于，包括：

步骤一，建立多个数据源与一日志服务器之间的通讯链路；

步骤二，所述各数据源按照所述日志服务器设定的数据格式传送基础数据至所述日志服务器；及

步骤三，所述日志服务器接收、处理所述基础数据，并将处理后的基础数据导入数据库服务器；

其中，所述步骤三中，所述日志服务器接收、处理所述基础数据的步骤包括：

步骤81，接收所述基础数据并进行分类，再将分类后的基础数据存放至一内存数据库中；

步骤82，对所述分类后的基础数据进行整理、统计，生成新数据，并存放至所述内存数据库；及

步骤83，将所述新数据中需同步的新数据同步至所述数据库服务器。

所述的系统日志集中统计、处理方法，其中，所述步骤二，所述各数据源通过所述日志服务器设定的通用日志消息接口传送所述基础数据至所述日志服务器。

所述的系统日志集中统计、处理方法，其中，所述步骤三中，所述日志服务器将所述处理后的基础数据单个或批量导入数据库服务器。

所述的系统日志集中统计、处理方法，其中，所述步骤三中，还包括：以图形或表格形式展示从所述数据库服务器获取的数据的步骤。

本发明提供的一种集中式日志统计、处理系统及其方法，能有效降低系统对数据库服务器的依赖程度，减小日志信息对数据库服务器的影响，提高系统稳定性；此外，还能大幅度提高系统灵活性和可实施性，减小因新增业务需求而带给系统的影响。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1是现有技术分散式日志统计、处理的组网架构示意图；

图2是本发明的集中式日志统计、处理的组网架构示意图；

图3是本发明日志服务器的处理流程图。

具体实施方式

下面将结合附图，详细说明本发明的实现系统及其方法。

请参阅图2，是本发明的集中式日志统计、处理的组网架构示意图。该组网架构描述了新系统通过新增日志服务器204，解决了原有系统进行日志统计、处理时所存在的上述技术问题。

在组网架构实施过程中，该系统涉及到的通信网络设备包括：数据源201(数据源1～N)、数据库服务器202、日志展示模块203、日志服务器204。

数据源201，为系统中的功能模块，是系统中系统日志、操作日志等基础数据的来源，并以日志服务器204定义的通用数据格式将基础数据发送给日志服务器204；

数据库服务器202，用于存放各种系统数据；

日志展示模块203，用于提供统计数据的展示功能，其以图形、表格等形式展示从数据库服务器202中获取的数据，供用户清晰、直观地查看系统相关数据；

日志服务器204，用于采集、分析、保存、整理、同步系统中的数据信息，并将处理后的数据单个或批量导入数据库服务器202。其又包括：采集模块241、挖掘模块242、同步模块243、内存数据库244。

采集模块241，用于接收所有数据源201的信息，将其分类保存至内存数据库244中；

挖掘模块242，用于定时按预定策略对内存数据库244中分类后的基础数据进行分析、整理、统计，并按策略生成新数据，再重新存放在内存数据库244中；

同步模块243，用于按照策略定期将生成的新数据中需要同步的新数据同步至数据库服务器202中。

该系统中的数据源201只需与日志服务器204通过内部消息进行消息交互，而无需访问数据库服务器202。日志服务器204可根据配置策略对数据进行过滤、采集、保存等工作，并可选择在数据库服务器202空闲时候将整理后的基础数据批量导入数据库服务器202，在提供了数据整理业务的同时，也降低了数据库服务器202繁忙时的压力。

在日志服务器204的具体实现方案上，可采用分散式的架构，即用一个应用支撑平台支持多个应用插件的方法，通过减少、增加应用插件来满足各种需求，而无需对数据源201进行更改。

请参阅图3，是本发明日志服务器的处理流程图。结合图2，该流程描述了本发明一种系统的日志集中统计、处理方法。

在进行日志集中统计、处理之前，日志服务器先定义一套通用日志消息接口；各数据源与日志服务器建立起通讯链路；各数据源在实现各自功能时，将所有的操作日志信息、系统日志信息等日志信息按照通用日志消息接口发送至日志服务器，具体流程按以下步骤实现：

步骤301，日志服务器的采集模块接收各数据源的基础数据；

步骤302，日志服务器的采集模块将接收到的各数据源的基础数据分类保存至日志服务器的内存数据库中；

步骤303，日志服务器的挖掘模块判断是否需要提取数据，若是，则执行步骤304，否则，返回步骤301执行；

步骤304，日志服务器的挖掘模块按照策略提取相关数据；

步骤305，对提取的相关数据进行分析、整理，生成新数据并保存在内存数据库；

步骤306，日志服务器的同步模块判断是否将新数据批量导入数据库服务器，若是，则执行步骤307，否则，返回步骤301执行；

步骤307，日志服务器的同步模块将新数据批量导入数据库服务器。

在将新数据批量导入数据库服务器后，日志展示模块可从数据库服务器中获取数据，并通过图形、表格等形式直观地展现出来，供用户参考。

本发明提供的一种系统集中式日志统计、处理系统及其方法，通过日志服务器使各数据源从数据库服务器相关的业务中剥离出来，简化了各数据源的功能，降低了系统复杂度；日志服务器可选择在数据库服务器空闲时同步数据，相比原有系统，大幅度降低了话务繁忙时对数据库服务器的压力，提高了系统稳定性；日志服务器在各数据源和日志展示模块之间起到了一个很好的屏蔽作用，能有效防止频繁、复杂的日志展示功能的需求改动引起重要功能模块的更改，同时还提供一种简单、实施性好的接口以满足不同的日志展示需求。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种通讯系统日志集中统计、处理系统，包括多个数据源、数据库服务器，所述各数据源用于提供基础数据，所述数据库服务器用于存放所述系统的系统数据，其特征在于，还包括：一日志服务器，用于接收、处理所述各数据源按照所述日志服务器设定的数据格式传送的基础数据，并将处理后的基础数据导入所述数据库服务器；

其中，所述日志服务器包括：

一内存数据库，用于存放数据；

2.根据权利要求1所述的系统日志集中统计、处理系统，其特征在于，所述统计、处理系统还包括：一日志展示模块，连接所述数据库服务器，用于以图形或表格形式展示从所述数据库服务器中获取的数据。

3.根据权利要求1所述的系统日志集中统计、处理系统，其特征在于，所述各数据源通过所述日志服务器设定的通用日志消息接口将所述基础数据传送至所述日志服务器。

4.根据权利要求1所述的系统日志集中统计、处理系统，其特征在于，所述日志服务器根据所述系统的要求增加或减少设置模块的数量以适应不同的策略。

5.一种系统日志集中统计、处理方法，其特征在于，包括：

步骤一，建立多个数据源与一日志服务器之间的通讯链路；

6.根据权利要求5所述的系统日志集中统计、处理方法，其特征在于，所述步骤二，所述各数据源通过所述日志服务器设定的通用日志消息接口传送所述基础数据至所述日志服务器。

7.根据权利要求5或6所述的系统日志集中统计、处理方法，其特征在于，所述步骤三中，所述日志服务器将所述处理后的基础数据单个或批量导入数据库服务器。

8.根据权利要求5或6所述的系统日志集中统计、处理方法，其特征在于，所述步骤三中，还包括：以图形或表格形式展示从所述数据库服务器获取的数据的步骤。