CN101661423A

CN101661423A - 一种多维日志系统

Info

Publication number: CN101661423A
Application number: CN200910194968A
Authority: CN
Inventors: 张立鹏; 周庭梁; 张兵建
Original assignee: Casco Signal Ltd
Current assignee: Casco Signal Ltd
Priority date: 2009-09-01
Filing date: 2009-09-01
Publication date: 2010-03-03

Abstract

本发明涉及一种多维日志系统，该系统包括多维日志数据池、阅读器引擎、用户阅读器、系统管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器，所述的阅读器引擎从多维日志数据池中读取多维数据，所述的多维数据包括线程ID、时间戳、分类、级别、用户ID、用户IP、消息来源、自定义属性，所述的用户阅读器、系统管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器分别与阅读器引擎相连。与现有技术相比，本发明具有更加灵活、更加节省资源、效率更高等优点。

Description

一种多维日志系统

技术领域

本发明涉及软件日志，尤其涉及一种多维日志系统。

背景技术

在软件系统中，需要日志功能来记录软件系统运行过程中所发生的事件，日志对应用程序来说都是一个重要的组成部分。按照传统的软件三层架构(前台操作层、MODEL(业务)层、DAO(数据存储)层)来分，对应的日志也应该分为三种：前台操作日志、逻辑运算日志、DAO日志。

不同的日志种类，关注重点是不一样的，其结构会也会有很大差异。例如：前台操作日志关注的是用户的输入和系统的输出等内容；逻辑运算日志关注的是系统执行有无异常等等；DAO日志关注的是数据库执行的SQL语句的结果，以及语句执行时间等内容。

另外，从使用角度看，不同的阅读者使用日志的角度也不一样。对于系统维护人员，关注于系统的执行效率以及系统告警信息；对于用户，关注于当系统出现错误，能够把当时的操作场景及时的反馈给系统的维护开发人员；而对于开发人员，关注于出错时，系统的逻辑执行顺序以及模块调用关系，从而迅速的定位出现问题的地方。

对于目前主流的日志模块，例如Log4cpp、Log4j、Log4cxx等，虽然提供了统一的日志输入、输出接口，但是日志的逻辑结构仅限于时间戳、日志类别、消息等级、消息内容等数个定长的属性，缺乏灵活性和可扩展性，也没有提供针对不同用户的日志筛选功能。

因此，需要提出一种灵活的、可扩展的日志体系结构，来满足日益复杂的软件应用需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷，提供一种灵活性高、可扩展的多维日志系统结构。

本发明的目的可以通过以下技术方案来实现：

一种多维日志系统，其特征在于，该系统包括多维日志数据池、阅读器引擎、用户阅读器、系统管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器，所述的阅读器引擎从多维日志数据池中读取多维数据，所述的多维数据包括线程ID、时间戳、分类、级别、用户ID、用户IP、消息来源、自定义属性，所述的用户阅读器、系统管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器分别与阅读器引擎相连。

所述的阅读器引擎通过以下步骤实现对数据的读取及处理：

1)获取日志的维数及名称；

2)按照某一维或者某几维进行数据过滤(对于字符串可以执行比较，相似运算，对于数字、日期进行比较运算，而逻辑运算包括：并且、或者、非运算)；

3)按照某一维或者某几维进行数据分组；

4)按照某一维或者某几维进行数据统计汇总；

5)2)、3)、4)步的运算可以随意组合。

日志中的自定义属性可以根据需要扩充，如在前台操作日志上增加了输入、输出两个属性，在逻辑运算日志上增加了类名、函数名、异常堆栈三个属性，在数据储存日志上增加了SQL、执行时间两个属性。

与现有技术相比，本发明具有以下优点：

(1)各个层面可以实现自定义的日志对象，可以灵活的提供日志输出的内容，并通过可扩展的自定义属性，来满足不同应用需求。如果使用传统模式实现以上需求，需要定一个各个层次都通用的、全局的日志数据结构，相比而言，本系统提供的方式更加灵活，而且也更加节省资源。

(2)系统提出了阅读器引擎和日志阅读器，通过这两个模块，用户可以更快的、更准确的定位出现问题的原因。相比传统方式，这种阅读方式更加友好，效率更高。

附图说明

图1是本发明一种多维日志系统的结构示意图；

图2是本发明一种多维日志系统的纵向数据结构；

图3是本发明一种多维日志系统的多维数据结构。

具体实施方式

以下结合具体实施例对本发明做进一步说明。

实施例1

如图1、图2、图3所示，一种多维日志系统，该系统包括多维日志数据池1、阅读器引擎2、用户阅读器3、系统管理员阅读器4、维护人员阅读器5、开发人员阅读器6、自定义阅读器7，所述的阅读器引擎2从多维日志数据池1中读取多维数据，所述的多维数据包括线程ID8、时间戳9、分类10、级别11、用户ID12、用户IP 13、消息来源14、自定义属性15，所述的用户阅读器3、系统管理员阅读器4、维护人员阅读器5、开发人员阅读器6、自定义阅读器7分别与阅读器引擎2相连。

所述的阅读器引擎2通过以下步骤实现对数据的读取及处理：

1)获取日志的维数及名称；

2)可以按照某一维或者某几维进行数据过滤(对于字符串可以执行比较，相似运算，对于数字、日期进行比较运算，而逻辑运算包括：并且、或者、非运算)；

3)可以按照某一维或者某几维进行数据分组；

4)可以按照某一维或者某几维进行数据统计汇总；

5)2、3、4步的运算可以随意组合。

日志分为前台操作日志16、逻辑运算日志17、数据储存日志18，所述的自定义属性15在前台操作日志16上增加了输入19、输出20两个属性，所述的自定义属性15在逻辑运算日志18上增加了类名23、函数名24、异常堆栈25三个属性，所述的自定义属性15在数据储存日志17上增加了SQL21、执行时间22两个属性。

综上所述，各个层次的日志包含分类、时间戳、自定义属性等不同内容，形成了纵向“多维”的数据结构，而阅读器引擎则实现了对多维数据的读取和处理，从不同的应用角度向普通用户、系统管理员等提供相应的日志内容。横向维数和纵向维数都是不定的，纵横交汇就形成了面向特定用户、面向不同应用的“多维”的日志体系，如图3所示。

实施例2

本发明在中国铝业广西分公司运输生产调度系统(以下简称“运输生产调度系统”)进行实施。

该运输生产调度系统系统基于BS结构，日志部分除了记录线程ID、时间戳、分类、级别、用户ID、用户IP以及消息来源等公共属性外，扩展了前台操作(记录用户的输入和系统的输出)日志、逻辑运算(记录签名信息、堆栈信息和异常)日志、DAO(记录执行的sql语句以及执行时间)日志。

另外，日志部分除了“多维日志”本身提供的阅读器外，还实现了发送错误报告的阅读器。通过点击发送错误报告的按钮，系统就会自动收集用户操作的上下文，形成一个csv文件，并通过邮件方式发送给系统的维护开发人员，供他们诊断故障原因。

经过现场实践证明，这种方式可以有效降低维护的成本，提高维护作业的效率。

Claims

1.一种多维日志系统，其特征在于，该系统包括多维日志数据池、阅读器引擎、用户阅读器、系统管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器，所述的阅读器引擎从多维日志数据池中读取多维数据，所述的多维数据包括线程ID、时间戳、分类、级别、用户ID、用户IP、消息来源、自定义属性，所述的用户阅读器、系统管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器分别与阅读器引擎相连。

2.根据权利要求1所述的多维日志系统，其特征在于，所述的阅读器引擎通过以下步骤实现对数据的读取及处理：

1)获取日志的维数及名称；

3)按照某一维或者某几维进行数据分组；

4)按照某一维或者某几维进行数据统计汇总；

5)2)、3)、4)步的运算可以随意组合。

3.根据权利要求1所述的多维日志系统，其特征在于，日志中的自定义属性可以根据需要扩充，如在前台操作日志上增加了输入、输出两个属性，在逻辑运算日志上增加了类名、函数名、异常堆栈三个属性，在数据储存日志上增加了SQL、执行时间两个属性。