CN106055703A - 一种日志实时分析方法及系统 - Google Patents

Abstract

本发明公开了一种日志实时分析方法及系统，涉及数据处理领域。所述方法：日志解析客户端判断当前工作节点为已注册节点，获取当前工作节点需要分析的日志目录；判断所述日志目录下存在更新的日志文件，启动线程池并发更新日志文件的解析，按照系统标示进行数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。所述系统包括：日志记录模块和日志分析模块。本发明在不影响实时监控功能的前提下，降低日志存储量；从系统方法的执行，到能从界面反映出执行结果的变化，中间的耗时要小于1分钟；监控系统可水平扩展，只要简单的部署就可以完成性能扩展。

Description

一种日志实时分析方法及系统

技术领域

本发明涉及数据处理领域，尤其涉及一种日志实时分析方法及系统。

背景技术

目前日志的监控大多是基于结果的而实现，用于探测感知当前功能是否还可用，尽快发现不可用，但是操作已经实施并得到结果，再去进行更正等同于重新开始，故现有监控方式属于亡羊补牢的监控方式。而，如何在问题产生前，发现被监控系统运行变差的趋势是面临的新问题，同时，还需要保证监控的粒度能支持到构成系统的核心功能的执行方法。

现有基于日志的监控方案，大多是通过系统运行一次并记录一次的方式进行，然后记录每一次系统执行的结果，最后进行互数据汇总和统计分析，这种方法存在以下不足:

1、日志量过大，对于那些被访问很频繁的系统来说，每天产生的日志量都会达到G级；

2、由于日志量大带来的统计分析耗时长；

3、数据大都集中式存储，随着监控的系统数量变多，汇总起来的日志会变得越来越大，从而导致分析过程缓慢，数据库查询性能急剧下降，无法满足“实时”的需求，扩展需要开发。

发明内容

本发明的目的在于提供一种日志实时分析方法及系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明所述日志实时分析方法，所述方法包括：

S1，日志解析客户端判断当前工作节点是否为已注册节点，如果是，则进入S2；如果否，则注册当前工作节点后再进入S2；

S2，获取当前工作节点需要分析的日志目录；

S3，判断所述日志目录下是否存在更新的日志文件，如果是，则进入S4，如果否，则重复S3；

S4，启动线程池并发更新日志文件的解析，按照系统标示进行数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。

优选地，在S1步骤之前包括以下步骤：

日志解析客户端获取下辖系统的配置数据，并监控下辖系统方法的执行；待执行结束后，激活日志组件，获取日志记录并存储到日志文件存储系统中；

所述日志文件存储系统为多个监控终端统一使用分布式存储系统或每个监控终端独立使用的存储系统。

优选地，步骤S1中，所述注册当前工作节点，具体按照下述步骤实现：

获取所述当前节点所对应的系统，并获取所述系统的配置信息，日志解析客户端根据所述配置信息生成并存储唯一标识，完成注册；所述唯一标识作为当前节点对应的系统在日志解析客户端的唯一序列号。

优选地，日志解析客户端安装到监控终端上，且每个监控终端只能安装一个日志解析客户端。

优选地，一个日志解析客户端可同时实时监控安装在同一个监控终端上的多个系统。

优选地，步骤S3中，判断所述日志目录下是否存在更新的日志文件，是按照下述步骤实现：判断所述日志目录下记载的日志文件存在的时刻与当前时刻的时间差是否在预设时间范围内产生的，如果是，则在预设时间范围内产生的日志文件为更新的日志文件；如果否，则在在预设时间范围内未产生更新日志文件。

优选地，步骤S4中，在解析过程中记录对任意一个文件的解析进度，同时，对解析过程中产生的数据进行数据持久化操作；当发生解析突然中断时，在日志解析客户端重新恢复执行状态后会继续之前中断的解析工作。

优选地，在步骤S4中，在解析过程中将同一个系统方法在某一段时间运行的情况的解析合并成一条数据。

本发明所述日志实时分析系统，所述系统包括日志记录模块和日志分析模块；

所述日志记录模块，获取负责获取被监控系统在执行方法后形成的日志，并将所述日志信息存储到文件存储系统中；

所述日志分析模块，实时判断文件存储系统中是否存在更新的日志，并对更新的日志进行解析后存储到日志数据库中；

所述日志分析模块包括第一判断单元、日志目录存储单元、第二判断单元、解析单元和存储单元；

所述第一判断单元，负责判断当前工作节点是否为已注册节点；

日志目录存储单元，根据第一判断单元的结果获取当前工作节点的日志目录；

第二判断单元，判断所述当前工作节点的日志目录是否存在更新的日志文件；

解析单元，根据第二判断单元的判断结果，启动线程池并发更新日志文件的解析；

存储单元，按照系统标示对解析后的数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。

优选地，所述日志记录模块包括系统配置单元、系统方法执行单元、激活单元和文件存储单元；

配置单元，负责获取并存储与所述日志解析客户端建立关联关系的系统的配置信息；

系统方法执行单元，负责执行与所述日志解析客户端下辖系统的方法的执行，并将执行完毕的结果发送给激活单元；

激活单元，获取执行完毕的结果，并激活日志分析客户端的日志组件，通过日志组件生成日志文件，并将所述日志文件发送给文件存储单元；

文件存储单元，负责接收并存储从激活单元发送的日志文件。

本发明的有益效果是：

本发明在不影响实时监控功能的前提下，降低日志存储量；从系统方法的执行，到能从界面反映出执行结果的变化，中间的耗时要小于1分钟；监控系统可水平扩展，只要简单的部署就可以完成性能扩展。

附图说明

图1是所述日志实时分析方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例

本实施例所述日志实时分析方法，所述方法包括：

S1，日志解析客户端判断当前工作节点是否为已注册节点，如果是，则进入S2；如果否，则注册当前工作节点后再进入S2；

S2，获取当前工作节点需要分析的日志目录；

S3，判断所述日志目录下是否存在更新的日志文件，如果是，则进入S4，如果否，则重复S3；

S4，启动线程池并发更新日志文件的解析，按照系统标示进行数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。

更详细的解释说明为:

(一)在S1步骤之前包括以下步骤：

日志解析客户端获取下辖系统的配置数据，并监控下辖系统方法的执行；待执行结束后，激活日志组件，获取日志记录并存储到日志文件存储系统中；

所述日志文件存储系统为多个监控终端统一使用分布式存储系统或每个监控终端独立使用的存储系统。

(二)步骤S1中，所述注册当前工作节点，具体按照下述步骤实现：

获取所述当前节点所对应的系统，并获取所述系统的配置信息，日志解析客户端根据所述配置信息生成并存储唯一标识，完成注册；所述唯一标识作为当前节点对应的系统在日志解析客户端的唯一序列号。

(三)日志解析客户端安装到监控终端上，且每个监控终端只能安装一个日志解析客户端。一个日志解析客户端可同时实时监控安装在同一个监控终端上的多个系统。只需要一个日志解析客户端通过配置即可实现多个系统日志并发解析。

(四)步骤S3中，判断所述日志目录下是否存在更新的日志文件，是按照下述步骤实现：判断所述日志目录下记载的日志文件存在的时刻与当前时刻的时间差是否在预设时间范围内产生的，如果是，则在预设时间范围内产生的日志文件为更新的日志文件；如果否，则在在预设时间范围内未产生更新日志文件。

(五)步骤S4中，在解析过程中记录对任意一个文件的解析进度，同时，对解析过程中产生的数据进行数据持久化操作；当发生解析突然中断时，在日志解析客户端重新恢复执行状态后会继续之前中断的解析工作。日志解析客户端支持断点恢复，解析过程中会对于每个文件记录每个文件解析进度，同时进行数据持久化，发生意外导致解析中断，只要重新恢复客户端执行状态，即可继续之前中断的解析工作，而不会导致日志解析结果异常。

在步骤S4中，在解析过程中将同一个系统方法在某一段时间运行的情况的解析合并成一条数据。每一条明细数据：start[1424843280231]time[1039]tag[test]message[test log]，如果方法“test”在30秒内执行了100万次，就会有100万条这样的数据；

通过数据压缩后生成一条数据，这条数据代表了30秒内，运行了100万次，在这100万次中执行时间最长的是200ms，最小的是70ms，平均执行时长100ms。{"tag":test,"avg":"100","min":"70","max":"200","stdDev":"0.000000","count":"100000000","starttime":"2015-08-12 15:19:00","endtime":"2015-08-12 15:19:30"}

从而使日志存储的数量级大大的降低了，也使得日志解析的速度大大提高了，越是执行频繁的方法，压缩效果就越好。

使用所述日志解析客户端登录所述日志实时分析系统，所述日志实时分析系统包括日志记录模块和日志分析模块；

所述日志记录模块，获取负责获取被监控系统在执行方法后形成的日志，并将所述日志信息存储到文件存储系统中；

所述日志分析模块，实时判断文件存储系统中是否存在更新的日志，并对更新的日志进行解析后存储到日志数据库中。

所述日志记录模块包括系统配置单元、系统方法执行单元、激活单元和文件存储单元；

配置单元，负责获取并存储与所述日志解析客户端建立关联关系的系统的配置信息；

系统方法执行单元，负责执行与所述日志解析客户端下辖系统的方法的执行，并将执行完毕的结果发送给激活单元；

激活单元，获取执行完毕的结果，并激活日志分析客户端的日志组件，通过日志组件生成日志文件，并将所述日志文件发送给文件存储单元；

文件存储单元，负责接收并存储从激活单元发送的日志文件。

所述日志分析模块包括第一判断单元、日志目录存储单元、第二判断单元、解析单元和存储单元；

所述第一判断单元，负责判断当前工作节点是否为已注册节点；

日志目录存储单元，根据第一判断单元的结果获取当前工作节点的日志目录；

第二判断单元，判断所述当前工作节点的日志目录是否存在更新的日志文件；

解析单元，根据第二判断单元的判断结果，启动线程池并发更新日志文件的解析；

存储单元，按照系统标示对解析后的数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明在不影响实时监控功能的前提下，降低日志存储量；从系统方法的执行，到能从界面反映出执行结果的变化，中间的耗时要小于1分钟；监控系统可水平扩展，只要简单的部署就可以完成性能扩展。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种日志实时分析方法，其特征在于，所述方法包括：

S1，日志解析客户端判断当前工作节点是否为已注册节点，如果是，则进入S2；如果否，则注册当前工作节点后再进入S2；

S2，获取当前工作节点需要分析的日志目录；

S3，判断所述日志目录下是否存在更新的日志文件，如果是，则进入S4，如果否，则重复S3；

S4，启动线程池并发更新日志文件的解析，按照系统标示进行数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。

2.根据权利要求1所述日志实时分析方法，其特征在于，在S1步骤之前包括以下步骤：

日志解析客户端获取下辖系统的配置数据，并监控下辖系统方法的执行；待执行结束后，激活日志组件，获取日志记录并存储到日志文件存储系统中；

所述日志文件存储系统为多个监控终端统一使用分布式存储系统或每个监控终端独立使用的存储系统。

3.根据权利要求1所述日志实时分析方法，其特征在于，步骤S1中，所述注册当前工作节点，具体按照下述步骤实现：

获取所述当前节点所对应的系统，并获取所述系统的配置信息，日志解析客户端根据所述配置信息生成并存储唯一标识，完成注册；所述唯一标识作为当前节点对应的系统在日志解析客户端的唯一序列号。

4.根据权利要求1所述日志实时分析方法，其特征在于，日志解析客户端安装到监控终端上，且每个监控终端只能安装一个日志解析客户端。

5.根据权利要求1所述日志实时分析方法，其特征在于，一个日志解析客户端可同时实时监控安装在同一个监控终端上的多个系统。

6.根据权利要求1所述日志实时分析方法，其特征在于，步骤S3中，判断所述日志目录下是否存在更新的日志文件，是按照下述步骤实现：

判断所述日志目录下记载的日志文件存在的时刻与当前时刻的时间差是否在预设时间范围内产生的，如果是，则在预设时间范围内产生的日志文件为更新的日志文件；如果否，则在在预设时间范围内未产生更新日志文件。

7.根据权利要求1所述日志实时分析方法，其特征在于，步骤S4中，在解析过程中记录对任意一个文件的解析进度，同时，对解析过程中产生的数据进行数据持久化操作；

当发生解析突然中断时，在日志解析客户端重新恢复执行状态后会继续之前中断的解析工作。

8.根据权利要求1所述日志实时分析方法，其特征在于，在步骤S4中，在解析过程中将同一个系统方法在某一段时间运行的情况的解析合并成一条数据。

9.一种日志实时分析系统，其特征在于，所述系统包括日志记录模块和日志分析模块；

所述日志记录模块，获取负责获取被监控系统在执行方法后形成的日志，并将所述日志信息存储到文件存储系统中；

所述日志分析模块，实时判断文件存储系统中是否存在更新的日志，并对更新的日志进行解析后存储到日志数据库中；

所述日志分析模块包括第一判断单元、日志目录存储单元、第二判断单元、解析单元和存储单元；

所述第一判断单元，负责判断当前工作节点是否为已注册节点；

日志目录存储单元，根据第一判断单元的结果获取当前工作节点的日志目录；

第二判断单元，判断所述当前工作节点的日志目录是否存在更新的日志文件；

解析单元，根据第二判断单元的判断结果，启动线程池并发更新日志文件的解析；

存储单元，按照系统标示对解析后的数据垂直拆分后存储到不同的数据表中，最后将所述数据表存储到日志数据库中。

10.根据权利要求9所述日志实时分析系统，其特征在于，所述日志记录模块包括系统配置单元、系统方法执行单元、激活单元和文件存储单元；

配置单元，负责获取并存储与所述日志解析客户端建立关联关系的系统的配置信息；

系统方法执行单元，负责执行与所述日志解析客户端下辖系统的方法的执行，并将执行完毕的结果发送给激活单元；

激活单元，获取执行完毕的结果，并激活日志分析客户端的日志组件，通过日志组件生成日志文件，并将所述日志文件发送给文件存储单元；

文件存储单元，负责接收并存储从激活单元发送的日志文件。