CN105045905A - 一种基于全文检索的日志维护方法及系统 - Google Patents

Abstract

本发明涉及一种基于全文检索的日志维护方法及系统，其方法包括：步骤1：收集日志，将收集到的采集日志文件存入存储节点中；步骤2：对所有存入存储节点中的采集日志文件，生成索引；步骤3：对每个节点建立检索代理；步骤4：服务器接收外部检索请求，将检索请求发送到检索代理中，并生成一个检索端口；步骤5：获得检索结果数据；步骤6：将检索结果数据通过检索端口反馈到服务器。对各业务系统的日志进行集中管理，有利于日志文件的维护；为业务维护人员提供了快速分析业务故障的手段，提升维护效率；集群模式部署的日志存储节点，为业务的增长做好了准备；检索和生成索引在各存储节点上并行处理，能提供更快的处理速度。

Description

一种基于全文检索的日志维护方法及系统

技术领域

本发明涉及一种基于全文检索的日志维护方法及系统。

背景技术

电信运营商的业务支撑系统中，由于每日业务交易量巨大，会产生海量的日志数据，但日常维护中的用户申告处理以及故障排除过程中，都不可避免要对日志数据进行分析，常规的做法是由后台维护人员通过分析故障报告内容，先推测可能导致故障的子系统，然后登录到该子系统的运行主机(现阶段有相当比例的运营商的系统运行于x86集群环境，同一子系统可能是由数十台主机构成)，然后在主机上手工搜索故障时间点的相关日志文件，这个过程可能会耗费大量的时间和人工成本。

现有系统对于日志文件的处理，大多数情况都是业务程序直接输出日志内容到本地磁盘文件中，以追加的方式持续写入，主要的情况有以下两种：

1.有一些子系统会以集中输出的方式将不同业务的日志写入到同一文件中，如java应用程序，有根据时间或者文件大小对日志文件进行翻转，翻转后的日志文件根据业务需要或者存储空间的情况，定期把较旧的删除或者备份到其他主机，这种情况产生的日志文件通常单个体积就很大，要在这些大文件中查找数据将会比较缓慢；

2.另外有些系统则会根据不同的业务或者进程将日志分别输出到不同的文件中，这些日志文件则不会使用翻转的方式处理，而是利用外部shell脚本定期直接清空，这会导致这种情况：经过一段时间后再要查阅相关日志时，已经清除，无法找到。这种情况产生的日志文件则通常数量巨大，单个文件则不会太大。

维护人员在维护过程中要频繁的在这些各种形态的日志文件中寻找线索，总是一个费力又费时的工作，比如在一个1GB左右大小的日志文件中直接查找一个手机号码，通常会花数十秒的时间。而这类工作是维护人员的常规事务，这些等待时间累计起来会是非常可观的数字。因此，提高日志的查找速度会为维护人员代码较大的效率提升。

发明内容

本发明所要解决的技术问题是，针对现有技术的不足，为了满足对业务系统的故障快速定位，加快业务日志的查阅速度；提供一种应用于电信营运商业务支撑系统的系统维护中，用于在日常维护中的用户申告处理中提高日志检索速度，提升维护工作效率，并降低维护成本的基于全文检索的日志维护方法及系统。

本发明解决上述技术问题的技术方案如下：一种基于全文检索的日志维护方法，具体包括以下步骤：

步骤1：设置日志收集代理，利用日志收集代理将收集到的采集日志文件存入存储系统中的存储节点中；

步骤2：对所有存入存储节点中的采集日志文件，使用开源的全文检索引擎生成索引；

步骤3：对每个节点建立检索代理；

步骤4：服务器接收外部检索请求，将检索请求发送到检索代理中，并生成一个检索端口；

步骤5：检索代理根据索引对存储节点内的采集日志文件进行检索，获得检索结果数据；

步骤6：将检索结果数据通过检索端口反馈到服务器。

本发明的有益效果是：本发明对业务日志的进行了集中管理以及提供快速检索方法，有如下的有益效果：对各业务系统的日志进行集中管理，有利于日志文件的维护；提供的全文检索功能为业务维护人员提供了快速分析业务故障的手段，提升维护效率；集群模式部署的日志存储节点，为业务的增长做好了准备；检索和生成索引在各存储节点上并行处理，能提供更快的处理速度。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1具体包括以下步骤：

步骤1.1：将日志收集代理设置到主机中，并进行日志文件采集，获得采集日志；

步骤1.2：获取每个存储节点对应的主机地址、存储使用情况和系统资源使用情况，构建存储节点信息表；

步骤1.3：将获得的采集日志根据存储节点信息表进行分配存入存储节点中。

进一步，所述步骤2具体包括以下步骤：

步骤2：对存入存储节点中的采集日志文件，使用开源的全文检索引擎生成索引；

步骤2.1：获取所有存入存储节点中的采集日志文件，对每个存储节点中的采集日志文件根据存入时间建立目录；

步骤2.2：对目录根据存储节点中的采集日志文件的变化进行修改和添加操作；获得操作后的新目录，并将新目录存入队列中；

步骤2.3：每间隔预设读取时间间隔对队列中的目录进行读取，判断是否存在采集日志文件，如果是，执行步骤2.4；否则，步骤2.5；

步骤2.4：为队列中的目录生成索引；

步骤2.5：判断存储节点中的采集日志文件是否有变化，如果是，执行步骤2.2；否则，执行步骤3。

进一步，所示步骤2.2具体包括以下步骤：

步骤2.2.1：判断是否有采集日志文件修改，如果是，执行步骤2.2.2；否则，执行2.2.3；

步骤2.2.2：将修改后目录存入队列中；

步骤2.2.3：判断是否有新采集日志文件存入存储节点，如果是，执行步骤2.2.4；否则，执行步骤2.2.5；

步骤2.2.4：将对应新采集日志文件的新目录存入队列中；

步骤2.2.5：判断是否到达预设的读取时间间隔，如果是，执行步骤2.3；否则，执行步骤2.2.1。

进一步，所述存储节点作为日志文件的收集及存储的主体，可以根据使用情况在线加入新的存储系统，以满足日志文件增长的需求。

进一步，所述每个存储节点上各自部署索引生成程序处理本地日志文件，生成的索引文件保存在各自的目录中。

本发明解决上述技术问题的技术方案如下：一种基于全文检索的日志维护系统，包括收集模块、索引模块、代理模块、端口模块、检索模块和反馈模块；

所述收集模块用于设置日志收集代理，利用日志收集代理将收集到的采集日志文件存入存储系统中的存储节点中；

所述索引模块用于对所有存入存储节点中的采集日志文件，使用开源的全文检索引擎生成索引；

所述代理模块用于对每个节点建立检索代理；

所述端口模块用于控制服务器接收外部检索请求，将检索请求发送到检索代理中，并生成一个检索端口；

所述检索模块用于检索代理根据索引对存储节点内的采集日志文件进行检索，获得检索结果数据；

所述反馈模块用于将检索结果数据通过检索端口反馈到服务器。

本发明的有益效果是：本发明对业务日志的进行了集中管理以及提供快速检索方法，有如下的有益效果：对各业务系统的日志进行集中管理，有利于日志文件的维护；提供的全文检索功能为业务维护人员提供了快速分析业务故障的手段，提升维护效率；集群模式部署的日志存储节点，为业务的增长做好了准备；检索和生成索引在各存储节点上并行处理，能提供更快的处理速度。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述收集模块包括日志采集模块、信息表模块和存储模块；

所述日志采集模块用于将日志收集代理设置到主机中，并进行日志文件采集，获得采集日志；

所述信息表模块用于获取每个存储节点对应的主机地址、存储使用情况和系统资源使用情况，构建存储节点信息表；

所述存储模块用于将获得的采集日志根据存储节点信息表进行分配存入存储节点中。

进一步，所述存储节点作为日志文件的收集及存储的主体，可以根据使用情况在线加入新的存储系统，以满足日志文件增长的需求。

进一步，每个所述存储节点上各自部署索引生成程序处理本地日志文件，生成的索引文件保存在各自的目录中。

本发明总共包括3方面的内容：

1.日志收集汇总及存储；

2.日志文本索引生成及存储；

3.日志检索。

第一部分的日志收集汇总及存储，目的是把各业务系统产生的日志，收集出来存放到独立的日志存储系统中，该存储系统以集群的方式部署，以便能提供足够的存储空间和运算能力。

这部分的组件包括：1.日志收集代理，代理部署到业务系统主机上，采集日志文件内容并发送给存储系统；2.协调服务，此服务以分布的方式运行在存储节点上，用于收集存储节点的主机地址以及存储使用情况和系统资源使用情况，由各存储节点定时更新数据；3.存储节点，作为日志收集及存储的主体，可以根据使用情况在线加入新的主机，以满足日志量增长的需求。

协调服务并没有参与日志内容的传输，它只是向日志代理提供各存储节点的存储和资源使用情况，以便其选择具体的日志节点作为发送目标。日志代理会以一定的周期来对目标日志节点重新选择，选择的依据为资源使用率相对较低的节点。

日志存储节点上的接收程序，根据来源主机及时间把日志内容存储在本地磁盘的不同目录中。日志的保存时间规则上可以定制，比如：最近一个月的可快速检索(不压缩，有索引)，1年以内的压缩保存，1年以上的清除等。

第二部分的文本索引的生成及存储，是把第一部分收集的日志文本，使用开源的全文检索引擎生成索引，这里使用lucene。每个存储节点上各自部署索引生成程序处理本地日志文件。生成的索引文件保存在各自的目录中。

由于在存储日志文件时，是按照时间分目录存放的，在生成索引的时候也以时间目录的单位进行处理。因为通常的日志检索过程中，都会预先给定一个时间范围因此按照时间组织目录结构更有利于提高查询速度。

索引生成进程的运行方式是先监控日志磁盘上的文件修改情况，延迟一定时间后对这一时间范围内所有有过改动的目录进行索引生成操作。

第三部分的日志检索，是为业务维护人员提供的检索，由于日志存放于不同的节点中，需要在每个节点上部署检索代理，操作人员在检索服务器上发起检索操作时，检索服务器把请求转发给每个节点上的检索代理，并提供一个收集结果的端口，各检索代理执行完任务后，通过该回送端口把结果返回给检索服务器，然后展示给操作人员。

附图说明

图1为本发明实施例所述的一种基于全文检索的日志维护方法流程图；

图2为本发明实施例所述的一种基于全文检索的日志维护系统结构框图。

附图中，各标号所代表的部件列表如下：

1、收集模块，2、索引模块，3、代理模块，4、端口模块，5、检索模块，6、反馈模块，11、日志采集模块，12、信息表模块，13、存储模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明实施例所述的一种基于全文检索的日志维护方法，具体包括以下步骤：

步骤1：将日志收集代理设置到主机中，并进行日志文件采集，获得采集日志；

步骤2：获取每个存储节点对应的主机地址、存储使用情况和系统资源使用情况，构建存储节点信息表；

步骤3：将获得的采集日志根据存储节点信息表进行分配存入存储节点中；

步骤4：对所有存入存储节点中的采集日志文件，使用开源的全文检索引擎生成索引；

步骤5：对每个节点建立检索代理；

步骤6：服务器接收外部检索请求，将检索请求发送到检索代理中，并生成一个检索端口；

步骤7：检索代理根据索引对存储节点内的采集日志文件进行检索，获得检索结果数据；

步骤8：将检索结果数据通过检索端口反馈到服务器。

进一步，所述步骤4具体包括以下步骤：

步骤4.1：获取所有存入存储节点中的采集日志文件，对每个存储节点中的采集日志文件根据存入时间建立目录；

步骤4.2：对目录根据存储节点中的采集日志文件的变化进行修改和添加操作；获得操作后的新目录，并将新目录存入队列中；

步骤4.3：每间隔预设读取时间间隔对队列中的目录进行读取，判断是否存在采集日志文件，如果是，执行步骤4.4；否则，步骤4.5；

步骤4.4：为队列中的目录生成索引；

步骤4.5：判断存储节点中的采集日志文件是否有变化，如果是，执行步骤4.2；否则，执行步骤5。

所示步骤4.2具体包括以下步骤：

步骤4.2.1：判断是否有采集日志文件修改，如果是，执行步骤4.2.2；否则，执行4.2.3；

步骤4.2.2：将修改后目录存入队列中；

步骤4.2.3：判断是否有新采集日志文件存入存储节点，如果是，执行步骤4.2.4；否则，执行步骤4.2.5；

步骤4.2.4：将对应新采集日志文件的新目录存入队列中；

步骤4.2.5：判断是否到达预设的读取时间间隔，如果是，执行步骤4.3；否则，执行步骤4.2.1。

所述存储节点作为日志文件的收集及存储的主体，可以根据使用情况在线加入新的存储系统，以满足日志文件增长的需求。

每个所述存储节点上各自部署索引生成程序处理本地日志文件，生成的索引文件保存在各自的目录中。

如图2所示，为本发明实施例所述的一种基于全文检索的日志维护系统，包括收集模块1、索引模块2、代理模块3、端口模块4、检索模块5和反馈模块6；

所述收集模块1用于设置日志收集代理，利用日志收集代理将收集到的采集日志文件存入存储系统中的存储节点中；

所述索引模块2用于对所有存入存储节点中的采集日志文件，使用开源的全文检索引擎生成索引；

所述代理模块3用于对每个节点建立检索代理；

所述端口模块4用于控制服务器接收外部检索请求，将检索请求发送到检索代理中，并生成一个检索端口；

所述检索模块5用于检索代理根据索引对存储节点内的采集日志文件进行检索，获得检索结果数据；

所述反馈模块6用于将检索结果数据通过检索端口反馈到服务器。

所述收集模块1包括日志采集模块11、信息表模块12和存储模块13；

所述日志采集模块11用于将日志收集代理设置到主机中，并进行日志文件采集，获得采集日志；

所述信息表模块12用于获取每个存储节点对应的主机地址、存储使用情况和系统资源使用情况，构建存储节点信息表；

所述存储模块13用于将获得的采集日志根据存储节点信息表进行分配存入存储节点中。

所述存储节点作为日志文件的收集及存储的主体，可以根据使用情况在线加入新的存储系统，以满足日志文件增长的需求。

所述每个存储节点上各自部署索引生成程序处理本地日志文件，生成的索引文件保存在各自的目录中。

以下为本发明的一个具体实施例：

1.部署存储节点；

2.在部分存储节点上安装协调服务进程；

3.在所有存储节点上部署日志接收进程、索引生成进程、资源使用情况收集进程、索引代理进程；

4.在业务系统上部署日志收集代理；

5.单独部署检索服务器。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于全文检索的日志维护方法，其特征在于，具体包括以下步骤：

步骤1：设置日志收集代理，利用日志收集代理将收集到的采集日志文件存入存储系统中的存储节点中；

步骤2：对所有存入存储节点中的采集日志文件，使用开源的全文检索引擎生成索引；

步骤3：对每个节点建立检索代理；

步骤4：服务器接收外部检索请求，将检索请求发送到检索代理中，并生成一个检索端口；

步骤5：检索代理根据索引对存储节点内的采集日志文件进行检索，获得检索结果数据；

步骤6：将检索结果数据通过检索端口反馈到服务器。

2.根据权利要求1所述的一种基于全文检索的日志维护方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1：将日志收集代理设置到主机中，并进行日志文件采集，获得采集日志；

步骤1.2：获取每个存储节点对应的主机地址、存储使用情况和系统资源使用情况，构建存储节点信息表；

步骤1.3：将获得的采集日志根据存储节点信息表进行分配存入存储节点中。

3.根据权利要求1所述的一种基于全文检索的日志维护方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1：获取所有存入存储节点中的采集日志文件，对每个存储节点中的采集日志文件根据存入时间建立目录；

步骤2.2：对目录根据存储节点中的采集日志文件的变化进行修改和添加操作；获得操作后的新目录，并将新目录存入队列中；

步骤2.3：每间隔预设读取时间间隔对队列中的目录进行读取，判断是否存在采集日志文件，如果是，执行步骤2.4；否则，步骤2.5；

步骤2.4：为队列中的目录生成索引；

步骤2.5：判断存储节点中的采集日志文件是否有变化，如果是，执行步骤2.2；否则，执行步骤3。

4.根据权利要求3所述的一种基于全文检索的日志维护方法，其特征在于，所示步骤2.2具体包括以下步骤：

步骤2.2.1：判断是否有采集日志文件修改，如果是，执行步骤2.2.2；否则，执行2.2.3；

步骤2.2.2：将修改后目录存入队列中；

步骤2.2.3：判断是否有新采集日志文件存入存储节点，如果是，执行步骤2.2.4；否则，执行步骤2.2.5；

步骤2.2.4：将对应新采集日志文件的新目录存入队列中；

步骤2.2.5：判断是否到达预设的读取时间间隔，如果是，执行步骤2.3；否则，执行步骤2.2.1。

5.根据权利要求1-4任一项所述的一种基于全文检索的日志维护方法，其特征在于，所述存储节点作为日志文件的收集及存储的主体，根据使用情况在线加入新的存储系统，以满足日志文件增长的需求。

6.根据权利要求5所述的一种基于全文检索的日志维护方法，其特征在于，每个所述存储节点上各自部署索引生成程序处理本地日志文件，生成的索引文件保存在各自的目录中。

7.一种基于全文检索的日志维护系统，其特征在于，包括收集模块、索引模块、代理模块、端口模块、检索模块和反馈模块；

所述收集模块用于设置日志收集代理，利用日志收集代理将收集到的采集日志文件存入存储系统中的存储节点中；

所述索引模块用于对所有存入存储节点中的采集日志文件，使用开源的全文检索引擎生成索引；

所述代理模块用于对每个节点建立检索代理；

所述端口模块用于控制服务器接收外部检索请求，将检索请求发送到检索代理中，并生成一个检索端口；

所述检索模块用于检索代理根据索引对存储节点内的采集日志文件进行检索，获得检索结果数据；

所述反馈模块用于将检索结果数据通过检索端口反馈到服务器。

8.根据权利要求7所述的一种基于全文检索的日志维护系统，其特征在于，所述收集模块包括日志采集模块、信息表模块和存储模块；

所述日志采集模块用于将日志收集代理设置到主机中，并进行日志文件采集，获得采集日志；

所述信息表模块用于获取每个存储节点对应的主机地址、存储使用情况和系统资源使用情况，构建存储节点信息表；

所述存储模块用于将获得的采集日志根据存储节点信息表进行分配存入存储节点中。

9.根据权利要求7所述的一种基于全文检索的日志维护系统，其特征在于，所述存储节点作为日志文件的收集及存储的主体，根据使用情况在线加入新的存储系统，以满足日志文件增长的需求。

10.根据权利要求7-9任一项所述的一种基于全文检索的日志维护系统，其特征在于，所述每个存储节点上各自部署索引生成程序处理本地日志文件，生成的索引文件保存在各自的目录中。