CN103177116B - 一种基于两级索引的分布式日志处理和查询方法 - Google Patents

Abstract

本发明公开了一种基于两级索引的分布式日志处理和查询方法，包括以下步骤：1）日志收集：通过日志服务动态库向日志服务程序发送日志信息；2）日志转储：日志服务程序接收到日志客户端发送的日志记录并将日志写入到日志文件；3）日志索引创建及更新：日志索引处理程序对系统内的索引文件进行处理；4）日志查询：日志查询客户端向服务端程序发送查询请求，服务程序接受查询请求后，通过二级索引的方式快速定位到相关的日志信息并将查询到的日志返回给查询客户端。本发明是一种可支持分布式日志管理、支持跨节点查询、基于索引技术查询效率高、可移植性好、跨平台、部署简单的分布式日志处理和查询方法。

Description

一种基于两级索引的分布式日志处理和查询方法

技术领域

本发明涉及一种日志处理和查询方法，特别涉及一种两级索引的分布式日志处理和查询方法。

背景技术

现有的日志管理系统，一般只是对本机日志的收集转储功能，无法支持分布式环境下的日志收集。另外，现有的日志管理系统无法对日志进行查询，即使有日志查询功能，也只能在本机进行查询，无法支持跨节点查询。

发明内容

本发明所要解决的技术问题是提供一种支持分布式日志处理和查询方法。

为解决上述问题，本发明提供一种基于两级索引的分布式日志处理和查询方法。本发明以支持分布式日志处理和查询为目的，支持日志信息的多输出方式以及丰富的日志信息为次要目的，以配置文件、索引文件为调控方法，提供了一种本地、远程可选的日志收集、日志信息多样性、日志输出方式多样性、支持跨节点查询、查询效率高的分布式日志处理和查询方法。

本发明采用以下的技术方案来实现：

本发明是一种基于两级索引的分布式日志处理和查询方法，其特征在于，包括以下步骤：

1）日志收集：服务程序启动后，根据配置将配置信息读入内存，初始化日志接收端口等待日志客户端程序写日志，日志客户端程序调用日志服务动态库接口写日志，此过程可以配置本机接收或者远程机器接收，日志服务动态库根据配置信息将其写入本地或远程节点日志文件中；

2）日志转储：日志服务程序接收到日志客户端发送的日志记录并将日志写入到日志文件后，日志服务程序判断写入后的日志文件大小是否超过限制；若日志文件大小超过限制，日志服务程序将这个日志文件进行转储，并判断系统内的日志文件总个数和当日日志文件总个数是否超过相对应的文件个数限制，若超过，则删除相对应个数；

到达固定大小上限时对日志文件进行改名转储，避免单个日志文件过大。且当文件数目达到可配置的上限时删除最旧的日志文件，避免日志文件占满整个硬盘，且始终保持硬盘上存有此固定周期内的最新日志。

3）日志索引创建及更新：日志索引处理程序启动后对日志索引文件进行检查；若没有日志索引文件，则对相应的日志文件创建索引文件后进入日志索引处理状态；若有日志索引文件，则直接进入日志索引处理状态；由日志索引处理对现有日志文件进行索引更新，并对日志转储文件进行检查；例如：日志转储文件被按一定的规则删除后，相对应的索引文件的删除以及更新等。

4）日志查询：日志查询功能主要是由日志查询工具向日志索引管理程序发送日志查询请求；日志查询工具通过网络套接字的方式向日志索引管理程序发送日志查询请求以及查询条件，日志索引处理程序接受查询请求并通过二级索引方式查询符合条件的日志并将其发送给日志查询工具，由日志查询工具进行统一的整合。

提供按照一定的时间段查询本地日志。查询结果相对于原日志文件更加精简，便于网络传输，更加适合查询人定位系统故障。

使用两级索引辅助查询。第一级索引为单个日志文件中日期和时间与在文件中的偏移量的对应关系，第二级索引为日期和时间与日志文件名的对应关系。

创建索引是增量进行。二级索引每当创建一个新日志文件和一个日志文件到达大小上限进行转储时进行增量替换。为提高系统I/O效率，一级索引每小时修改一次。

当日志文件进行转储或者变化时，先进行索引的更新后再进行查询。当查询时间段处于一级索引未更新的一小时内时，先进行索引的更新后再进行查询。

当查询的参数中指明了远程节点时，通过网络通信在异地启动查询进程，并通过日志处理程序返回查询结果，实现分布式日志查询。

上述步骤均由计算机程序实现，能够运行在各种UNIX和Linux、Windows操作系统上，且不依赖任何除服务器以外的硬件设备。

本发明所达到的有益效果：

本发明通过以上步骤，可达以下技术效果：1、可支持分布式的日志收集和本机日志收集；2、可支持跨节点的日志查询；3、查询效率高，采用二级索引进行日志查询，提高了日志查询效率；4、可移植性好，所有功能完全是计算机程序实现，可运行在UNIX和Linux、Windows操作系统上，不需要借助任何操作系统自带的软件；5、具有跨平台能力，源端和目的端可部署在不同操作系统的服务器上；6、日志是否发送远程，日志文件大小上限，日志文件个数上限等参数编程可调；7、部署简单，只需部署服务程序、动态库以及配置文件即可运行。综上所述，本发明是一种可支持分布式日志管理、支持跨节点查询、基于索引技术查询效率高、可移植性好、跨平台、部署简单的分布式日志处理和查询方法。

附图说明

图1是本发明中日志处理服务流程图；

图2是本发明中日志客户端发送日志流程图；

图3是本发明中日志索引处理流程图；

图4是本发明中日志查询流程图。

具体实施方式

图1是本发明中日志处理服务流程图。包括：

步骤1：日志处理服务程序初始化。具体包括：日志处理服务程序的配置文件参数读取、接收日志端口初始化等，进入步骤2。

步骤2：接收日志。具体包括：日志处理服务程序首先处于等待接收日志状态。如果有日志报文发送到日志端口，日志处理服务程序将其写入日志文件app_msg.log，进入步骤3。否则继续处于等待状态。

步骤3：日志转储。具体包括：当有新的日志写入日志文件后，日志处理服务程序将对日志文件进行是否超过日志文件大小上限判断。如果没有超过上限，则进入步骤2的等待状态。如果超过上限，则将其按规则进行转储，进入步骤4。

步骤4：最旧日志文件删除。具体包括：当日志文件进行一次新的转储后，日志处理服务程序将对系统日志文件的总数以及当日生成的日志文件总数进行计数。如果超过各自的上限个数，则删除所规定的最旧的日志文件。否则进入步骤2的等待状态。

图2是本发明中日志客户端发送日志流程图。包括：

步骤21：客户端进行日志服务注册，获得使用日志服务的权利。

步骤22：日志服务动态库检查是否要发送远程日志。

步骤23：写入远程日志文件或本地日志文件app_msg.log。

图3是本发明中日志索引处理流程图。包括：

步骤31：系统日志索引的维护。在对日志索引维护过程中，进程会对日志文件以及相对应的索引文件进程检查：（1）若app_msg.log.1没有相对应的app_msg.log.1.index日志索引文件，则进程会对日志文件app_msg.log.1进行一级索引文件创建，并将一级索引文件相关信息写入到二级索引内；（2）若app_msg.log.1日志文件被删除，但系统内还保留app_msg.log.1.index索引文件时，则进程会删除该索引文件，并将保存在二级索引中的该一级索引文件相关信息清除。

对app_msg.log的索引更新：由于app_msg.log的数据一直在变化，进程会对app_msg.log每小时进行一次索引文件的更新，并将更新后的一级索引信息更新到二级索引文件中。

步骤32：接收查询请求及日志索引是否需要更新。如果服务端没有接收到查询请求，则判断日志文件是否变化，是否需要进行索引的更新，如果需要则进入步骤1，没有不需要更新则返回到接收日志查询请求状态，如果接收到查询请求，则直接进行日志查询并将查询日志结果返回给查询客户端。

图4是本发明中日志查询流程图。包括：

步骤41：日志查询工具向所需要查询的节点发送查询请求以及查询条件。其中查询条件支持按时间段查询。查询节点又包括本地节点查询和远程节点查询。例如：可通过参数传递方式–t查询开始时间查询结束时间–n节点1节点2…，将查询时间以及节点参数传递给查询工具，由查询工具发送给日志索引管理进程。

步骤42：日志查询。日志查询工具向服务端发送查询请求，服务端接受查询请求后，服务进程会判断查询客户端发送的查询时间段是否在一级索引上次更新后的一小时内，若是则先进行索引更新，如果不在则直接进入日志查询，日志查询通过二级索引文件中确定该时间段处于哪几个文件中，然后通过一级索引文件快速定位到该时间段的日志信息，并将查询到的日志信息通过网络套接字的方式返回给日志查询客户端。

步骤43：接收查询结果。对于查询结果，日志查询工具会按照时间对查询结果进行排序后汇总到查询输出文件中。

本发明按照优选实施例进行了说明，应当理解，但上述实施例不以任何形式限定本发明，凡采用等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围之内。

Claims (6)

1.一种基于两级索引的分布式日志处理和查询方法，其特征在于，包括以下步骤：

1）日志收集：服务程序启动后，将配置信息读入内存，初始化日志接收端口等待日志客户端程序写日志，日志客户端程序调用日志服务动态库接口写日志，日志服务动态库根据配置信息写入本地或远程节点日志文件中；

2）日志转储：日志服务程序接收到日志客户端发送的日志记录并将日志写入到日志文件后，日志服务程序判断写入后的日志文件大小是否超过限制；若日志文件大小超过限制，日志服务程序将这个日志文件进行转储，并判断系统内的日志文件总个数和当日日志文件总个数是否超过相对应的文件个数限制，若超过，则删除相对应个数；

3）日志索引创建及更新：日志索引处理程序启动后对日志索引文件进行检查；若没有日志索引文件，则对相应的日志文件创建索引文件后进入日志索引处理状态；若有日志索引文件，则直接进入日志索引处理状态；由日志索引处理对现有日志文件进行索引更新，并对日志转储文件进行检查；

4）日志查询：由日志查询工具向日志索引处理程序发送日志查询请求；日志索引处理程序接受查询请求并通过二级索引方式查询符合条件的日志并将其发送给日志查询工具，由日志查询工具进行统一的整合。

2.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，步骤4）中，日志查询工具通过网络套接字的方式向日志索引处理程序发送日志查询请求以及查询条件。

3.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，步骤4）中，使用两级索引辅助查询，第一级索引为单个日志文件中日期和时间与在文件中的偏移量的对应关系，第二级索引为日期和时间与日志文件名的对应关系。

4.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，步骤3）中，创建索引是增量进行，二级索引每当创建一个新日志文件和一个日志文件到达大小上限进行转储时，进行增量替换；一级索引每小时修改一次。

5.根据权利要求4所述的基于两级索引的分布式日志处理和查询方法，其特征在于，当日志文件进行转储或者变化时，先进行索引的更新后再进行查询；当查询时间段处于一级索引未更新的一小时内时，先进行索引的更新后再进行查询。

6.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，当查询的参数中指明了远程节点时，通过网络通信在异地启动查询进程，并通过日志处理程序返回查询结果，实现分布式日志查询。