CN101197700A

CN101197700A - 提供日志服务的方法及系统

Info

Publication number: CN101197700A
Application number: CNA2006101619014A
Authority: CN
Inventors: 沈少峰; 李磊; 赵旭
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd
Priority date: 2006-12-05
Filing date: 2006-12-05
Publication date: 2008-06-11
Anticipated expiration: 2026-12-05
Also published as: CN100596353C; HK1118402A1

Abstract

本发明公开了提供日志服务的方法及系统，涉及日志处理技术，解决多服务器环境下日志收集后的时序性问题，以及日志排序需要耗费资源和时间的问题。所述方法包括：在服务器配置文件中配置索引目标目录信息；客户端向远程服务器发送日志信息；所述服务器接收到日志信息后，读取索引目标目录，并将所述日志信息和索引目标目录写入索引对象；将所述索引对象放入索引队列；循环读取所述索引队列，从索引对象中获取索引目标目录和日志信息，创建日志索引文件并保存。由于日志索引文件具有时序性，解决了由多个分散的文件合并为一个日志文件没有时序性的问题。而且，本发明支持多人高效、安全、方便的日志操作需求，可以通过不同的用户权限进行控制。

Description

提供日志服务的方法及系统

技术领域

本发明涉及日志处理技术，特别是涉及多服务器环境下，一种提供日志收集、分析处理和查看等服务的方法及系统。

背景技术

多服务器环境指产生日志事件的服务器有多台。在多服务器环境中，日志的收集、分析处理、查看等一系列服务的处理方法多种多样。目前，多数日志收集方法是直接将日志文件写到应用服务器本地(即客户端)，然后通过指定的服务器按一定周期的定时任务(通常是一日)，将各个应用服务器(即远程客户端)上存放的日志取出，最后合并成一个日志文件。参照图1所示，日志服务器101、102、103都生成了大量的日志文件，而日志的收集由指定服务器104定时收集完成。而且，用户需要到本地服务器101、102、103查看日志。

但是，随着本地服务器数量的增加，上述由专门服务器定时进行日志收集的方法已不能满足整体的日志处理，体现在四个方面：

第一，通过专门服务器收集并合并的日志文件，其中文件中各个部分相对于每台日志服务器是独立的，因此合并后的日志文件没有统一的时序性。

第二，某些应用会对所述时序性问题采用排序的方式来解决，但通常需要由专门的服务器负责排序工作，十分消耗资源；而且，处理排序的时间也很长，例如某应用中一天的日志量要花费六个小时左右才能完成排序。

第三，传统的日志查看方式，一方面，需要系统管理员开放系统运行环境下的访问权限，而权限的申请流程十分烦琐；另一方面，查看时到各个日志服务器上查看日志文件，或者通过脚本把当前环境下的日志文件合并后再查看，而查看只能依靠键盘输入命令，因此容易造成误操作，带来很多不便。

第四，各个日志服务器只反映单独的日志信息，因此对各个日志服务器上日志的单独监控不准确，并不代表一个整体的日志服务情况。

发明内容

本发明所要解决的技术问题是提供一种日志服务的方法及系统，以解决多服务器环境下日志收集后的时序性问题，以及日志排序需要耗费资源和时间的问题。

本发明的另一个目的是解决日志查看方式操作烦琐，以及单独监控不能反映整体日志服务的问题。

为解决上述技术问题，本发明提供了一种提供日志服务的方法，其特征在于，包括：

在服务器配置文件中配置索引目标目录信息；

客户端向远程服务器发送日志信息；

所述服务器接收到日志信息后，读取索引目标目录信息，并将所述日志信息和索引目标目录写入索引对象；

将所述索引对象放入索引队列；

循环读取所述索引队列，从索引对象中获取索引目标目录和日志信息，创建日志索引文件并保存。

优选的，还包括：在服务器配置文件中设置日志信息与分词方法的对应关系，创建日志索引文件时动态分配分词器，对日志内容进行分词，建立基于日志内容的分词索引。

还包括日志查看：对应查询语句和所述索引目标目录，搜索日志索引文件，将搜索到的日志信息以网页形式显示。

还包括：对搜索结果进行排序。

还包括：设置不同的查看权限。

其中，客户端执行以下步骤向远程服务器发送日志信息：在客户端配置文件中记录远程服务器寻址信息和端口，客户端通过socket将日志信息发送到指定服务器的指定端口。

优选的，还包括：对客户端的日志信息发送过程设置缓存和保护机制。

本发明还提供了一种提供日志服务的系统，其特征在于，包括日志客户端和日志服务端：

日志客户端，用于向日志服务端发送日志信息；

日志服务端包括：存储单元，用于保存服务器配置文件和日志索引文件，其中服务器配置文件记录了索引目标目录信息；日志收集端，用于接收日志信息后，读取索引目标目录信息，并将所述日志信息和索引目标目录写入索引对象；然后将所述索引对象放入索引队列；循环读取所述索引队列，从索引对象中获取索引目标目录和日志信息，创建日志索引文件并保存于存储单元。

其中，所述日志服务端还包括：日志搜索端，用于对应查询语句和所述索引目标目录，搜索日志索引文件，将搜索到的日志信息以网页形式显示。

优选的，所述日志服务端还包括：至少一种分词器，用于对日志内容进行分词；所述日志收集端根据服务器配置文件中记录的日志信息与分词器的对应关系，动态分配分词器，在日志索引文件中建立基于日志内容的分词索引。

其中，所述日志客户端包括：配置单元，用于在客户端配置文件中设置远程服务器寻址信息和端口；发送接口，用于对应远程服务器寻址信息和端口，通过socket将日志信息发送到所述日志服务端的指定服务器的指定端口。

优选的，所述日志客户端还包括：过载保护接口，用于设置日志信息缓存保护队列，并将队列中的日志信息分配给所述发送接口。

与现有技术相比，本发明具有以下优点：

第一，本发明对Log4j提供的远程写入日志的方法进行改造，将原来记录在各服务器本地的日志信息实时收集到一台或多台指定的日志服务器上，并对收集到的日志信息建立索引，以索引文件的形式保存日志。因此，创建索引保存后的日志索引文件具有时序性，解决了由多个分散的文件合并为一个日志文件没有时序性的问题。

第二，本发明的日志服务建立了基于索引的Web日志查看方式，用户可以通过浏览器直接访问日志索引文件，对日志相关信息进行浏览、搜索、统计、分析等操作，大大提高了日志操作的效率，本发明支持多人高效、安全、方便的日志操作需求。而且，日志的查看可以通过不同的用户权限进行控制。

第三，在日志索引文件的搜索应用中，可以对搜索结果进行排序，但与原来对全部日志数据进行排序的方式相比，本发明由于建立了基于索引的Web日志查看方式，可以根据用户的需求对选定的日志数据进行排序，排序数据量大大减少，节省了大量的系统资源和排序时间。

第四，对日志的集中处理，可以更全面地监控当前系统的运行状况。本发明提供的日志收集、处理、查看等服务扩展了Log4j的应用范围。

附图说明

图1是现有技术中多服务器环境下的日志收集方法示意图；

图2是现有技术Log4j的SocketServer实现方式示意图；

图3是本发明中Log4j的SocketServer实现方式示意图；

图4是本发明所述提供日志服务的步骤流程图；

图5是本发明所述提供日志服务的系统结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

Log4j是一款帮助程序员输出日志信息到输出目的地的工具，本发明正是利用Log4j的特性实现日志的远程写入，并在此基础上进行改造，提供基于索引的日志服务。Log4j提供了一种通过socket(网络套接字)远程写入日志的方法，参照图2所示，是Log4j的SocketServer(服务器端套接字)实现方式示意图。在多服务器环境中，产生日志的客户端201、202、203都生成了多条日志事件，然后根据客户端配置文件使用SocketAppender，将日志事件通过socket写入指定服务器204。其中，所述SocketAppender用于向远程日志服务器(通常是网络套接字节点)发送日志事件对象。而在服务器204，则启动log4j的SocketServer监听指定的端口，当接收到新的日志事件后，通过IP地址区分不同客户端，按产生日志事件的客户端分配指定的节点2011、2022、2033(每个节点即一个新的线程)，然后根据服务器配置文件处理所述日志事件。

本发明采用上述Log4j的SocketServer方式，并进行改造，提供了基于索引的日志收集、处理和查看服务。参照图3，是本发明中Log4j的SocketServer实现方式示意图，概括说明了本发明的核心内容。如图所示，客户端301、302、303分别产生多条日志事件，然后通过socket发送；SocketServer304接收到日志事件后，按产生日志事件的客户端分配指定的节点3011、3022、3033，然后根据服务器配置文件分配Appender(公共接口，负责控制日志记录操作的输出)。本发明创建了新的Appender，即创建索引的IndexAppender305，实现将日志事件写入索引的操作，而原有的Appender306实现输出内容到控制台、写入文件等。各节点处的日志事件被指派到已定义的IndexAppender305进行处理，生成日志索引文件。然后，在日志查看服务器307建立基于Web的日志查看方式，通过搜索日志索引文件，向用户显示日志信息。下面内容将详细说明图3所示的实现日志服务的过程。

本发明优选的，网络传输采用socket通讯方式实现，因为所述方式使用起来比较简单，不需要依赖系统环境的支持。当然，也可以使用更可靠的传输，如JMS(Java Message Service，定义了Java中访问消息中间件的接口)或ESB(Enterprise Service Bus，企业服务总线，是一种提供可靠的、有保证的消息技术的最新方法)等，服务器端的监听做相应的改造，但必须配置相应的系统环境，所以应用的复杂度较高。

基于上述Log4j的背景介绍，参照图4，是本发明所述提供日志服务的步骤流程图。

步骤401，预设置服务器配置文件和客户端配置文件。与日志直接写入本地文件的方式相比，本发明对原有Log4j的客户端配置文件进行了修改，在客户端配置文件中主要设置远程服务器的寻址信息(如IP地址)和端口。参见如下配置代码，是在本地记录日志的一个配置实施例，文件中记录了路径、写入格式等配置信息，用于直接将日志事件写入本地服务器。

</layout>

</appender>

再参见如下代码，是一个远程写入日志的配置实施例，只需在客户端配置文件中提供远程服务器的地址和端口，其他内容如写入格式等在服务器端配置。

<appender name＝″ASYNC-REMOTE-APPENDER″

class＝″com.iwallet.biz.common.log.LogExpressAppender″>

<appender-ref ref＝″REMOTE-APPENDER″/>

</appender>

<appender name＝″REMOTE_APPENDER″

class＝″org.apache.log4j.net.SocketAppender″>

</appender>

而服务器配置文件中主要设置了索引目标目录，以及日志写入格式等信息。所述索引目标目录是本发明在服务器配置文件中新创建的内容，提供了创建索引的基本条件和查询日志的依据。通常，按照日志分类建立多个索引目标目录。

步骤402，产生日志的客户端向远程服务器发送日志事件。本发明优选的，对客户端的SocketAppender进行改造，设置了缓存机制，并提供过载保护措施，避免因网络或远程服务器等原因造成客户端日志发送的异常运行。当客户端的应用服务器产生一条日志事件后，放入发送队列缓存，而当所述队列满时，主动丢弃日志事件不进行处理，避免待发送日志事件的长时间等待。类似的保护措施，也可以根据不同应用需求设置，例如可以先在本地进行临时的保存。

而队列中的日志事件则根据客户端配置文件被分配给SocketAppender处理，在上述配置代码中，SocketAppender根据REMOTE_APPENDER配置的RemoteHost和Port，将日志事件通过socket发送到指定服务器(RemoteHost)的指定端口(Port)。

步骤403，远程服务器的SocketServer监听指定的端口，当接收到新的日志事件后，通过IP地址区分不同客户端，按产生日志事件的客户端分配指定的节点，然后根据服务器配置文件处理各节点处的日志事件。

步骤404，创建索引对象，并放入索引队列。通过客户端发送的日志事件获取日志级别、时间戳、具体的日志内容等日志信息，根据服务器配置文件按照日志分类获取索引目标目录、日志写入格式等配置信息，以及获取远程服务器自定义的处理(根据应用需求设置)等数据。将上述各种数据信息写入新创建的索引对象，然后放入索引队列等待处理。其中，上述日志级别、时间戳等信息都可以成为创建索引的关键词。

此外，所述索引对象通常还包括一种默认设置的分词方法(在Log4j中称为分词器)，用于对具体的日志内容进行分词处理，建立基于日志内容的索引关键词。但是，同一种分词方法并不适用于所有类型的日志内容。因此为提高分词的准确性和效率，本发明优选的，采用了多种分词方法(如按逗号分词，或者按空格分词等)，预先在服务器配置文件中设置各种日志内容与所采用的分词方法的对应关系。在创建索引对象时，根据服务器配置文件为不同类型的日志内容动态分配分词器。当然，也可以按日志内容的其他分类原则分配分词方法。

步骤405，创建索引，并生成日志索引文件。循环读取所述索引队列，从索引对象中获取索引目标目录、相应的分词器名称、其他日志信息等，生成具有不同索引关键词的日志索引文件，如基于日志级别的索引文件，或者是基于日志内容的索引文件等。所述日志索引文件中可能包含多个索引对象的数据，而一个索引对象也可能生成多个不同关键词的索引文件。

上述过程完成了远程日志的实时收集和索引处理，与原来记录为文本文件形式的常规日志文件相比，由于Log4j提供的日志收集的实时性，决定了写入文件中日志信息的时序性，因此解决了由多个分散的文件合并为一个日志文件没有时序性的问题。而且，本发明提供的基于索引的日志服务，扩展了Log4j的应用范围，由于Log4j方式不依赖于系统环境的支持，还可以在此基础上不断完善和发展。

步骤406，在建立日志索引文件的基础上，本发明还提供了基于Web的日志查看方式，用户可以直接通过浏览器访问日志文件。日志数据的访问需要两类参数，一个是索引目标目录(可以是多个目录)，一个是搜索的查询语句。所述索引目标目录即为创建索引时的目录文件，用户可以在浏览器中通过选择索引目标目录搜索相应目录下的日志索引文件。而索引目标目录可以根据应用设置，如按日志级别和月日定制，例如：错误事件10月20日的日志，对应索引可以保存在“/error/index-10-20/”目录。所述查询语句用于通过查找关键词，从日志索引文件中搜索到需要的信息。查询语句的性质类似于数据库的SQL(结构化查询语句)语句。例如：显示所有level为error的日志，可以通过Term(“level”，“error”)构建Query的子类TermQuery。

通过索引目标目录和查询语句搜索后的结果，若数据量较大可进行分页处理，每页显示一定的数据条数，然后以网页形式返回给用户。在实际应用中，除正常的搜索外，还可以按时间段浏览指定日志的内容，也是通过上述搜索设置开始和结束的时间段实现。

基于上述Web日志查看方式，本发明还提供了对日志索引文件搜索后的结果数据进行排序。但与原来需要对全部日志数据进行排序的方式相比，由于本发明可以根据用户需求进行选择排序，因此排序数据量大大减少，节省了大量的系统资源和排序时间。

本发明优选的，还对不同用户设置了不同的日志查看权限，控制用户查看日志内容的范围。基于上述日志查看方式，还可以进一步拓展日志相关信息的统计、分析等操作。而且，对日志的集中处理，可以更全面地监控当前系统的运行状况。本发明支持多人高效、安全、方便的日志操作需求。

本发明在Log4j的基础上进行改造，创建了提供日志服务的系统结构图，参照图5所示。所述系统包括日志客户端501和日志服务端502，其中日志服务端502又包括日志收集端503和日志搜索端504。

本发明对原有的Log4j客户端进行了改进：在日志客户端501中，配置单元中的客户端配置文件主要设置日志服务端502的寻址信息(如IP地址)和端口，用于指定日志服务端502；过载保护接口505是本发明的优选设置，是在AsyncAppender(提供异步方式输出日志的接口)基础上追加了过载保护的新Appender，借助log4j日志事件的缓存队列，加上特定的控制，当队列满时主动丢弃日志事件，不进行处理。当然，类似的保护措施也可以根据应用需求设置，例如在本地临时保存。

Log4j日志客户端501中的发送接口即为SocketAppender，用于通过socket向日志服务端502发送日志事件。Socket通讯方式是本发明的优选，因为所述方式使用起来比较简单，不需要依赖系统环境的支持。当然，也可以使用更可靠的传输，如JMS或ESB等，但必须配置相应的系统环境，所以应用的复杂度较高。

当日志客户端501产生一条日志事件后，根据客户端配置文件，将所述日志事件交给过载保护接口505处理。过载保护接口505在提供缓存和保护措施的前提下，根据客户端配置文件将所述日志事件分派给发送接口(即SocketAppender)，发送接口再根据日志服务端502的地址和端口，通过socket将日志事件发送到指定服务器的指定端口。

在日志服务端502，提供日志的收集、处理和查看服务，由日志收集端503和日志搜索端504完成。而存储单元506保存了服务器配置文件和生成的日志索引文件。其中，服务器配置文件记录了索引目标目录(通常按照日志分类配置，可以是多个)、日志写入格式等配置信息，需要预先进行设置。日志收集端503用于从各个日志客户端501收集远程日志信息，并建立索引。日志收集端503启动两个服务，一个是Log4j的SocketServer，一个是索引服务507。SocketServer用于监听端口，当接收到新的日志事件后，根据服务器配置文件分配指定的Appender执行日志处理，如分配给索引服务507。

索引服务507用于对收集到的日志信息建立索引，并生成日志索引文件。索引服务507根据服务器配置文件、日志客户端501发送的日志事件、日志服务端502自定义的处理(根据应用需求设置)等信息来源，创建索引对象，将索引目标目录、日志写入格式等配置信息，日志级别、时间戳、具体的日志内容等日志信息写入索引对象。索引服务507设置索引队列，每个新创建的索引对象都加入所述索引队列，等待处理。索引服务507循环读取索引队列，从索引对象中获取索引目标目录、日志信息等数据，创建索引，生成日志索引文件保存于存储单元。

本发明优选的，所述日志收集端503还设置了不同的分词器508，用于对日志内容进行分词后，建立基于日志内容的分词索引。需要在服务器配置文件中记录日志内容与所采用的分词器的对应关系，索引服务507创建索引对象时动态分配分词器，将采用的分词器写入，创建索引时进行分词处理，然后建立基于日志内容的日志索引文件。不同类型的日志内容可采用不同的分词器进行处理，从而提高分词的准确性和效率。

日志搜索端504用于提供基于索引的Web日志查看方式，通过索引目标目录查看日志索引文件的存放位置，然后再通过查询语句搜索关键词，从日志索引文件中搜索到需要的信息。若搜索结果的数据量较大，则可进行分页处理，然后以网页形式分页显示给用户。在实际应用中，除正常的搜索外，还可以按时间段浏览指定日志的内容，也是通过上述搜索设置开始和结束的时间段实现。

在日志索引文件的搜索应用中，可以对日志搜索端504的搜索结果进行排序，但与原来对全部日志数据进行排序的方式相比，本发明由于建立了基于索引的Web日志查看方式，可以根据用户的需求对选定的日志数据进行排序，排序数据量大大减少，节省了大量的系统资源和排序时间。

本发明中建立在索引基础上的日志操作方式，提高了日志操作的效率，用户可以通过浏览器直接进行日志的浏览、搜索、统计、分析等操作。而且，还可以通过控制不同用户权限来限制查看日志内容的范围。所述对日志的集中处理，可以更全面地监控当前系统的运行状况。

以上对本发明所提供的一种提供日志服务的方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.提供日志服务的方法，其特征在于，包括：

在服务器配置文件中配置索引目标目录信息；

客户端向远程服务器发送日志信息；

将所述索引对象放入索引队列；

2.根据权利要求1所述的方法，其特征在于，还包括：在服务器配置文件中设置日志信息与分词方法的对应关系，创建日志索引文件时动态分配分词器，对日志内容进行分词，建立基于日志内容的分词索引。

3.根据权利要求1所述的方法，其特征在于，还包括日志查看：对应查询语句和所述索引目标目录，搜索日志索引文件，将搜索到的日志信息以网页形式显示。

4.根据权利要求3所述的方法，其特征在于，还包括：对搜索结果进行排序。

5.根据权利要求3所述的方法，其特征在于，还包括：设置不同的查看权限。

6.根据权利要求1所述的方法，其特征在于，客户端执行以下步骤向远程服务器发送日志信息：在客户端配置文件中记录远程服务器寻址信息和端口，客户端通过socket将日志信息发送到指定服务器的指定端口。

7.根据权利要求1或6所述的方法，其特征在于，还包括：对客户端的日志信息发送过程设置缓存和保护机制。

8.提供日志服务的系统，其特征在于，包括日志客户端和日志服务端：

日志客户端，用于向日志服务端发送日志信息；

9.根据权利要求8所述的系统，其特征在于，所述日志服务端还包括：日志搜索端，用于对应查询语句和所述索引目标目录，搜索日志索引文件，将搜索到的日志信息以网页形式显示。

10.根据权利要求8所述的系统，其特征在于，所述日志服务端还包括：至少一种分词器，用于对日志内容进行分词；所述日志收集端根据服务器配置文件中记录的日志信息与分词器的对应关系，动态分配分词器，在日志索引文件中建立基于日志内容的分词索引。

11.根据权利要求8所述的系统，其特征在于，所述日志客户端包括：配置单元，用于在客户端配置文件中设置远程服务器寻址信息和端口；发送接口，用于对应远程服务器寻址信息和端口，通过socket将日志信息发送到所述日志服务端的指定服务器的指定端口。

12.根据权利要求11所述的系统，其特征在于，所述日志客户端还包括：过载保护接口，用于设置日志信息缓存保护队列，并将队列中的日志信息分配给所述发送接口。