CN104993957B - 一种为使用Log4j的分布式应用提供云端日志服务的方法 - Google Patents

Abstract

本发明公开了一种为使用Log4j的分布式应用提供云端日志服务的方法，其具体实现过程为：建立基于Log4j日志的日志服务管理模型；创建产生日志的应用所属项目和日志库，并将相应信息发送给日志收集监听端；日志收集监听端将信息转发给日志服务器；日志服务器提供索引服务，用户通过该日志服务器查看索引日志。该一种为使用Log4j的分布式应用提供云端日志服务的方法与现有技术相比，可解决分布式部署架构或集群部署架构中日志分散、不连续的问题，实现快速开发和部署，方便开发人员、运维人员查看、检索分布式应用的日志，减少开发、运维成本。

Description

一种为使用Log4j的分布式应用提供云端日志服务的方法

技术领域

本发明涉及计算机技术领域，具体地说是一种实用性强、为使用Log4j的分布式应用提供云端日志服务的方法。

背景技术

随着业务的扩大，单台服务器难以负载持续增长的用户群，逐步以细分服务、集群的方式来解决该问题。细分服务、以集群方式部署应用后，若应用发生错误，定位问题难道加大：开发、运维人员需要频繁切换集群中的服务器，查看各个应用的日志，来定位问题原因。web应用常用Log4j作为日志采集工具，Log4j将日志记录到本地文件系统。

基于此，现提供一种为使用Log4j的分布式应用提供云端日志服务的方法，该方法用于解决以下问题：

1）分布式部署架构或集群部署架构中，开发、运维人员无法准确知道日志发生在集群中的哪台服务器上，查找日志繁琐。

2）分布式部署架构或集群部署架构中，同一应用的日志分散在不同的服务器上，造成同一个应用的日志不连续，定位问题难度大。

3）便捷地查看、检索日志。

4）快速开发和部署。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、为使用Log4j的分布式应用提供云端日志服务的方法。

一种为使用Log4j的分布式应用提供云端日志服务的方法，其具体实现过程为：

建立基于Log4j日志的日志服务管理模型，该日志服务管理模型为每个项目创建独立的日志库，隔离不同项目的日志数据；为项目下的各个应用日志定义唯一的日志分类，方便查看、检索相同应用下同类别的日志；

创建产生日志的应用所属项目和日志库，并将相应信息发送给日志收集监听端；

日志收集监听端将信息转发给日志服务器；

日志服务器提供索引服务，用户通过该日志服务器查看索引日志。

所述步骤二的详细过程为：日志服务管理模型收集日志时间、产生日志的机器、日志级别、日志内容，同时配置应用所属项目和日志库、日志分类信息，将这些信息发送到日志收集监听端。

所述日志索引服务的提供过程为：日志收集监听端再将这些信息发送到日志服务器，运用日志索引技术进行分词、索引处理，提供按日志分类、日志时间、日志级别、关键字进行检索的界面模型，方便用户查看、检索日志。

上述日志收集、日志索引采用的为Apache开源的日志收集、日志索引技术。

所述日志服务管理模型建立过程为：

创建项目：项目用于资源隔离和控制，通过项目来管理该项目下所有的日志库，同时该项目名称为唯一的；

创建日志库：根据项目下各应用的特性创建日志库，日志库用于资源隔离和控制；同一项目下可创建多个日志库，不同日志库中的日志无法交叉访问；

指定日志收集系统的监听端口，指定日志索引服务的host和端口；

所述日志服务管理模型中生成相应步骤的包，并提供下载功能方便用户获取，这些包分别为：日志收集服务的下载包、日志索引服务的下载包、收集Log4j日志的日志收集包。

所述收集Log4j日志的日志收集包的内容包括：

用来配置应用所属项目和日志库，以及本应用的日志将写入的日志收集系统的监听端口的配置文件一；

配置为Log4j日志收集包中的appender、由应用名称和包组成的日志分类的配置文件二。

收集Log4j日志的日志收集包的日志收集过程为：应用程序每打印一条Log4j日志，配置文件二监听到Log4j日志事件，从日志事件中获取信息，并按照日志收集模型进行组装；并将组装后的日志信息写入配置文件一中配置的日志收集系统的监听端口的hostname和端口port中。

日志收集服务的下载包中包含监听端口的安装包，安装包中包含配置文件三，该配置文件三配置日志收集服务的监听端口。

日志索引服务的下载包中包含用户创建的日志库的安装包，该日志库包含内容：

项目名称及日志库名称：构成了唯一的一个索引库，项目名称和日志库名称为用户在日志服务管理模型中创建的的项目和日志库；

配置文件四，包含了收集Log4j日志的日志收集包依赖的日志收集模型中各项的索引配置，即日志分类、日志时间、日志来源机器ip、日志级别、日志发生时的类。

所述日志索引服务通过查看检索界面完成，该检索查看界面输入检索指令后，根据日志类别、日志时间、产生日志的机器、日志级别、日志内容检索日志，并将同一类别的日志按照日志时间进行排序并在该检索界面上展现。

本发明的一种为使用Log4j的分布式应用提供云端日志服务的方法，具有以下优点：

该发明的一种为使用Log4j的分布式应用提供云端日志服务的方法从开发、运维人员的角度，提供了从日志的收集、按模型组装、日志索引、日志展现全过程的解决方案，通过统一的日志服务的管理模型，Log4j日志的日志收集模型，运用开源的Apache flume日志收集技术和Apache solr日志索引技术即可开发云端日志服务。整个过程，开发、实施简单。本发明可解决分布式部署架构或集群部署架构中开发、运维人员频繁切换应用服务器查找日志的窘境，由于收集了产生日志的机器，也方便了开发、运维人员定位到具体的应用服务器查看、解决问题。实用性强，适用范围广泛，易于推广。

附图说明

附图1为本发明的逻辑部署结构图。

附图2为本发明的技术结构图。

附图3为本发明中日志收集包的技术结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

本发明提供一种为使用Log4j的分布式应用提供云端日志服务的方法, 提供日志服务管理模型，包括两大块：1）创建项目和日志库；2）查看、检索日志。提供基于Log4j日志的日志收集模型，收集日志时间、产生日志的机器、日志级别、日志内容，同时配置应用所属项目和日志库、日志分类信息，将这些信息发送到日志收集技术监听端，日志收集技术再将这些信息发送到日志服务器，运用日志索引技术进行分词、索引处理，提供按日志分类、日志时间、日志级别、关键字进行检索的界面模型，方便用户查看、检索日志。

基于此设计思路，如附图1、图2、图3所示，该方法的实现过程为：通过统一的日志服务管理模型，为每个项目创建独立的日志库，隔离不同项目的日志数据；为项目下的各个应用日志定义唯一的日志分类，方便查看、检索相同应用下同类别的日志。通过运用Apache开源的日志收集技术、日志索引技术，日志收集模型收集产生日志的应用所属项目和日志库、日志类别、日志时间、产生日志的机器、日志级别、日志内容，将经由日志收集模型处理的日志数据发送到Apache开源的日志收集技术对应的监听端，日志收集技术经由通道将信息发送到日志服务器，运用Apache开源的日志索引技术进行分词、索引处理，同时提供界面模型，针对日志类别、日志时间、产生日志的机器、日志级别、日志内容进行查看、检索。

其具体实现过程为：

创建日志服务管理模型。

1）创建项目：项目主要用于资源隔离和控制。通过项目来管理该项目下所有的日志库。项目名称全局唯一。

2）创建日志库：可根据项目下各应用的特性创建日志库，日志库主要用于资源隔离和控制。同一项目下可创建多个日志库，不同日志库中的日志不能交叉访问。

3）指定Apache flume日志收集系统的监听端口，指定Apache solr日志索引服务的host和端口。若不想前期设定，本步骤可以跳过，后期实施过程中可以再配置相关信息。

Apache flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

Apache Solr 是一个开源的基于Lucene的全文搜索服务器，主要特性包括：高效、灵活的缓存功能，垂直搜索功能，高亮显示搜索结果，通过索引复制来提高可用性。

根据上述1）、2）、3）步骤定义的信息，生成相应的包，并提供下载功能方便用户获取。这些包包括：基于日志收集模型，收集Log4j日志的日志收集包：sls-client-log4jAppender.zip ；Apache flume日志收集服务的下载包；Apache solr日志索引服务的下载包。

针对上述三种包，现做以下详细描述：

一、收集Log4j日志的日志收集包：

收集Log4j日志的日志收集包sls-client-log4jAppender.zip，包括内容：

A）sls.properties配置文件：主要是用来配置应用所属项目和日志库，以及本应用的日志将写入的Apache flume日志收集服务监听端口。

配置示例：

#Apache flume日志收集服务的hostname：

hostname=127.0.0.1。

#Apache flume日志收集服务的监听端口：

port=4141。

#项目名称（日志服务中创建的项目名称）：

sls_project=myproject。

#日志库名称（日志服务中创建的日志库名称）：

sls_block=myblock。

B）log4j.properties配置文件：主要配置appender和slsTopic，其中，

appender配置为Log4j日志收集包中的appender：org.apache.flume.clients.log4j.SlsLog4jAppender。

slsTopic为日志分类，由应用名称和包组成，配置示例：bpm_trace，其中bpm为应用名称，trace为A1包的逻辑名称。

配置示例：

log4j.category.com.inspur=DEBUG,A1；

log4j.additivity.com.inspur=false；

#配置appender为收集Log4j日志的日志收集包中的appender；

log4j.appender.A1=org.apache.flume.clients.log4j.SlsLog4jAppender；

#配置slsTopic为日志分类，配置示例：bpm_trace，其中bpm为应用名称，trace为A1包的逻辑名称；

log4j.appender.A1.slsTopic=bpm_trace；

log4j.appender.A1.layout=org.apache.log4j.PatternLayout；

log4j.appender.A1.layout.ConversionPattern=[%d{ISO8601}] %-5p %-x %X{user} %n %m%n。

工作原理说明：应用程序每打印一条Log4j日志，org.apache.flume.clients.log4j.SlsLog4jAppender监听到Log4j日志事件，从日志事件中获取信息，并按照日志收集模型进行组装。并将组装后的日志信息写入配置文件sls.properties中配置的Apache flume日志收集服务的hostname和端口port中。

日志事件和本专利的日志收集模型的对应关系如下表：

本专利的日志收集模型中的其他项的数据来源：

二、Apache flume日志收集服务：

Apache flume日志收集服务下载包中包含Apache flume的安装包，安装包中包含配置文件flume-conf-sls-avro.properties，该文件配置日志收集服务的监听端口，配置内容如下：

agent_slsavro.sources = s1；

agent_slsavro.channels = c1；

agent_slsavro.sinks = k1。

agent_slsavro.sources.s1.type = avro；

agent_slsavro.sources.s1.bind = 0.0.0.0；

#Apache flume日志收集服务的监听端口；

agent_slsavro.sources.s1.port = 4141；

agent_slsavro.sources.s1.channels = c1。

agent_slsavro.sinks.k1.type = org.apache.flume.sink.solr.SlsSolrSink；

#Apache solr日志索引服务的url；

agent_slsavro.sinks.k1.solrUrl=http://host:port/solr；

agent_slsavro.sinks.k1.channel = c1；

agent_slsavro.sinks.k1.batchSize = 100。

agent_slsavro.channels.c1.type = file；

agent_slsavro.channels.c1.checkpointDir = ./agent_slsavro/checkpoint；

agent_slsavro.channels.c1.dataDirs = ./agent_slsavro/data；

agent_slsavro.channels.c1.transactionCapacity = 10000；

agent_slsavro.channels.c1.capacity = 1000000。

上述配置文件中的port=4141是指Apache flume日志收集服务的监听端口，默认为4141，若该端口已被占用，则修改为其他端口。收集Log4j日志的日志收集包sls.properties配置文件中的配置项port的值必须和该端口保持一致。

http://host:port/solr 是指Apache solr日志索引服务的url。

org.apache.flume.sink.solr.SlsSolrSink的实现原理说明：

第一、构建Apache solr日志索引服务地址：根据配置文件flume-conf-sls-avro.properties中的项solrUrl及日志收集模型中的项sls_project和sls_block，构建日志索引服务地址：solrUrl的值+‘/’+ sls_project的值+‘_’+sls_block的值。

第二、构建Apache solr日志索引库中各个数据项：将日志收集模型中项添加到日志索引库的各个数据项中。

第三、根据flume-conf-sls-avro.properties中的项batchSize的值，批量更新到Apache solr日志索引库。batchSize的默认值为100。

三、Apache solr日志索引服务

Apache solr日志索引服务下载包中包含Apache solr的安装包，安装包中包含用户创建的日志库，该库部署在solr安装目录/server/solr目录下。

日志库包含内容：

项目名称_日志库名称：构成了solr唯一的一个索引库，项目名称和日志库名称为用户在日志服务管理模型中创建的的项目和日志库。

配置文件core.properties，该配置文件中配置项name的值必须和1）一致。core.properties的内容：

name=项目名称_日志库名称；

config=solrconfig.xml；

schema=schema.xml；

dataDir=data。

配置文件conf/schema.xml，该配置包含了收集Log4j日志的日志收集包依赖的日志收集模型中各项的索引配置，配置项的类型、索引说明如下：

日志服务的查看、检索界面模型：日志服务的查看、检索界面，根据日志类别、日志时间、日志级别、关键字等检索日志，默认将同一类别的日志按照日志时间sls_timestamp进行排序并展现。

本发明可使得开发人员、运维人员便捷地使用日志服务解决分布式部署架构或集群部署架构中日志分散、不连续的问题，实现快速开发和部署，方便开发人员、运维人员查看、检索分布式应用的日志，减少开发、运维成本。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种为使用Log4j的分布式应用提供云端日志服务的方法的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (6)

1.一种为使用Log4j的分布式应用提供云端日志服务的方法，其特征在于其具体实现过程为：

步骤一、建立基于Log4j日志的日志服务管理模型，该日志服务管理模型为每个项目创建独立的日志库，隔离不同项目的日志数据；为项目下的各个应用日志定义唯一的日志分类，方便查看、检索相同应用下同类别的日志；

步骤二、创建产生日志的应用所属项目和日志库，并将相应信息发送给日志收集监听端；

步骤三、日志收集监听端将信息转发给日志服务器；

步骤四、日志服务器提供索引服务，用户通过该日志服务器查看索引日志；

在上述步骤中，日志服务管理模型中生成相应步骤的包，并提供下载功能方便用户获取，这些包分别为：日志收集服务的下载包、日志索引服务的下载包、收集Log4j日志的日志收集包；

日志收集服务的下载包中包含监听端口的安装包，安装包中包含配置文件三，该配置文件三配置日志收集服务的监听端口；

日志索引服务的下载包中包含用户创建的日志库的安装包，该日志库包含项目名称及日志库名称、配置文件四，其中，项目名称及日志库名称构成了唯一的一个索引库，项目名称和日志库名称为用户在日志服务管理模型中创建的的项目和日志库；配置文件四包含了收集Log4j日志的日志收集包依赖的日志收集模型中各项的索引配置，即日志分类、日志时间、日志来源机器ip、日志级别、日志发生时的类；

所述收集Log4j日志的日志收集包的内容包括配置文件一及配置文件二，其中配置文件一用来配置应用所属项目、日志库以及本应用的日志将要写入的日志收集系统的监听端口；配置文件二用来配置Log4j日志收集包中的appender、由应用名称和包组成的日志分类。

2.根据权利要求1所述的一种为使用Log4j的分布式应用提供云端日志服务的方法，其特征在于，所述步骤二的详细过程为：日志服务管理模型收集日志时间、产生日志的机器、日志级别、日志内容，同时配置应用所属项目和日志库、日志分类信息，将这些信息发送到日志收集监听端。

3.根据权利要求2所述的一种为使用Log4j的分布式应用提供云端日志服务的方法，其特征在于，所述日志索引服务的提供过程为：日志收集监听端将相关信息发送到日志服务器，运用日志索引技术进行分词、索引处理，提供按日志分类、日志时间、日志级别、关键字进行检索的界面模型，方便用户查看、检索日志。

4.根据权利要求1、2或3所述的一种为使用Log4j的分布式应用提供云端日志服务的方法，其特征在于，上述日志收集、日志索引采用的为Apache开源的日志收集、日志索引技术。

5.根据权利要求4所述的一种为使用Log4j的分布式应用提供云端日志服务的方法，其特征在于，所述日志服务管理模型建立过程为：

创建项目：项目用于资源隔离和控制，通过项目来管理该项目下所有的日志库，同时该项目名称为唯一的；

创建日志库：根据项目下各应用的特性创建日志库，日志库用于资源隔离和控制；同一项目下可创建多个日志库，不同日志库中的日志无法交叉访问；

指定日志收集系统的监听端口，指定日志索引服务的host和端口。

6.根据权利要求1所述的一种为使用Log4j的分布式应用提供云端日志服务的方法，其特征在于，收集Log4j日志的日志收集包的日志收集过程为：应用程序每打印一条Log4j日志，配置文件二监听到Log4j日志事件，从日志事件中获取信息，并按照日志收集模型进行组装；并将组装后的日志信息写入配置文件一中配置的日志收集系统的监听端口的hostname和端口port中。