CN107977473B - 基于Logback的分布式系统日志的检索方法和系统 - Google Patents

Abstract

本发明公开了一种基于Logback的分布式系统日志的检索方法和系统，其中，方法包括：获取用户的请求信息和不同分布式应用系统的日志信息，根据日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到请求信息中，得到唯一请求信息；根据代理服务对唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；对每个唯一日志文件进行集中存储，根据唯一日志文件完成对不同分布式应用系统的检索。本发明根据唯一日志文件中的跟踪唯一标识就能将请求信息在分布式系统中的轨迹展现出来，达到快速定位检索的目的；也可以根据跟踪唯一标识实现对请求信息的溯源和分析。

Description

基于Logback的分布式系统日志的检索方法和系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Logback的分布式系统日志的检索方法和系统。

背景技术

云计算环境中部署了大量的物理设备、业务系统。同时，也部署了运维，安全管理等的平台监控、管理系统，日志信息成为平台监控、管理的重要手段，海量的、来自不同设备、系统的日志信息需要被多个系统使用，同时平台中一旦设备出现问题，日志信息就成为排查故障，预防故障的重要手段。

目前大多数的互联网企业都采用的分布式架构，应用分布式部署，服务间通过RPC远程调用进行通讯。也就是说，网站支撑一次用户行为，代码底层需要多个服务相互协同工作才能完成。这种模块之间相互独立固然可能提升系统的健壮性和可用性，但是存在的问题是，由于应用日志散落在各个系统中，排查问题需要在不同的应用系统进行切换，且日志之间无关联关系，当问题发生时，通过日志又很难定位到请求的源头，进而大大影响问题解决时间。

发明内容

本发明的目的是提供一种基于Logback的分布式系统日志的检索方法和系统，通过自动追加跟踪唯一标识将日志文件有机的串联起来，得到唯一日志文件，并对唯一日志文件进行集中存储，从而实现根据唯一日志文件中的跟踪唯一标识就能将请求信息在分布式系统中的轨迹展现出来，达到快速定位检索的目的；也可以根据跟踪唯一标识实现对请求信息的溯源和分析。

本发明提供了一种基于Logback的分布式系统日志的检索方法，包括以下步骤；

获取用户的请求信息和不同分布式应用系统的日志信息，根据所述日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到所述请求信息中，得到唯一请求信息；

根据代理服务对所述唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

在打印输出与每个分布式应用系统对应的日志文件时，通过MDC设置的变量将所述跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；

对每个所述唯一日志文件进行集中存储，根据所述唯一日志文件完成对不同分布式应用系统的检索。

作为一种可实施方式，所述根据所述日志信息通过唯一标识算法生成跟踪唯一标识，其实现为：

通过uuid算法对所述日志信息的当前时间信息、时钟序列以及机器识别号进行唯一标识处理，得到跟踪唯一标识。

作为一种可实施方式，所述根据代理服务对所述唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置，包括以下步骤；

通过代理服务对所述唯一请求信息进行拦截或过滤处理，根据处理结果对所述唯一请求信息中是否存在跟踪唯一标识进行判断；

若所述唯一请求信息中存在跟踪唯一标识，则将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

若所述唯一请求信息中不存在跟踪唯一标识，则根据所述日志信息通过唯一标识算法生成跟踪唯一标识，再将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置。

作为一种可实施方式，本发明提供的基于Logback的分布式系统日志的检索方法还包括以下步骤；

在得到唯一日志文件后，对线程本地变量和对应的MDC变量进行清除处理。

作为一种可实施方式，本发明提供的基于Logback的分布式系统日志的检索方法还包括以下步骤；

在对每个日志文件进行集中存储之前，根据信息摘要算法对日志文件进行归类处理。

相应的，本发明还提供一种基于Logback的分布式系统日志的检索系统，包括入口模块、代理服务层模块、输出模块以及存储检索模块；

所述入口模块，用于获取用户的请求信息和不同分布式应用系统的日志信息，根据所述日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到所述请求信息中，得到唯一请求信息；

所述代理服务层模块，用于根据代理服务对所述唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

所述输出模块，用于在打印输出与每个分布式应用系统对应的日志文件时，通过MDC设置的变量将所述跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；

所述存储检索模块，用于对每个所述唯一日志文件进行集中存储，根据所述唯一日志文件完成对不同分布式应用系统的检索。

作为一种可实施方式，所述入口模块包括唯一标识处理单元；

所述唯一标识处理单元，用于通过uuid算法对所述日志信息的当前时间信息、时钟序列以及机器识别号进行唯一标识处理，得到跟踪唯一标识。

作为一种可实施方式，所述代理服务层模块包括处理判断单元、设置同步单元以及生成设置单元；

所述处理判断单元，用于通过代理服务对所述唯一请求信息进行拦截或过滤处理，根据处理结果对所述唯一请求信息中是否存在跟踪唯一标识进行判断；

所述设置同步单元，用于若所述唯一请求信息中存在跟踪唯一标识，则将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

所述生成设置单元，用于若所述唯一请求信息中不存在跟踪唯一标识，则根据所述日志信息通过唯一标识算法生成跟踪唯一标识，再将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置。

作为一种可实施方式，本发明提供的基于Logback的分布式系统日志的检索系统还包括清除模块；

所述清除模块，用于在得到唯一日志文件后，对线程本地变量和对应的MDC变量进行清除处理。

作为一种可实施方式，本发明提供的基于Logback的分布式系统日志的检索系统还包括归类模块；

所述归类模块，用于在对每个日志文件进行集中存储之前，根据信息摘要算法对日志文件进行归类处理。

与现有技术相比，本技术方案具有以下优点：

本发明提供的基于Logback的分布式系统日志的检索方法和系统，其中，方法包括获取用户的请求信息和不同分布式应用系统的日志信息，根据日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到请求信息中，得到唯一请求信息；根据代理服务对唯一请求信息进行确认生成处理，根据确认生成处理结果在打印输出与每个分布式应用系统对应的日志文件时，将跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；对每个唯一日志文件进行集中存储，根据唯一日志文件完成对不同分布式应用系统的检索。本发明通过自动追加跟踪唯一标识将日志文件有机的串联起来，得到唯一日志文件，并对唯一日志文件进行集中存储，从而实现根据唯一日志文件中的跟踪唯一标识就能将请求信息在分布式系统中的轨迹展现出来，达到快速定位检索的目的。也可以实现请求信息的溯源，通过对唯一日志文件的审计，完成对请求信息的请求用户、请求参数、接口以及状态等诸多方面的分析。

附图说明

图1为本发明实施例一提供的基于Logback的分布式系统日志的检索方法的流程示意图；

图2为本发明实施例二提供的基于Logback的分布式系统日志的检索系统的结构示意图；

图3为图2中代理服务层模块的结构示意图。

图中：100、入口模块；110、唯一标识处理单元；200、代理服务层模块；210、处理判断单元；220、设置同步单元；230、生成设置单元；300、输出模块；400、存储检索模块；500、清除模块；600、归类模块。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

本发明目的是针对分布式系统日志散落在各个系统中不便检索，同时，当问题发生时，通过日志又很难定位到请求的源头，进而大大影响问题解决时间。本发明提出使用跟踪唯一标识(traceid)将日志文件串联起来，并将日志文件集中收集存储后，只要通过输入traceid即可快速定位请求信息在分布式系统的调用轨迹，从源头将用户轨迹串联起来，彻底解决问题分布式系统日志检索难，定位难的问题。

请参阅图1，本发明实施例一提供的基于Logback的分布式系统日志的检索方法，包括以下步骤；

S100、获取用户的请求信息和不同分布式应用系统的日志信息，根据日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到请求信息中，得到唯一请求信息；

S200、根据代理服务对唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

S300、在打印输出与每个分布式应用系统对应的日志文件时，通过MDC设置的变量将跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；

S400、对每个唯一日志文件进行集中存储，根据唯一日志文件完成对不同分布式应用系统的检索。

需要说明的是，用户的请求信息和不同分布式应用系统的日志信息可以通过通用接口来获取，而不同分布式应用系统的日志信息包括不限于当前时间信息、时钟序列以及机器识别号；也就是说是根据当前时间信息、时钟序列以及机器识别号通过唯一标识算法生成跟踪唯一标识。比如，当前时间信息为16位的当前日期和时间、时钟序列为4位的时钟序列以及机器识别号为12位的机器识别号。那么最终生成的traceid是一个32位数的16进制字符串，格式如下：9cc2c0e964c8b2cc7741fd599f63e236。理论上的总数为16^32＝2^128，约等于3.4x 10^38。从如此大基数的数据中随机获取一个值，保障了生成的跟踪唯一标识的唯一性。

而将跟踪唯一标识追加到请求信息中，得到唯一请求信息；可以是在请求入口nginx层生成跟踪唯一标识，并追加到请求头中。其可以通过以下代码实现，proxy_set_header traceid$request_id；其中，$request_id是通过uuid算法生成的唯一标识。

在打印输出与每个分布式应用系统对应的日志文件时，也就是同步输出日志文件时，通过自动打印对应的MDC中设置的变量，将traceid追加到日志文件中，得到唯一日志文件。基于logback的输出自定义变量方式如下格式：％X{traceid}。这样，即避免了硬编码，又解决了无法修改第三方jar包内的远代码，从而无法输出traceid的问题，因为traceid是通过logback的配置文件中定义的输出格式自动追加的。

为了便于分析，可以通过日志采集工具将每个唯一日志文件进行收集，再汇总后推送到集中的日志存储系统。而根据唯一日志文件完成对不同分布式应用系统的检索的具体实现过程可以为，当代码在处理业务逻辑产生异常时，会获取线程本地变量的traceid，并将traceid响应给调用方，调用方将此traceid追加到响应头中。如需要排查问题时，通过此traceid即可非常方便的完成请求轨迹的串联追踪，快速的完成问题定位。可以使得分布式系统日志检索如同单体应用一般，使杂乱的日志上下关联，不同应用间的分布日志关联。同时，通过traceid可方便的定位一次请求在系统中的轨迹。达到在框架层自动追加的方式实现，轻量级，无侵入式，有利于大大提升问题排查的效率。

本发明提供的基于Logback的分布式系统日志的检索方法和系统，其中，方法包括获取用户的请求信息和不同分布式应用系统的日志信息，根据日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到请求信息中，得到唯一请求信息；根据代理服务对唯一请求信息进行确认生成处理，根据确认生成处理结果在打印输出与每个分布式应用系统对应的日志文件时，将跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；对每个唯一日志文件进行集中存储，根据唯一日志文件完成对不同分布式应用系统的检索。本发明通过自动追加跟踪唯一标识将日志文件有机的串联起来，得到唯一日志文件，并对唯一日志文件进行集中存储，从而实现根据唯一日志文件中的跟踪唯一标识就能将请求信息在分布式系统中的轨迹展现出来，达到快速定位检索的目的。也可以实现请求信息的溯源，通过对唯一日志文件的审计，完成对请求信息的请求用户、请求参数、接口以及状态等诸多方面的分析。

进一步的，步骤S200包括以下步骤；

S210、通过代理服务对唯一请求信息进行拦截或过滤处理，根据处理结果对唯一请求信息中是否存在跟踪唯一标识进行判断；

S220、若唯一请求信息中存在跟踪唯一标识，则将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

S230、若唯一请求信息中不存在跟踪唯一标识，则根据日志信息通过唯一标识算法生成跟踪唯一标识，再将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置。

在整个请求过程中，由于调用对象的不用，步骤S200的具体实现过程也会存在差别。比如，有的调用对象可以对唯一请求信息进行拦截处理，有的调用对象可以对唯一请求信息进行过滤处理。而调用对象包括不限于Http接口层、业务逻辑层、RPC接口层以及远程RPC层；当然每个调用对象不一定都会用到，可能某次请求过程不调用业务逻辑层或RPC层。

下面分别根据不同的调用对象对具体的实现过程进行说明：

应用Http接口层通过代理服务实现前置拦截，在具体方法被执行前，获取唯一请求信息中的traceid变量。如果traceid为空，则通过uuid算法自动生成一个traceid。并将traceid设置为线程本地变量，同时进行MDC变量的设置。其实现的代码片段如下：

业务逻辑接口层通过代理服务实现前置拦截，在具体方法被执行前，获取唯一请求信息中的traceid变量。如果traceid为空，则通过uuid算法自动生成一个traceid。并将traceid设置为线程本地变量，同时进行MDC变量的设置。

RPC接口层扩展RpcFilter实现请求过滤处理，将traceid包装进RpcContext中，传递到下层被调用的服务。其实现的代码片段如下：

RpcContext.setHeader(“traceid”,traceid)；

需要说明的是，目前市面上主流的RPC框架都提供了RpcFilter扩展功能。再检查RpcContext的header中是否存在traceid变量，如果有，读取后设置为本地的线程变量，如果没有，则通过uuid算法生成后再设置为本地线程变量，同步设置MDC变量。

远程RPC层也扩展RpcFilter，当接收到方法调用时，首先检查RpcContext的header中是否存在traceid变量，如果有，读取后设置为本地的线程变量，如果没有，则通过uuid算法生成后再设置为本地线程变量，同步设置MDC变量。

进一步的，本发明实施例一提供的基于Logback的分布式系统日志的检索方法还包括以下步骤；在得到唯一日志文件后，对线程本地变量和对应的MDC变量进行清除处理。

也就是说，当代码中存在@Scheduled注解的定时任务时，代理服务进行环绕拦截，在方法执行前给线程本地变量追加traceid，在完成一系列调用后，自动清除traceid。从而保证了定时任务线程池获取到的相同线程在不同时间调用时的traceid不相同，避免重复出现检索错误。

进一步的，本发明实施例一提供的基于Logback的分布式系统日志的检索方法还包括以下步骤；在对每个日志文件进行集中存储之前，根据信息摘要算法对日志文件进行归类处理。信息摘要算法可以是MD5、MD4以及SHA-256的一种。于本实施例中，优选的信息摘要算法为MD5。实现较短的字符串对日志进行归类，达到快速区分不同的日志文件的目的。

基于同一发明构思，本发明实施例还提供一种基于Logback的分布式系统日志的检索系统，该系统的实施可参照上述方法的过程实现，重复之处不再冗述。

如图2所示，是本发明实施例二提供的基于Logback的分布式系统日志的检索系统的结构示意图，包括入口模块100、代理服务层模块200、输出模块300以及存储检索模块400；

入口模块100用于获取用户的请求信息和不同分布式应用系统的日志信息，根据日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到请求信息中，得到唯一请求信息；

代理服务层模块200用于根据代理服务对唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

输出模块300用于在打印输出与每个分布式应用系统对应的日志文件时，通过MDC设置的变量将跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；

存储检索模块400用于对每个唯一日志文件进行集中存储，根据唯一日志文件完成对不同分布式应用系统的检索。

本发明通过自动追加跟踪唯一标识将日志文件有机的串联起来，得到唯一日志文件，并对唯一日志文件进行集中存储，从而实现根据唯一日志文件中的跟踪唯一标识就能将请求信息在分布式系统中的轨迹展现出来，达到快速定位检索的目的。也可以实现请求信息的溯源，通过对唯一日志文件的审计，完成对请求信息的请求用户、请求参数、接口以及状态等诸多方面的分析。

进一步的，入口模块100包括唯一标识处理单元110；唯一标识处理单元110用于通过uuid算法对日志信息的当前时间信息、时钟序列以及机器识别号进行唯一标识处理，得到跟踪唯一标识。

如图3为代理服务层模块200的结构示意图；包括处理判断单元210、设置同步单元220以及生成设置单元230；

处理判断单元210用于通过代理服务对唯一请求信息进行拦截或过滤处理，根据处理结果对唯一请求信息中是否存在跟踪唯一标识进行判断；

设置同步单元220用于若唯一请求信息中存在跟踪唯一标识，则将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

生成设置单元230用于若唯一请求信息中不存在跟踪唯一标识，则根据日志信息通过唯一标识算法生成跟踪唯一标识，再将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置。

本发明实施例二提供的基于Logback的分布式系统日志的检索系统还包括清除模块500；清除模块500用于在得到唯一日志文件后，对线程本地变量和对应的MDC变量进行清除处理。

本发明实施例二提供的基于Logback的分布式系统日志的检索系统还包括归类模块600；归类模块600用于在对每个日志文件进行集中存储之前，根据信息摘要算法对日志文件进行归类处理。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (8)

1.一种基于Logback的分布式系统日志的检索方法，其特征在于，包括以下步骤；

获取用户的请求信息和不同分布式应用系统的日志信息，根据所述日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到所述请求信息中，得到唯一请求信息；

根据代理服务对所述唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

在打印输出与每个分布式应用系统对应的日志文件时，通过MDC设置的变量将所述跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；

对每个所述唯一日志文件进行集中存储，根据所述唯一日志文件完成对不同分布式应用系统的检索；

所述根据代理服务对所述唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置，包括以下步骤；

通过代理服务对所述唯一请求信息进行拦截或过滤处理，根据处理结果对所述唯一请求信息中是否存在跟踪唯一标识进行判断；

若所述唯一请求信息中存在跟踪唯一标识，则将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

若所述唯一请求信息中不存在跟踪唯一标识，则根据所述日志信息通过唯一标识算法生成跟踪唯一标识，再将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置。

2.如权利要求1所述的基于Logback的分布式系统日志的检索方法，其特征在于，所述根据所述日志信息通过唯一标识算法生成跟踪唯一标识，其实现为：

通过uuid算法对所述日志信息的当前时间信息、时钟序列以及机器识别号进行唯一标识处理，得到跟踪唯一标识。

3.如权利要求1所述的基于Logback的分布式系统日志的检索方法，其特征在于，还包括以下步骤；

在得到唯一日志文件后，对线程本地变量和对应的MDC变量进行清除处理。

4.如权利要求1所述的基于Logback的分布式系统日志的检索方法，其特征在于，还包括以下步骤；

在对每个日志文件进行集中存储之前，根据信息摘要算法对日志文件进行归类处理。

5.一种基于Logback的分布式系统日志的检索系统，其特征在于，包括入口模块、代理服务层模块、输出模块以及存储检索模块；

所述入口模块，用于获取用户的请求信息和不同分布式应用系统的日志信息，根据所述日志信息通过唯一标识算法生成跟踪唯一标识，并将跟踪唯一标识追加到所述请求信息中，得到唯一请求信息；

所述代理服务层模块，用于根据代理服务对所述唯一请求信息进行确认生成处理，根据确认生成处理结果将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

所述输出模块，用于在打印输出与每个分布式应用系统对应的日志文件时，通过MDC设置的变量将所述跟踪唯一标识追加至输出的日志文件中，得到唯一日志文件；

所述存储检索模块，用于对每个所述唯一日志文件进行集中存储，根据所述唯一日志文件完成对不同分布式应用系统的检索；

所述代理服务层模块包括处理判断单元、设置同步单元以及生成设置单元；

所述处理判断单元，用于通过代理服务对所述唯一请求信息进行拦截或过滤处理，根据处理结果对所述唯一请求信息中是否存在跟踪唯一标识进行判断；

所述设置同步单元，用于若所述唯一请求信息中存在跟踪唯一标识，则将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置；

所述生成设置单元，用于若所述唯一请求信息中不存在跟踪唯一标识，则根据所述日志信息通过唯一标识算法生成跟踪唯一标识，再将跟踪唯一标识设置为线程本地变量，并对MDC变量进行同步设置。

6.如权利要求5所述的基于Logback的分布式系统日志的检索系统，其特征在于，所述入口模块包括唯一标识处理单元；

所述唯一标识处理单元，用于通过uuid算法对所述日志信息的当前时间信息、时钟序列以及机器识别号进行唯一标识处理，得到跟踪唯一标识。

7.如权利要求5所述的基于Logback的分布式系统日志的检索系统，其特征在于，还包括清除模块；

所述清除模块，用于在得到唯一日志文件后，对线程本地变量和对应的MDC变量进行清除处理。

8.如权利要求5所述的基于Logback的分布式系统日志的检索系统，其特征在于，还包括归类模块；

所述归类模块，用于在对每个日志文件进行集中存储之前，根据信息摘要算法对日志文件进行归类处理。

Images