CN113448936A - 一种日志跟踪方法、装置、服务器、系统及存储介质 - Google Patents

Abstract

本发明实施例提供一种日志跟踪方法、装置、服务器、系统及存储介质，所述方法包括：获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志；根据所述查询请求，确定用于查询所述全链路日志的标识参数组，所述标识参数组包括多个标识参数；在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志，提升了全链路日志跟踪的可靠性。

Description

一种日志跟踪方法、装置、服务器、系统及存储介质

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种日志跟踪方法、装置、服务器、系统及存储介质。

背景技术

微服务架构通过将单体应用拆分为多个微服务进行部署，具有微服务松耦合、快迭代的优势，可极大的降低服务复杂度。

在微服务架构下，一个用户服务往往涉及多个微服务的调用。为定位和追踪微服务架构中存在的问题，通常采用日志跟踪方案跟踪用户服务涉及的微服务日志，这些微服务日志可称为全链路日志，进而通过分析全链路日志，定位和追踪微服务架构中存在的问题。因此，如何提供日志跟踪方案，以可靠的获得全链路日志，成为了本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明实施例提供一种日志跟踪方法、装置、服务器、系统及存储介质，提升了全链路日志跟踪的可靠性。

为解决上述问题，本发明实施例提供一种日志跟踪方法，包括：

获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志；

根据所述查询请求，确定用于查询所述全链路日志的标识参数组，所述标识参数组包括多个标识参数；

在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；

根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

在本发明实施例中，还提供一种日志跟踪装置，包括：

查询请求获取模块，用于获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志；

参数组确定模块，用于根据所述查询请求，确定用于查询所述全链路日志的标识参数组；

目标日志确定模块，用于在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；

日志串联模块，用于根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

在本发明实施例中，还提供一种服务器，所述服务器被配置为执行本发明实施例所述的日志跟踪方法。

在本发明实施例中，还提供一种服务器，包括：中心处理器，任务执行器；

所述中心处理器，用于获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志；根据所述查询请求，确定用于查询所述全链路日志的标识参数组，所述标识参数组包括多个标识参数；及调度任务执行器执行任务；

所述任务执行器，用于在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；

所述中心处理器，还用于根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述任务执行器确定的目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

在本发明实施例中，还提供一种日志跟踪系统，包括：

本发明实施例所述的服务器；

与所述服务器连接的查询终端；

与所述服务器连接的日志采集系统；所述日志采集系统包括采集多个业务系统的日志的日志采集服务，日志中心，以及与所述服务器连接的日志查询入口。

在本发明实施例中，还提供一种存储介质，包括一条或多条计算机可执行指令，所述一条或多条计算机可执行指令用于执行本发明实施例所述日志跟踪方法。

与现有技术相比，本发明实施例的技术方案具有以下优点：

本发明实施例所提供的日志跟踪方法，根据查询请求确定用于查询全链路日志的标识参数组，从多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；进而根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。可以看出，本发明实施例可基于标识参数组，查询获得微服务架构中与目标用户服务相关联的目标业务系统的目标日志，并通过链路拓扑关系，将目标业务系统的目标日志进行串联，从而得到目标用户服务对应的全链路日志，本发明实施例避免了设置跟踪标记(traceId)的方案所造成的对微服务架构的侵入，提升了全链路日志跟踪的可靠性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为微服务架构的一种示例框图；

图2为本发明实施例提供的日志跟踪系统的可选框图；

图3为本发明实施例提供的日志跟踪方法的可选流程；

图4为本发明实施例提供的日志跟踪方法的另一可选流程图；

图5为图4所示的日志跟踪方法中步骤S112的可选流程图；

图6为补齐缺失的标识参数的流程图；

图7为本发明实施例提供的日志跟踪系统的可选框图；

图8为本发明实施例提供的日志跟踪系统的可选示意图；

图9为本发明实施例提供的中心处理器的功能框图；

图10为本发明实施例提供的业务配置的可选流程图；

图11为本发明实施例提供的任务和链路拓扑关系配置的可选流程图；

图12为本发明实施例提供的业务系统示例图；

图13为本发明实施例提供的参数匹配的可选流程图；

图14为本发明实施例提供的日志采集系统的可选框图；

图15为本发明实施例提供的展示结果示意图；

图16为本发明实施例提供的一种日志跟踪装置的可选框图；

图17为本发明实施例提供的另一种日志跟踪装置的可选框图；

图18为本发明实施例提供的又一种日志跟踪装置的可选框图；

图19为本发明实施例提供的一种日志跟踪系统的可选框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

微服务架构可以包括多个业务系统，一个业务系统可以认为是一个单体应用拆分成的一个微服务，结合图1所示微服务架构的示例框图，图1示出了多个微服务(如服务A至服务F)，每个微服务可对应一个业务系统；微服务架构中多个业务系统通过相互调用实现用户服务，例如在基于微服务架构搭建的电子商务系统中，电子商务应用可以拆分成商品搜索微服务、订单微服务、支付微服务、物流查询微服务、商户微服务等，在实现商品购买的用户服务时，微服务架构中的商品搜索微服务、订单微服务、支付服微务相互调用。

为定位和追踪微服务架构中存在的问题，需要对微服务架构中用户服务涉及的全链路日志进行跟踪，以图1所示微服务架构为例，目前主要通过全局唯一的跟踪标记(traceId)跟踪得到全链路日志；具体的，微服务架构的入口层接收用户服务请求后，入口层生成全局唯一的traceId，然后在处理用户服务的业务系统链路中逐级传递该traceId，其中每个业务系统输出日志时关联traceId并进行存储，从而可通过该唯一的traceId将业务系统的日志按链路进行串联，实现全链路日志跟踪的目的；具体的，如图1所示，在数据汇总时汇总各业务系统的日志，在数据分析时，通过唯一的traceId将业务系统的日志按链路进行串联，从而在链路展示时，展现串联的全链路日志。

需要说明的是，上述方式存在可靠性较低的问题，具体的：

通过业务系统逐级传递traceId，来实现全链路日志跟踪，需要业务系统具备传递traceId的能力，这会对业务系统和其中间件产生一定的侵入，从而影响业务系统的稳定性，导致日志全链路跟踪的可靠性较低；例如，一方面微服务架构的技术栈可能不统一，特别是非java类应用的接入，会存在需要改造业务系统来使得业务系统能够传递traceId，这就带来一定的改造成本；另一方面业务系统的链路中通常会包括多种中间件，中间件的改造可能导致日志无法可靠传递，如一旦某个中间件无法向下游的业务系统传递traceId，则无法将日志按业务系统链路进行串联，这将导致全链路日志跟踪无法实现。

同时，基于traceId的日志全链路跟踪方式很难去串联一些存储层(比如redis、mysql)的数据，无法实现真正意义上的全链路日志跟踪，这也导致全链路日志跟踪的可靠性较低。

为解决上述问题，本发明实施例提供改进的日志全链路跟踪方案，以提升全链路日志跟踪的可靠性。

可以理解的是，微服务架构在提供用户服务时，调用的业务系统会产生对应的日志。由于用户服务与用户的行为具有相关性，微服务架构中用户服务涉及的业务系统产生的日志，与用户服务的用户信息具有关联关系。因此，在业务系统的日志中，通常会携带有关联的用户信息，如用户ID，用户使用的设备ID，时间戳、用户使用的客户端版本号等，即业务系统产生的日志具有标识日志的日志标识参数，这些日志标识参数与用户服务的用户信息相关联。

然而，由于不同的业务系统对应的规则不同，不同的业务系统中的日志中可能携带的用户信息类型不同，例如，商品搜索服务的日志中可能仅携带了用户ID，订单微服务的日志中可能仅携带了设备ID等。本发明实施例在进行全链路日志跟踪时，将这些不同类型的用户信息形成一个完整的标识参数组，从而在不同的业务系统中，可以根据标识参数组中的任一用户信息得到对应用户服务的日志，实现查询微服务架构中与用户服务对应的日志。

具体的，本发明实施例根据查询请求确定用于查询全链路日志的标识参数组，从多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；进而根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。可以看出，本发明实施例可基于标识参数组，查询获得微服务架构中与目标用户服务相关联的目标业务系统的目标日志，并通过链路拓扑关系，将目标业务系统的目标日志进行串联，从而得到目标用户服务对应的全链路日志，本发明实施例避免了设置跟踪标记(traceId)的方案所造成的对微服务架构的侵入，提升了全链路日志跟踪的可靠性。

在一种可选实现中，图2示出了本发明实施例提供的日志跟踪系统的可选框图，如图2所示，该日志跟踪系统可以包括：多个业务系统10，日志采集系统20，服务器30和查询终端40。

单个业务系统10可以是一个单体应用拆分成的一个微服务，多个业务系统形成多个微服务的架构；业务系统10在执行用户服务的过程中，可产生相应日志，日志按照时间顺序记录业务系统10执行用户服务过程中的行为；在本发明实施例中，业务系统10产生的日志可用日志标识参数进行标识，且日志标识参数与用户服务的用户信息关联。

日志采集系统20，用于采集业务系统的日志并根据预设的格式将这些日志存储在日志中心(LogHub)，并建立格式化的索引，以便于对日志的检索。

服务器30是本发明实施例实现日志全链路跟踪的服务设备，该服务器可以是单个服务器实现，也可以是多个服务器组成的服务器群组实现。

查询终端40是查询日志的人员所使用的终端设备，例如查询日志的人员使用的智能手机、平板电脑、PC(个人计算机)等。

区别于现有使用traceId来实现日志全链路跟踪的方式，本发明实施例提供的日志跟踪方法的可选流程可如图3所示，图3所示流程可由服务器30执行实现，参照图3，该流程可以包括：

步骤S101、获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志。

所述查询请求为查询终端40向服务器30发起的用于查询目标用户服务对应的全链路日志的请求。所述目标用户服务可以理解为需要查询的用户服务。一般而言，在用户服务出现问题时，通常需要获得用户服务对应的全链路日志，以进行问题定位和追踪，在此情况下，本发明实施例所指的目标用户服务可以是出现问题的用户服务；当然，目标用户服务器也可以是任一用户服务或者指定的用户服务。

步骤S102、根据所述查询请求，确定用于查询所述全链路日志的标识参数组。

所述标识参数组可以理解为用于查询所述全链路日志的标识参数的集合。所述标识参数可以为目标用户服务对应的用户信息，对应的，所述标识参数组则为用于查询所述全链路日志的各类型的用户信息的集合。基于微服务架构中，不同的业务系统的日志中可能携带的用户信息类型不同，通过将各类型的用户信息形成标识参数组，进而根据标识参数组中的标识参数，确定需查询的日志。

可选的，所述标识参数组可以为所述目标用户服务关联的完整的标识参数的集合，只要业务系统日志的日志标识参数与所述标识参数组中的任一标识参数相匹配，则该业务系统日志可以认为是与目标用户服务相关的目标日志。

需要说明的是，所述标识参数组中标识参数的数量可以为一个或多个，具体的标识参数的类型可根据具体的微服务架构，或具体的目标用户服务确定。

步骤S103、在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志。

所述日志标识参数为业务系统中用于标识日志的参数。在本发明实施例中，日志标识参数可以理解为业务系统的日志中携带的与用户服务关联的用户信息。所述目标日志为日志标识参数与所述标识参数组中的任一标识参数具有匹配关系的日志，所述目标业务系统为所述目标日志对应的业务系统。

通过获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，本发明实施例可获取到与目标用户服务相关的日志。

本发明实施例可将微服务架构中，各业务系统的日志标识参数与标识参数组中的标识参数进行比对，从而得到日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志。在一个可选的实现中，只要业务系统的日志的日志标识参数，与标识参数组中的任一标识参数相一致，则认为该业务系统是微服务架构中与目标用户服务相关的目标业务系统，且该业务系统中日志标识参数与所述标识参数组相匹配的日志，为目标日志。

在本发明实施例中，可以在日志采集系统20中进行日志标识参数与标识参数组中的标识参数的比对，从而可以利用日志采集系统20的检索功能，服务器30可获取日志采集系统20比对后得到的日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志。

步骤S104、根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

在获得到目标业务系统的目标日志后，基于预先配置的业务系统的链路拓扑关系，可将目标业务系统的目标日志进行串联，从而得到全链路日志的跟踪结果。

可以看出，本发明实施例基于目标用户服务的标识参数组，查询获得微服务架构中与目标用户服务相关联的目标业务系统的目标日志，并通过链路拓扑关系，将目标业务系统的目标日志进行串联，以得到目标用户服务对应的全链路日志，避免了设置跟踪标记(traceId)的方案所造成的对微服务架构的侵入，提升了全链路日志跟踪的可靠性。

在一个可选的实现中，所述查询请求至少包括与所述目标用户服务对应的至少一个初始标识参数，本发明实施例可以使用所述至少一个初始标识参数，构建所述标识参数组。参考图4所示的日志跟踪方法的另一可选流程图，所述日志跟踪方法包括：

步骤S111、获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志。

在本发明实施例中，所述查询请求至少包括与所述目标用户服务对应的至少一个初始标识参数，从而可以根据所述初始标识参数，确定标识参数组。其中，所述初始标识参数可以为对应目标用户服务的部分用户信息；可选的，所述初始标识参数可以为任一类型的用户信息，在所述初始标识参数为多个时，不同初始标识参数为不同类型的用户信息。

可选的，步骤S111的描述还可以进一步参照前文步骤S101部分，此处不再赘述。

步骤S112、使用所述至少一个初始标识参数构建所述标识参数组。

具体的，在进行标识参数组构建时，本发明实施例可判断所述标识参数组中是否缺失标识参数。如果所述初始标识参数的数量少于预先设置的所述标识参数组的参数数量，则认为所述标识参数组中缺失标识参数，从而本发明实施例可以在所述标识参数组中补齐缺失的标识参数，以得到所述目标用户服务完整的标识参数的集合，形成所述标识参数组。如果所述初始标识参数的数量不小于预先设置的所述标识参数组的参数数量，则本发明实施例可以所述初始标识参数为基础，形成完整的标识参数组。

在另一种可选实现中，本发明实施例也可以直接将所述查询请求携带的初始标识参数的集合，作为所述标识参数组。

可选的，所述标识参数组可以包括用户ID、设备ID、时间戳、用户的客户端版本号、推荐用户使用服务的推荐平台信息等。所述标识参数组的标识参数类型应尽量全面。

步骤S113、在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志。

可选的，步骤S113的描述可以参照前文步骤S103部分，此处不再赘述。

步骤S114、根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

可选的，步骤S114的描述可以参照前文步骤S104部分，此处不再赘述。

可以看出，本发明实施例中，所述查询请求可至少包括与所述目标用户服务对应的至少一个初始标识参数，从而可以使用所述至少一个初始标识参数，构建所述标识参数组，进而基于所述标识参数组，查询获得微服务架构中与目标用户服务相关联的目标业务系统的目标日志，并通过链路拓扑关系，将目标业务系统的目标日志进行串联，以得到目标用户服务对应的全链路日志，实现全链路日志的可靠跟踪。

在一种可选的实现中，本发明实施例可预置所述标识参数组的参数类型，进而在构建所述标识参数组的步骤中，如果需要在所述标识参数组中补齐缺失的标识参数时，则本发明实施例可根据所述标识参数组的参数类型，进行标识参数的补齐。参考图5所示的步骤S112的可选流程图，可以包括：

步骤S121、根据所述标识参数组的参数类型，及，所述初始标识参数的参数类型，确定所述标识参数组中缺失的标识参数的参数类型；

在本发明实施例中，预置所述标识参数组中的参数类型，例如，所述标识参数组中可以包括用户ID、设备ID、时间戳、用户的客户端版本号、推荐用户使用服务的推荐平台信息。进而，根据所述标识参数组中的参数类型，以及所述初始标识参数的参数类型，本发明实施例可确定所述标识参数组中缺失的标识参数的参数类型。以所述初始标识参数的参数类型为用户ID为例，则所述标识参数组中缺失的标识参数的参数类型为设备ID、时间戳、用户的客户端版本号、推荐用户使用服务的推荐平台信息。

步骤S122、根据所述缺失的标识参数的参数类型补齐缺失的标识参数。

在本发明实施例中，确定缺失的标识参数的参数类型后，即可根据所述缺失的标识参数的参数类型进行标识参数的补齐。

可选的，所述缺失的标识参数可以从服务器30中存储的信息中查询得到，也可以从查询终端40或日志采集系统20中获取，从而补齐缺失的标识参数。

在一个具体的实现中，本发明实施例可以从用户打点日志中获取缺失的标识参数。参考图6所示补齐缺失的标识参数的流程，该流程可以包括：

步骤S131、获取所述目标用户服务对应的用户打点日志。

步骤S132、从所述用户打点日志中，根据所述缺失的标识参数的参数类型获取所述缺失的标识参数。

可以理解的是，用户打点日志通常包含有用户的各类信息，本发明实施例可获取所述目标用户服务的用户打点日志，从而根据缺失的标识参数的参数类型，从用户打点日志中获取到标识参数组所缺失的标识参数。

需要说明的是，步骤S131可以在步骤S121之前执行，也可以在步骤S121之后执行。

在一个可选的实现中，本发明实施例进一步提供了一种日志跟踪系统，图7示出了本发明实施例提供的日志跟踪系统的可选框图，结合图2和图7所示，服务器可以包括图7所示的中心处理器200和任务执行器210；其中，图7所示日志跟踪系统还包括：与服务器连接的日志采集系统220，结果跟踪器240以及查询终端260；与日志采集系统220连接的数据仓库230和业务系统250。

可以理解的是，日志是全链路跟踪最基础的数据来源。在本发明实施例中，业务系统的日志被日志采集系统220采集并存储在日志采集系统220的日志中心(LogHub)，在一个可选的示例中，日志采集可以采用日志服务(SLS)方案，该方案并不要求每个业务系统按照特定的格式进行改造，并能将日志以标准形式打印并展示。具体的，对每个业务系统进行采集配置形成日志，并根据正则/分隔符等方式格式化日志，之后，建立对应格式化的索引，并将日志格式化的存储在日志中心，同时，日志采集系统220还可将日志数据投递到数据仓库230(如odps，Open Data Processing Service)进行存储。

在本发明实施例中，任务执行器210是用于执行查询任务的执行单元，可以包括各类任务的通用执行组件(excuter)，如日志检索类任务、http对应的执行器、数据查询类任务redis/mysql对应的执行器。每个任务执行器需要继承并实现基类的三个模板：参数模板、任务执行模板、结果模板。参数模板通用的识别各种参数，包括变量的参数形式；任务执行模板针对任务类型选择对应的执行器以执行具体的查询；结果模板将查询结果标准化为模板样式输出。

中心处理器200是系统的心脏，用于调度任务的执行，例如对于日志查询任务，中心处理器可获取查询请求，以调度任务执行器执行查询目标用户服务对应的全链路日志的任务，获得所述全链路日志。

可选的，进一步，中心处理器还可进行业务系统的配置、任务和链路的配置，以及调度任务执行等。

结果跟踪器240可获得中心处理器200得到的全链路日志，并基于全链路日志中目标日志的串联关系，确定所述全链路日志的展示结果，以实现全链路日志的展示。

结合图8和图9所示，图8示出了本发明实施例提供的日志跟踪系统的可选示意图，图9示出了本发明实施例提供的中心处理器的功能框图，中心处理器200可以至少实现如下三方面功能：业务系统配置，任务和链路拓扑关系配置，调度任务执行。

可选的，参考图10示出的本发明实施例提供的业务配置的可选流程图，业务系统250可以通过向中心处理器200注册，以进行业务系统配置(sysConfig)，具体流程如下：

步骤S201：获取业务系统的注册申请。

其中，可以通过业务系统自动注册发现或者手工方式，获取业务系统的注册申请，所述注册申请中可以包括需要进行系统配置的信息，如业务系统的基础信息等，以实现对应业务系统的配置。

其中，所述业务系统的基础信息可以包括appid、名称、所在机房、系统描述等。

步骤S202：根据所述注册申请，配置所述业务系统的基础信息，并定义所述业务系统的下游业务系统。

根据注册申请中的信息，对所述业务系统进行配置。其中，除配置所述业务系统的基础信息外，本发明实施例还进一步定义所述业务系统的下游业务系统，从而配置对应所述业务系统的链路拓扑关系。

在本发明实施例中，对业务系统以及业务系统间的链路拓扑关系的配置，可以通过少量代码注入来实现自动注册，也可以无代码侵入手动配置。

通过对业务系统的基础信息及对应业务系统的链路拓扑关系的配置，实现业务系统与微服务架构的耦合，使得中心处理器200实现对业务系统进行相关的任务配置。

在本发明实施例中，中心处理器200在获取任务请求时，还进一步进行任务配置(taskconfig)和链路拓扑关系配置(linkconfig)。其中，中心处理器200可以基于业务系统维度，配置对应任务的细节，即任务执行器依赖的实际配置以及对应任务的系统间的链路拓扑关系。参考图11示出的本发明实施例提供的任务和链路拓扑关系配置的可选流程图，以中心处理器200获取到查询终端发起的用于查询目标用户服务对应的全链路日志的查询请求为例，进行对应的任务和链路拓扑关系配置具体流程如下：

步骤S211：中心处理器200获取查询终端260的查询请求。

中心处理器200接收查询终端发起的用于查询目标用户服务对应的全链路日志的查询请求。其中，需要说明的是，为实现查询任务，在查询请求中，包括与所述目标用户服务对应的至少一个初始标识参数。所述初始标识参数可以为用户ID、设备ID、时间戳、用户的客户端版本号、推荐用户使用服务的推荐平台信息。

步骤S212：中心处理器200根据查询请求中的信息，进行查询任务的配置(taskConfig)。

其中，所述查询任务的配置，可以包括查询参数的配置和任务类型的配置(如，选择具体的执行器)。

具体的，所述查询参数的配置，可以包括对查询请求中的初始标识参数的确定，以及，在初始标识参数不是标识参数组的全部标识参数时，需要补齐的标识参数的确定。

可以理解的是，在查询请求中包括初始标识参数，却并不一定具有完整的标识参数组信息，因此，在本发明实施例中，需要对查询所述全链路日志的标识参数组内的标识参数进行确定，在标识参数不全时，则对对应的标识参数进行补齐，进而根据各业务系统的用于标识日志的日志标识参数，从多个业务系统的日志中，获取日志标识参数与所述标识参数相匹配的目标业务系统的目标日志。

可选的，基于标识参数组中，各标识参数的类型不同，可以根据缺失的标识参数的参数类型进行缺失的标识参数的确定。具体的，根据所述标识参数组的参数类型，及所述初始标识参数的参数类型，确定所述多个参数类型中除所述至少一个初始标识参数外，缺失的标识参数的参数类型，以便于后续中心处理器200进行调度任务执行时通过任务执行器获取所确定的参数类型对应的标识参数。

所述任务类型的配置，用于根据具体的查询任务，确定具体的任务执行器，例如日志检索类任务、http对应的执行器、数据查询类任务redis/mysql对应的执行器等。

步骤S213：中心处理器200还根据查询请求中的信息，进行查询任务对应的业务系统的链路拓扑关系的配置(linkConfig)。

所述链路拓扑关系的配置，可以包括对查询任务对应的链路拓扑关系的确定，如对应查询任务的起点、链路深度等。例如，参考图12示出的本发明实施例提供的业务系统示例图，对应一个目标用户服务，业务系统a调用业务系统b、业务系统c，并且，业务系统b又调用业务系统d、业务系统e，对应的查询任务中，以业务系统b为起点和以链路深度为2为例，对应该查询任务则应查询业务系统b、业务系统d、业务系统e三个业务系统的所有任务。

在本发明实施例中，根据所述查询请求，可以生成对应每个业务系统的任务配置，且可以实现个性化修改业务系统的查询参数，以及增加非日志查询任务(如http请求、表数据查询等)，从而提高全链路日志跟踪的可靠性。

进一步的，在本发明实施例中，中心处理器200进行任务和链路拓扑关系配置后，还进一步调度任务执行器执行对应的任务。其中，中心处理器200在执行查询任务时，若查询请求中的初始标识参数不是标识参数组的全部标识参数，会调度任务执行器执行对标识参数组的补齐，并在补齐标识参数组后，调度任务执行器执行对具体的业务系统中的日志的查询。

下面，结合任务执行器210，对中心处理器200调度任务执行器210执行对标识参数组的补齐过程进行说明。

可选的，中心处理器200可以根据查询请求中的初始标识参数以及对应查询任务配置的链路拓扑关系，插入中间任务，以实现对标识参数组的补齐。其中，中心处理器200在查询参数的配置阶段，已经确定了缺失的标识参数的参数类型，此时，中心处理器200可以根据具体的参数类型，调度任务执行器210执行查询所述标识参数组缺失的标识参数。

可选的，获取所确定的参数类型对应的标识参数，可以通过后端接口获取详细的用户参数，在一个可选的示例中，缺失的标识参数可以从用户打点日志中获得。其中，任务执行器210基于任务参数的配置信息中缺失的参数类型，补齐所述标识参数组中除所述至少一个初始标识参数外，缺失的标识参数。具体的，在对缺失的标识参数的参数类型进行确定后，获取所述目标用户服务对应的用户打点日志；从所述用户打点日志中，根据所述缺失的标识参数的参数类型获取所述缺失的标识参数。

在补齐所述标识参数组后，中心处理器200获取所确定的参数类型对应的标识参数，并进一步将补齐的标识参数与所述至少一个初始标识参数集合为所述标识参数组。

在一个可选的示例中，中心处理器200还进行对应不同业务系统的参数对齐。

具体的，基于不同的业务系统的日志标识参数类型不同，在配置了对应查询请求的具体的业务系统后，还针对不同的业务系统，配置对应该业务系统的标识参数，以实现对目标日志的快速查询。

在补齐标识参数组后，中心处理器(action Server)200进一步调度任务执行器210执行对应的任务。下面，结合任务执行器210、日志采集系统220，对中心处理器200调度进行目标日志查询的过程进行说明。

在本发明实施例中，任务执行器210根据各业务系统的用于标识日志的日志标识参数，调度任务执行器210、日志采集系统220进行对应的查询任务，以从多个业务系统的日志中，获取日志标识参数与所述标识参数相匹配的目标业务系统的目标日志。

在进行目标日志的查询过程中，可以对多个业务系统中的目标日志进行分别查询，也可以对多个目标日志进行同时查询，以根据预先配置的业务系统的日志标识参数，获取日志标识参数与标识参数组相匹配的目标日志。

其中，日志标识参数与标识参数组中任一标识参数匹配，即认为该日志标识参数与标识参数组相匹配。为简化匹配过程，在本发明实施例中，预先使用任务执行器210识别各业务系统的日志标识参数，进而进行对应的参数匹配。

具体的，参考图13示出的本发明实施例提供的参数匹配的可选流程图，所述参数匹配的过程可以包括：

步骤S221：使用任务执行器210识别各业务系统的日志标识参数，判断所识别的业务系统的日志标识参数与所述标识参数组是否匹配。

若是，执行步骤S222。若否，则继续进行日志标识参数与标识参数的匹配判断。

可选的，日志采集系统220可以具有日志查询入口，任务执行器可执行查询全链路日志的任务时，可通过该日志查询入口，查询获得所述全链路日志。结合图8和图14所示，图14示出了本发明实施例提供的日志采集系统的可选框图，日志采集系统可以包括系统入口sdk(软件开发工具包)，logsearch(日志检索)，loghub(日志中心)；其中，日志采集服务采集业务系统的日志并存入loghub；系统入口sdk可以是日志采集系统的日志采集和检索服务的sdk，在检索服务层面，系统入口sdk可以提供日志查询入口，中心处理器可通过调度任务执行器执行全链路日志查询任务，从而任务执行器可通过系统入口sdk的日志查询入口，调用logsearch，以从loghub中获得到与目标用户服务相关的目标业务系统的目标日志；从而中心处理器基于任务执行器获得的目标业务系统的目标日志，以根据链路拓扑关系，串联目标业务系统的目标日志，获得全链路日志。

步骤S222：若是，获取所识别的业务系统的日志标识参数所标识的日志，以得到所述目标业务系统的目标日志。

步骤S223：将所述目标业务系统的目标日志进行格式化保存。

需要说明的是，本发明实施例中的任务执行器继承并实现基类的至少如下模板：参数模板、任务执行模板、结果模板；其中，所述任务执行器基于所述参数模板识别各种参数类型的标识参数；所述任务执行器基于所述任务执行模板，利用识别的业务系统的日志标识参数，执行日志查询逻辑，以得到所述目标业务系统的目标日志；所述任务执行器基于所述结果模板，将所述目标业务系统的目标日志进行格式化保存。

其中，对目标日志的格式化保存，可以实现对目标日志的快速检索。

对应的，由于任务执行器210中执行不同任务的任务执行器不同，本步骤根据不同的任务执行器查询不同的数据，并使每个任务执行器按照固定模板返回结果。

在得到所述目标业务系统的目标日志后，中心处理器200进一步进行目标日志的串联。

在本发明实施例中，中心处理器200根据预先配置的业务系统的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

具体的，在得到目标日志后，基于预先配置的业务系统的链路拓扑关系，实现对目标日志的串联，得到所述目标用户服务对应的全链路日志。

结果跟踪器240用于获取中心处理器200串联得到的所述目标用户服务对应的全链路日志，实现全链路日志的展示。

可选的，结果跟踪器240根据所述全链路日志中目标日志的串联关系，确定全链路日志的展示结果。

具体的，结果跟踪器240获取所述全链路日志中目标日志及对应的串联关系(traceWeb)，并保存收集所述目标日志(resultCollect)，并根据所述串联关系拼接全链路日志的展示结果。

参考图15示出了本发明实施例提供的展示结果示意图，所述展示结果可以包括查询请求信息、具体的中心处理器信息，返回得到的结果信息等，其中，结果跟踪器240的展示结果为收集整合为标准格式后的结果信息，以便于将展示结果输出到ui层展示。

在本发明实施例中，通过根据查询请求确定用于查询全链路日志的标识参数组，根据各业务系统的用于标识日志的日志标识参数，从多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，进而根据预先配置的业务系统的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。可以看出，本发明实施例基于目标用户服务的标识参数组，查询获得微服务架构中与目标用户服务相关联的目标业务系统的目标日志，并通过链路拓扑关系，将目标业务系统的目标日志进行串联，以得到目标用户服务对应的全链路日志，避免了设置跟踪标记(traceId)的方案所造成的对微服务架构的侵入，提升了全链路日志跟踪的可靠性。

可选的，参考图16示出的本发明实施例提供的一种日志跟踪装置的可选框图，在本发明实施例中，所述日志跟踪装置，包括：

查询请求获取模块300，用于获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志。

参数组确定模块310，用于根据所述查询请求，确定用于查询所述全链路日志的标识参数组。

目标日志确定模块320，用于在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数。

日志串联模块330，用于根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

可选的，所述查询请求至少包括与所述目标用户服务对应的至少一个初始标识参数，且，所述标识参数组包括一个或多个标识参数。

所述查询请求获取模块300用于根据所述查询请求，确定用于查询所述全链路日志的标识参数组，包括：

使用所述至少一个初始标识参数构建所述标识参数组。

可选的，所述查询请求获取模块300用于使用所述至少一个初始标识参数构建所述标识参数组，包括：

如果全部所述初始标识参数的数量少于所述标识参数组的参数数量，在所述标识参数组中补齐缺失的标识参数，得到所述标识参数组。

可选的，所述查询请求获取模块300用于在所述标识参数组中补齐缺失的标识参数，包括：

根据所述标识参数组的参数类型，及，所述初始标识参数的参数类型，确定所述标识参数组中缺失的标识参数的参数类型；

根据所述缺失的标识参数的参数类型补齐缺失的标识参数。

可选的，所述查询请求获取模块300用于根据所述缺失的标识参数的参数类型补齐缺失的标识参数之前还包括：

获取所述目标用户服务对应的用户打点日志；

所述查询请求获取模块300用于根据所述缺失的标识参数的参数类型补齐缺失的标识参数，包括：

从所述用户打点日志中，根据所述缺失的标识参数的参数类型获取所述缺失的标识参数。

可选的，所述目标日志确定模块320用于在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，包括：

使用任务执行器识别各业务系统的日志标识参数，判断所识别的业务系统的日志标识参数与所述标识参数组是否匹配，若是，获取所识别的业务系统的日志标识参数所标识的日志，以得到所述目标业务系统的目标日志；

可选的，所述目标日志确定模块320用于得到所述目标业务系统的目标日志之后，还包括：将所述目标业务系统的目标日志进行格式化保存。

可选的，各业务系统的日志标识参数及所标识的日志存储于日志中心，所述使用任务执行器识别各业务系统的日志标识参数包括：

使用任务执行器识别日志中心中存储的各业务系统的日志标识参数。

所述获取所识别的业务系统的日志标识参数所标识的日志包括：

从日志中心中获取所识别的业务系统的日志标识参数所标识的日志。

可选的，所述任务执行器继承并实现基类的至少如下模板：参数模板、任务执行模板、结果模板；其中，所述任务执行器基于所述参数模板识别各种参数类型的标识参数；所述任务执行器基于所述任务执行模板，利用识别的业务系统的日志标识参数，执行日志查询逻辑，以得到所述目标业务系统的目标日志；所述任务执行器基于所述结果模板，将所述目标业务系统的目标日志进行格式化保存。

可选的，参考图17，在本发明实施例中还提供另一种日志跟踪装置，所述日志跟踪装置还包括：

配置信息配置模块340，用于配置业务系统的配置信息，所述配置信息包括业务系统的基础信息，及业务系统的链路拓扑关系。

可选的，所述配置信息配置模块340配置业务系统的配置信息包括：

获取业务系统的注册申请；

根据所述注册申请，配置所述业务系统的基础信息，并定义所述业务系统的下游业务系统。

可选的，参考图18，在本发明实施例中还提供又一种日志跟踪装置，所述日志跟踪装置还包括：

展示结果确定模块350，用于根据所述日志跟踪结果中目标日志的串联关系，确定所述目标日志以所述串联关系拼接的展示结果。

对应的，参考图19，在本发明实施例中还提供一种日志跟踪系统，包括用于实现本发明实施例日志跟踪方法的服务400；与所述服务器连接的查询终端410；与所述服务器连接的日志采集系统420；所述日志采集系统包括采集多个业务系统的日志的日志采集服务，日志中心，以及与所述服务器连接的日志查询入口。

在本发明实施例中还提供一种存储介质，包括一条或多条计算机可执行指令，所述一条或多条计算机可执行指令用于执行本发明实施例中的所述日志跟踪方法。

上文描述了本发明实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本发明实施例披露、公开的实施例方案。

虽然本发明实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (19)

1.一种日志跟踪方法，包括：

获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志；

根据所述查询请求，确定用于查询所述全链路日志的标识参数组；

在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；

根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

2.根据权利要求1所述的日志跟踪方法，所述查询请求中至少包括与所述目标用户服务对应的至少一个初始标识参数，且，所述标识参数组包括一个或多个标识参数；

则所述根据所述查询请求，确定用于查询所述全链路日志的标识参数组包括：

使用所述至少一个初始标识参数构建所述标识参数组。

3.根据权利要求2所述的日志跟踪方法，所述使用所述至少一个初始标识参数构建所述标识参数组，包括：

如果全部所述初始标识参数的数量少于所述标识参数组的参数数量，在所述标识参数组中补齐缺失的标识参数，得到所述标识参数组。

4.根据权利要求3所述的日志跟踪方法，所述在所述标识参数组中补齐缺失的标识参数包括：

根据所述标识参数组的参数类型，及，所述初始标识参数的参数类型，确定所述标识参数组中缺失的标识参数的参数类型；

根据所述缺失的标识参数的参数类型补齐缺失的标识参数。

5.根据权利要求4所述的日志跟踪方法，所述根据所述缺失的标识参数的参数类型补齐缺失的标识参数之前还包括：

获取所述目标用户服务对应的用户打点日志；

所述根据所述缺失的标识参数的参数类型补齐缺失的标识参数，包括：

从所述用户打点日志中，根据所述缺失的标识参数的参数类型获取所述缺失的标识参数。

6.根据权利要求1-5任一项所述的日志跟踪方法，所述在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，包括：

使用任务执行器识别各业务系统的日志标识参数，判断所识别的业务系统的日志标识参数与所述标识参数组是否匹配，若是，获取所识别的业务系统的日志标识参数所标识的日志，以得到所述目标业务系统的目标日志。

7.根据权利要求6所述的日志跟踪方法，所述得到所述目标业务系统的目标日志之后，所述方法还包括：

将所述目标业务系统的目标日志进行格式化保存。

8.根据权利要求6所述的日志跟踪方法，所述任务执行器继承并实现基类的至少如下模板：参数模板、任务执行模板、结果模板；其中，所述任务执行器基于所述参数模板识别各种参数类型的标识参数；所述任务执行器基于所述任务执行模板，利用识别的业务系统的日志标识参数，执行日志查询逻辑，以得到所述目标业务系统的目标日志；所述任务执行器基于所述结果模板，将所述目标业务系统的目标日志进行格式化保存。

9.根据权利要求1所述的日志跟踪方法，还包括：

配置业务系统的配置信息，所述配置信息包括业务系统的基础信息，及业务系统的链路拓扑关系。

10.根据权利要求9所述的日志跟踪方法，所述配置业务系统的配置信息包括：

获取业务系统的注册申请；

根据所述注册申请，配置所述业务系统的基础信息，并定义所述业务系统的下游业务系统。

11.根据权利要求1所述的日志跟踪方法，还包括：

根据所述日志跟踪结果中目标日志的串联关系，确定所述目标日志以所述串联关系拼接的展示结果。

12.一种日志跟踪装置，包括：

查询请求获取模块，用于获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志；

参数组确定模块，用于根据所述查询请求，确定用于查询所述全链路日志的标识参数组；

目标日志确定模块，用于在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；

日志串联模块，用于根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

13.一种服务器，所述服务器被配置为执行如权利要求1-11任一项所述的日志跟踪方法。

14.一种服务器，包括：中心处理器，任务执行器；

所述中心处理器，用于获取查询请求，所述查询请求用于请求查询目标用户服务对应的全链路日志；根据所述查询请求，确定用于查询所述全链路日志的标识参数组；及调度任务执行器执行任务；

所述任务执行器，用于在多个业务系统的日志中，获取日志标识参数与所述标识参数组相匹配的目标业务系统的目标日志，所述日志标识参数为业务系统中用于标识日志的参数；

所述中心处理器，还用于根据预先配置的所述多个业务系统之间的链路拓扑关系，将所述任务执行器确定的目标业务系统的目标日志进行串联，得到所述目标用户服务对应的全链路日志。

15.根据权利要求14所述的服务器，所述中心处理器，还用于配置业务系统的配置信息，所述配置信息包括业务系统的基础信息，及业务系统的链路拓扑关系。

16.根据权利要求14所述的服务器，所述中心处理器，还用于配置任务执行器继承并实现基类的至少如下模板：参数模板、任务执行模板、结果模板；其中，所述任务执行器基于所述参数模板识别各种类型的标识参数；所述任务执行器基于所述任务执行模板，利用识别的业务系统的日志标识参数，执行日志查询逻辑，以得到所述目标业务系统的目标日志；所述任务执行器基于所述结果模板，将所述目标业务系统的目标日志进行格式化保存。

17.根据权利要求14所述的服务器，还包括：

结果跟踪器，用于根据所述全链路日志中目标日志的串联关系，确定所述全链路日志的展示结果。

18.一种日志跟踪系统，包括：

如权利要求13所述的服务器，或者，如权利要求14-17任一项所述的服务器；

与所述服务器连接的查询终端；

与所述服务器连接的日志采集系统；所述日志采集系统包括采集多个业务系统的日志的日志采集服务，日志中心，以及与所述服务器连接的日志查询入口。

19.一种存储介质，包括一条或多条计算机可执行指令，所述一条或多条计算机可执行指令用于执行如权利要求1-11任一项所述日志跟踪方法。

Images