CN106850782A - 用于日志处理的方法和系统 - Google Patents

Abstract

本申请公开一种用于日志处理的方法和系统。该方法包括：接收来自客户端的请求；为所述请求增加追踪标识；利用至少一个微服务对所述请求进行处理；其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。本发明实施例中，通过为请求增加追踪标识，能够利用追踪标识快速识别出每个请求在不同微服务的日志信息，从而对每个请求调用的微服务进行复现，实现快速对请求经过的微服务进行定位定位，进而方便地定位故障的原因。

Description

用于日志处理的方法和系统

技术领域

本发明涉及计算机科学技术领域，具体而言，涉及一种用于日志处理的方法和系统。

背景技术

随着互联网的发展，各种业务系统间的信息交互量越来越大，为了保证高可用和高性能，出现了基于微服务架构设计的微服务集群。在这种微服务集群中，客户端的一个请求可能调用多个微服务才能最终实现业务。

由于每个微服务都会将各自接收到的请求的路径和携带的信息记录在各自的日志中，为了了解在请求处理的过程中，该请求在微服务集群内部的处理情况，需要把分布在各个微服务中运行的微服务日志收集起来。

在实现本发明的过程中，发明人发现现有技术中至少存在以下的技术问题：现有技术中，无法识别客户端的某次服务器请求到底产生了哪些日志，无法复现一次服务调用的过程中，经过了哪些微服务，产生了哪些日志信息。当服务调用出现错误时，无法快速识别故障点所在的微服务以及详细的日志信息。

因此，需要一种新的用于日志处理的方法和系统，来识别每个请求产生的日志信息。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于日志处理的方法和系统，能够快速识别出每个请求在不同微服务的日志信息。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种用于日志处理的方法，所述方法包括：

接收来自客户端的请求；

为所述请求增加追踪标识；

利用至少一个微服务对所述请求进行处理；

其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。

在本发明的一种示例性实施例中，所述为所述请求增加追踪标识，包括：

在服务网关处为所述请求增加追踪标识。

在本发明的一种示例性实施例中，所述方法还包括：

所述至少一个微服务将所述日志信息记录到相应的日志收集器。

在本发明的一种示例性实施例中，所述方法还包括：

利用所述日志收集器将所述日志信息发送到消息中间件。

在本发明的一种示例性实施例中，所述方法还包括：

利用日志处理系统将来自消息中间件中的日志信息存储到数据库中。

在本发明的一种示例性实施例中，所述方法还包括：

当接收到微服务返回的包含所述追踪标识的应答消息后，将所述应答消息返回给所述客户端。

在本发明的一种示例性实施例中，当利用多个微服务对所述请求进行处理时，所述方法还包括：

将所述请求路由到微服务，所述微服务生成日志信息，所述日志信息包括所述追踪标识；

利用所述微服务调用其他微服务，所述其他微服务生成日志信息，所述日志信息包括所述追踪标识。

根据本发明的另一方面，提供一种用于日志处理的系统，所述系统包括：

接收模块，用于接收来自客户端的请求；

增加模块，用于为所述请求增加追踪标识；

处理模块，用于利用至少一个微服务对所述请求进行处理；

其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。

在本发明的一种示例性实施例中，所述增加模块，配置为在服务网关处为所述请求增加追踪标识。

在本发明的一种示例性实施例中，所述系统还包括：记录模块，用于利用所述至少一个微服务将所述日志信息记录到相应的日志收集器。

在本发明的一种示例性实施例中，所述系统还包括：发送模块，用于利用所述日志收集器将所述日志信息发送到消息中间件。

在本发明的一种示例性实施例中，所述系统还包括：

存储模块，用于利用日志处理系统将来自消息中间件中的日志信息存储到数据库中。

在本发明的一种示例性实施例中，所述系统还包括：

返回模块，用于当接收到微服务返回的包含所述追踪标识的应答消息后，将所述应答信息返回给所述客户端。

在本发明的一种示例性实施例中，当利用多个微服务对所述请求进行处理时，所述处理模块，配置为：

将所述请求路由到微服务，所述微服务生成日志信息，所述日志信息包括所述追踪标识；

利用所述微服务调用其他微服务，所述其他微服务生成日志信息，所述日志信息包括所述追踪标识。

上述实施例中，通过接收来自客户端的请求；为所述请求增加追踪标识；利用至少一个微服务对所述请求进行处理；其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。本发明实施例中，通过为请求增加追踪标识，能够利用追踪标识快速识别出每个请求在不同微服务的日志信息，从而对每个请求调用的微服务进行复现，实现快速对请求经过的微服务进行定位，进而方便地定位故障的原因。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1是根据一示例性实施例示出的一种用于日志处理的方法的流程图。

图2是根据一示例性实施例示出的一种用于日志处理的系统框图。

图3是根据一示例性实施例示出的一种用于日志处理的方法的时序图。

图4是根据一示例性实施例示出的一种门诊医生系统的框图。

图5是根据一示例性实施例示出的一种用于日志处理的系统的结构图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。

图1是根据一示例性实施例示出的用于日志处理的方法的流程图。

如图1所示，在S102中，接收来自客户端的请求。

客户端发起请求后，微服务的服务网关接收到该请求。

需要说明的是，该服务网关可以对应于至少一个微服务，至少一个微服务共用这个服务网关，该服务网关对应于包括至少一个微服务的微服务集群。

在S104中，为该请求增加追踪标识。

根据示例实施例，可以在服务网关处为所述请求增加追踪标识。例如，在接收到来自客户端的请求后，为该请求生成一个追踪标识，并将该追踪标识增加到该请求中。

但本发明并不限于此，例如，也可以由客户端在生成请求后，为该请求生成一个追踪标识，并将该追踪标识增加到该客户端的请求中。

在S106中，利用至少一个微服务对该请求进行处理，其中，所述至少一个微服务生成日志信息，所述日志信息包括该追踪标识。

根据示例实施例，至少一个微服务在对该请求进行处理时，生成包含该追踪标识的日志信息。

根据示例实施例，微服务可以将日志信息记录到相应的日志收集器。每个微服务上设置有日志收集器，微服务可以将日志信息记录到各自的日志收集器。

需要说明的是，本发明实施例提供的微服务可以是微服务集群中的一个微服务，当在该微服务集群的服务网关处为来自客户端的请求增加追踪标识后，可以将该请求路由到该微服集群中的一个微服务进行处理。但本发明不限于此，例如，该微服务也可以是一个独立的微服务，当在该微服务的服务网关处为来自客户端的请求增加追踪标识后，可以将该请求路由到该微服务。

根据示例实施例，日志收集器可以将日志信息发送到消息中间件。

需要说明的是，该日志收集器上可以设置有开关，当该开关开启时，日志收集器将微服务记录的日志信息发送到消息中间件。进而，增加了对微服务记录的日志信息的可控性。

根据示例实施例，日志处理系统订阅消息中间件中的消息，当消息中间件中存在日志信息时，则该日志处理系统将来自消息中间件中的日志信息存储到数据库中，但本发明不限于此，例如，日志处理系统还可以将来自消息中间件中的日志信息存储到文件系统或者第三方系统等。

上述实施例中，通过接收来自客户端的请求；为所述请求增加追踪标识；利用至少一个微服务对所述请求进行处理；其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。本发明实施例中，通过为请求增加追踪标识，能够利用追踪标识快速识别出每个请求在不同微服务的日志信息，从而对每个请求调用的微服务进行复现，实现快速对请求经过的微服务进行定位，进而方便地定位故障的原因。

下面结合具体的应用场景对日志收集器、消息中间件以及日志处理系统的处理过程进行说明。

图2是根据一示例性实施例示出的用于日志处理的系统框图。

如图2所示，微服务群中包括多个微服务，其中每个微服务上设置有日志收集器(图中以收集器为例)，各个收集器将各自对应的微服务中运行的微服务日志收集起来，并将微服务的输出日志传输给消息中间件。日志处理系统(图中以日志处理集群为例)订阅消息中间件中的消息，当消息中间件中存在日志信息时，日志处理集群汇集来自消息中间件中的日志信息，并对该日志信息进行分析处理后，存储到文件系统、数据库和第三方系统中至少一种。

根据示例实施例，当利用多个微服务对所述请求进行处理时，在请求中增加追踪标识后，将该请求路由到一个微服务，该微服务生成日志信息，该日志信息包括所述追踪标识。该微服务还可以调用其他微服务，利用该其他微服务对该请求进行处理。该其他微服务生成日志信息，该日志信息包括所述追踪标识。

例如，图3是根据一示例性实施例示出的用于日志处理的方法的时序图。

如图3所示，在步骤S301中，服务网关接收来自客户端的请求。

在S302中，服务网关为该请求增加追踪标识。

在S303中，服务网关将该请求路由到微服务集群中的微服务A。

在S304中，微服务A生成日志信息，该日志信息包括所述追踪标识。

在S305中，微服务A调用微服务B。

在S306中，微服务B生成日志信息，该日志信息包括所述追踪标识。

根据示例实施例，当接收到微服务返回的包含所述追踪标识的应答消息后，将所述应答消息返回给所述客户端。

需要说明的是，在返回包含追踪标识的应答消息时，一般情况下由最后调用的微服务进行。

例如，在图3所示的实施例中，可以由微服务B在处理完成后，通过服务网关向客户端返回包含追踪标识的应答消息。

通过将包含包含追踪标识的应答消息返回给客户端,客户端可以方便的在日志查询系统找到本次请求的完整日志列表。

上述实施例中，通过接收来自客户端的请求；为所述请求增加追踪标识；利用至少一个微服务对所述请求进行处理；其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。本发明实施例中，通过为请求增加追踪标识，能够利用追踪标识快速识别出每个请求在不同微服务的日志信息，从而对每个请求调用的微服务进行复现，实现快速对请求经过的微服务进行定位定位，进而方便地定位故障的原因。

下面结合具体的应用场景对本发明实施例提供的用于日志处理的方法进行说明。

图4是根据一示例性实施例示出的门诊医生系统的框图。

如图4所示，该门诊医生系统基于微服务架构设计，服务网关基于SrpingCloudZuul组件实现，负责统一接收来自客户端的服务请求，并分配每个请求的追踪ID，并将该请求路由到相应的微服务。

微服务集群中包括应用服务以及领域服务，应用服务可以调用领域服务，应用服务以及领域服务均设置有日志收集器，当该请求路由到应用服务时，该应用服务记录包含该追踪标识的日志信息，并利用自身设置的日志收集器，将该日志信息汇聚到RabbitMQ消息中间件。当该应用服务调用领域服务时，该领域服务记录包含该追踪标识的日志信息，并利用自身设置的日志收集器，将该日志信息汇聚到RabbitMQ消息中间件。

日志处理服务订阅消息中间件中的日志信息，当消息中间件中存在日志信息时，该日志处理服务将消息中间件中的日志保存到数据库。

需要说明的是，为了提高日志处理的效率，本发明实施例中提供了两个日志处理服务。

进一步的，还可以利用日志查询系统对数据库中的日志信息进行查询。根据返回给客户端的应答消息中的追踪标识，可以方便快捷地在日志查询系统中查找到该包含该追踪标识的所有日志信息。

上述实施例中，通过接收来自客户端的请求；为所述请求增加追踪标识；利用至少一个微服务对所述请求进行处理；其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。本发明实施例中，通过为请求增加追踪标识，能够利用追踪标识快速识别出每个请求在不同微服务的日志信息，从而对每个请求调用的微服务进行复现，实现快速对请求经过的微服务进行定位，进而方便地定位故障的原因。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。

下述为本发明系统实施例，可以用于执行本发明方法实施例。在下文对系统的描述中，与前述方法相同的部分，将不再赘述。

图5是根据一示例性实施例示出的用于日志处理的系统的结构图。

如图5所示，该系统50包括：

接收模块510，用于接收来自客户端的请求；

增加模块520，用于为所述请求增加追踪标识；

处理模块530，用于利用至少一个微服务对所述请求进行处理；

其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。

根据示例实施例，所述增加模块520，配置为在服务网关处为所述请求增加追踪标识。

根据示例实施例，所述系统还包括：记录模块540，用于利用所述至少一个微服务将所述日志信息记录到相应的日志收集器。

根据示例实施例，所述系统还包括：发送模块550，用于利用所述日志收集器将所述日志信息发送到消息中间件。

根据示例实施例，所述系统还包括：存储模块560，用于利用日志处理系统将来自消息中间件中的日志信息存储到数据库中。

根据示例实施例，所述系统还包括：返回模块570，用于当接收到微服务返回的包含所述追踪标识的应答消息后，将所述应答信息返回给所述客户端。

根据示例实施例，当利用多个微服务对所述请求进行处理时，所述处理模块530，配置为：

将所述请求路由到微服务，所述微服务生成日志信息，所述日志信息包括所述追踪标识；

利用所述微服务调用其他微服务，所述其他微服务生成日志信息，所述日志信息包括所述追踪标识。

上述实施例中，通过接收来自客户端的请求；为所述请求增加追踪标识；利用至少一个微服务对所述请求进行处理；其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。本发明实施例中，通过为请求增加追踪标识，能够利用追踪标识快速识别出每个请求在不同微服务的日志信息，从而对每个请求调用的微服务进行复现，实现快速对请求经过的微服务进行定位，进而方便地定位故障的原因。

以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (14)

1.一种用于日志处理的方法，其特征在于，所述方法包括：

接收来自客户端的请求；

为所述请求增加追踪标识；

利用至少一个微服务对所述请求进行处理；

其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。

2.如权利要求1所述的方法，其特征在于，所述为所述请求增加追踪标识，包括：

在服务网关处为所述请求增加追踪标识。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述至少一个微服务将所述日志信息记录到相应的日志收集器。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

利用所述日志收集器将所述日志信息发送到消息中间件。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

利用日志处理系统将来自消息中间件中的日志信息存储到数据库中。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到微服务返回的包含所述追踪标识的应答消息后，将所述应答消息返回给所述客户端。

7.如权利要求1所述的方法，其特征在于，当利用多个微服务对所述请求进行处理时，所述方法还包括：

将所述请求路由到微服务，所述微服务生成日志信息，所述日志信息包括所述追踪标识；

利用所述微服务调用其他微服务，所述其他微服务生成日志信息，所述日志信息包括所述追踪标识。

8.一种用于日志处理的系统，其特征在于，所述系统包括：

接收模块，用于接收来自客户端的请求；

增加模块，用于为所述请求增加追踪标识；

处理模块，用于利用至少一个微服务对所述请求进行处理；

其中，所述至少一个微服务生成日志信息，所述日志信息包括所述追踪标识。

9.如权利要求8所述的系统，其特征在于，所述增加模块，配置为在服务网关处为所述请求增加追踪标识。

10.如权利要求8所述的系统，其特征在于，所述系统还包括：记录模块，用于利用所述至少一个微服务将所述日志信息记录到相应的日志收集器。

11.如权利要求10所述的系统，其特征在于，所述系统还包括：发送模块，用于利用所述日志收集器将所述日志信息发送到消息中间件。

12.如权利要求11所述的系统，其特征在于，所述系统还包括：

存储模块，用于利用日志处理系统将来自消息中间件中的日志信息存储到数据库中。

13.如权利要求8所述的系统，其特征在于，所述系统还包括：

返回模块，用于当接收到微服务返回的包含所述追踪标识的应答消息后，将所述应答信息返回给所述客户端。

14.如权利要求8所述的系统，其特征在于，当利用多个微服务对所述请求进行处理时，所述处理模块，配置为：

将所述请求路由到微服务，所述微服务生成日志信息，所述日志信息包括所述追踪标识；

利用所述微服务调用其他微服务，所述其他微服务生成日志信息，所述日志信息包括所述追踪标识。