CN113656368A - 一种云平台日志处理方法及系统 - Google Patents

Abstract

本申请公开了一种云平台日志处理方法及系统，该方法包括：将云平台中任一微服务组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；扫描云平台中的所有流水线，获取流水线信息；根据流水线信息，执行任一流水线，输出任一流水线中所有处理节点的处理结果。该系统包括：流水线和处理节点定义模块、扫描模块以及执行模块。通过本申请，能够有效提高日志处理的灵活性，提高日志系统之间的兼容性和适应性。

Description

一种云平台日志处理方法及系统

技术领域

本申请涉及日志处理技术领域，特别是涉及一种云平台日志处理方法及系统。

背景技术

随着信息技术的发展，电子化信息系统越来越向微服务和分布式的方向发展。相应地，微服务和分布式的电子化信息系统虽然能够应对用户复杂的需求，但同时也给运维带来更大的挑战，尤其是系统出现问题的时候，运维人员需要根据系统的日志快速定位问题，这就需要集中式的日志存储平台收集各个微服务组件的日志，并对其进行统一管理。因此，如何集中式日志存储平台上的日志进行管理是个重要的技术问题。

目前，集中式日志存储平台的一般处理过程是日志采集、日志处理、日志存储和日志展示。日志从微服务系统的组件打印出来之后，可能打印到系统的控制台或者存储到系统的某个文件中，也有可能打印到journal系统中或系统日志中。而且各个微服务组件打印的日志格式各种各样。处理完成之后的日志很有可能要存储到不同的地方，比如有的系统需要发送到消息队列中，有的需要存储到文件中，有的需要存到数据库中等等，很多日志系统针对特定系统的特定需求开发。

然而，目前集中式日志存储平台对日志的处理方式中，由于是针对特定系统的特定需求进行开发，日志的存储目的地、打印的日志格式均不相同，很难统一处理，使得不同日志系统之间的兼容性和适应性较差，日志处理的灵活性较差。

发明内容

本申请提供了一种云平台日志处理方法及系统，以解决现有技术中的日志处理方法使得日志系统之间的兼容性和适应性较差，日志处理的灵活性较差的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种云平台日志处理方法，所述方法包括：

将云平台中任一微服务组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；

扫描云平台中的所有流水线，获取流水线信息，所述流水线信息包括：流水线总数量、流水线编号、任一流水线中处理节点的数量以及每个处理节点在所述任一流水线中对应的节点函数；

根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果。

可选地，根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果的方法，包括：

定义任一流水线上的多个处理节点包括：第一处理节点、第二处理节点……直到第N处理节点，其中，N为处理节点的数量，且N≥2；

所述第一处理节点采集当前日志，并将当前日志封装为一个整体处理结构ELEMENT输出至第二处理节点，所述ELEMENT的元素包括：日志输出时间、当前流水线的流水线编号以及json格式的解析结果；

当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点；

第N处理节点输出第N-1节点的解析结果。

可选地，所述当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点，包括：

当前处理节点对所有流水线编号进行筛选，获取所述任一流水线的流水线编号；

根据所述当前处理节点在所述任一流水线中对应的节点函数和所述任一流水线的流水线编号，修改上一个处理节点的解析结果内容，获取所述当前处理节点的解析结果；

将所述日志输出时间、流水线编号以及当前处理节点的解析结果，输出至下一个处理节点。

可选地，所述修改上一个处理节点的解析结果内容，包括：

对上一个处理节点的解析结果添加一个字段；或者，

对上一个处理节点解析结果中的任一字段进行正则匹配。

可选地，多个所述处理节点至少包括采集节点和输出节点，所述采集节点为所述任一流水线上的第一处理节点，所述输出节点为所述任一流水线上的第N处理节点。

可选地，所述采集节点还用于定义待采集日志的位置以及采集方式。

可选地，所述方法还包括：

根据所获取的组件日志的处理方式，添加、删除或修改相应的处理节点。

可选地，所述方法还包括：

根据所获取的微服务日志处理命令，添加相应的流水线；

在添加的流水线上添加相应的处理节点。

一种云平台日志处理系统，所述系统包括：

流水线和处理节点定义模块，用于将云平台中任一组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；

扫描模块，用于扫描云平台中的所有流水线，获取流水线信息，所述流水线信息包括：流水线总数量、流水线编号、任一流水线中处理节点的数量、每个处理节点所对应的节点函数；

执行模块，用于根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果。

可选地，所述系统中还包括：

流水线变更模块，用于根据所获取的微服务日志处理命令，添加相应的流水线，以及，在添加的流水线上添加相应的处理节点；

处理节点变更模块，用于根据所获取的组件日志的处理方式，添加、删除或修改相应的处理节点。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请提供一种云平台日志处理方法，该方法首先将云平台中任一微服务组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，采用流水线和处理节点的方式描述日志处理过程，当日志处理过程不同时，采用不同的流水线，当同一个日志处理过程有部分处理流程的变动时，可以采用变更处理节点的方式实现，从而能够大大提高日志处理的灵活性。而且任一处理节点可以设置于不同的流水线中，处理节点可以根据需要自由搭配，单独操作，能够应用于不同日志系统之间，大大提高不同日志系统之间的兼容性和适应性。本实施例的日志处理方法还包括在系统初始化时扫描云平台中的所有流水线，获取流水线信息，为后续执行任一流水线提供依据。最后根据流水线信息执行任一流水线，输出任一流水线中所有处理节点的处理结果，从而完成云平台日志处理。本实施例的任一流水线中，当前处理节点对上一个处理节点的输出结果进行解析，获取到当前处理节点的输出结果，并将其输出至下一个处理节点。也就是将日志处理过程分解为多个处理节点，每个处理节点相对独立，上一步的处理结果作为下一步处理结果的输入，最后一个节点输出的处理结果为整条流水线的处理结果，也就是最终的日志处理结果。这种将流水线按照处理节点进行划分的方法，使得云平台在采集日志时能够自由配置处理过程，能够为不同的微服务组件添加不同的处理方法，能够大大减少对系统的改动，提高产品的适用性和灵活性，有利于产品开发。

本申请还提供一种云平台日志处理系统，该系统主要包括：流水线和处理节点定义模块、扫描模块以及执行模块。通过流水线和处理节点定义模块将云平台中任一组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，采用流水线和处理节点的方式来描述日志处理过程，不同处理节点是独立的，可以设置于不同的流水线中，这种结构能够大大提高日志处理的灵活性，当用户进行不同的日志处理过程时，可以采用不同的流水线，在同一个处理过程中采用不同的处理方式时，可以更改不同的处理节点，日志处理过程非常灵活，且能够适用于不同的日志处理场景和日志系统中，大大提高不同日志系统的兼容性和适应性，有利于产品的开发。通过扫描模块和执行模块，能够根据扫描获取的流水线信息执行任一流水线，最终输出该任一流水线中所有处理节点的处理结果，完成日志处理过程。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种云平台日志处理方法的流程示意图；

图2为本申请实施例所提供的一种云平台日志处理系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。

实施例一

参见图1，图1为本申请实施例所提供的一种云平台日志处理方法的流程示意图。由图1可知，本实施例中的云平台日志处理方法，主要包括如下过程：

S1：将云平台中任一微服务组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中。

一条流水线代表云平台中一个微服务组件的日志处理过程，根据日志处理过程的在任一流水线上添加多个处理节点，即：日志处理过程包括几个步骤，就匹配几个处理节点。通常一个微服务组件的日志处理过程至少包括两个节点：采集节点和输出节点，采集节点为第一个处理节点，为输入源，用于定义待采集日志的位置以及采集方式。输出节点为最后一个处理节点，输出节点用于规定解析结果的发送目标位置，也就是输出节点会指明将处理后的数据发送至什么位置进行存储，例如：输出至指定文件中，或者存储至数据库中。本实施例的流水线中还可以包括：传输节点等。

本实施例中任一处理节点可设置于不同的流水线中，处理节点具有独立性，可以自由搭配，对其单独进行操作，这种方式能够大大提高日志处理的灵活性，提高不同日志系统之间的兼容性和适用性。

继续参见图1可知，定义流水线和流水线上的多个处理节点之后，执行步骤S2：扫描云平台中的所有流水线，获取流水线信息。

其中，流水线信息包括：流水线总数量、流水线编号、任一流水线中处理节点的数量以及每个处理节点在任一流水线中对应的节点函数。流水线编号也就是流水线的ID，本实施例中定义为Tag，流水线中的采集节点采集一条日志后会将其封装为一个元素，并在该元素中添加Tag，该元素在后续处理节点的传递过程中会携带该Tag，用于标明当前元素所属的微服务组件。

扫描云平台中的所有流水线，获取流水线信息，相当于查询出所有待处理的日志列表，然后对日志列表中的每个列表项进行处理。

S3：根据流水线信息，执行任一流水线，输出任一流水线中所有处理节点的处理结果。

具体地，步骤S3包括如下过程：

S31：定义任一流水线上的多个处理节点包括：第一处理节点、第二处理节点……直到第N处理节点。其中，N为处理节点的数量，且N≥2。

第一处理节点即采集节点，第N处理节点即输出节点。

S32：第一处理节点采集当前日志，并将当前日志封装为一个整体处理结构ELEMENT输出至第二处理节点。其中，ELEMENT的元素包括：日志输出时间Time、当前流水线的流水线编号Tag以及json格式的解析结果Object。

ELEMENT代表系统中需要处理的对象，例如：一个多媒体文件的相关信息，该对象将作为模版参数传入流水线，之后的处理都是针对这种对象进行的。Task将对一个ELEMENT的处理拆分成多个独立的操作，每一个操作由一个Task负责，多个Task可以同时运行，串行操作其中的每一个ELEMENT，当一个ELEMENT在所有的Task中都“流”一遍后，所有操作都结束后，才算处理完一个对象。

S33：当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点。

S331：当前处理节点对所有流水线编号进行筛选，获取任一流水线的流水线编号。

此处的任一流水线即当前处理节点所在的流水线。

S332：根据当前处理节点在任一流水线中对应的节点函数和任一流水线的流水线编号，修改上一个处理节点的解析结果内容，获取当前处理节点的解析结果。

本实施例中每个处理节点对上一个处理节点的解析结果进行修改。其中，修改上一个处理节点的解析结果内容，包括：对上一个处理节点的解析结果添加一个字段；或者，对上一个处理节点解析结果中的任一字段进行正则匹配等方式。

S333：将日志输出时间、流水线编号以及当前处理节点的解析结果，输出至下一个处理节点。

S34：第N处理节点输出第N-1节点的解析结果。

也就是流水线中的最后一个处理节点为输出节点，将解析后的结果通过不同的方式发送至目标位置。

进一步地，本实施例中的云平台日志处理方法，还包括：

S4：根据所获取的组件日志的处理方式，添加、删除或修改相应的处理节点。

当某个微服务组件的日志需要不同的处理方式时，根据步骤S4，只需要添加、删除或修改相应的处理节点即可，而不用更换整条流水线，也就是只需要开发节点插件并添加至处理流程中即可实现动态配置，这种方式能够有效提高日志处理的灵活性，从而提高日志处理效率。

S5：根据所获取的微服务日志处理命令，添加相应的流水线。

S6：在添加的流水线上添加相应的处理节点。

本实施例中各流水线分别代表不同的日志处理过程，各流水线之间相互独立，由步骤S5和S6可知，根据用户需求，如果需要添加不同的微服务日志处理过程，只需要添加一条流水线，并在所添加的流水线上添加不同的处理节点即可，这种方式有利于进一步提高日志处理的灵活性和日志处理效率。

实施例二

在图1所示实施例的基础上参见图1，图2为本申请实施例所提供的一种云平台日志处理系统的结构示意图。由图2可知，本实施例中的云平台日志处理系统，主要包括：流水线和处理节点定义模块、扫描模块以及执行模块。

其中，流水线和处理节点定义模块，用于将云平台中任一组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；扫描模块，用于扫描云平台中的所有流水线，获取流水线信息，流水线信息包括：流水线总数量、流水线编号、任一流水线中处理节点的数量、每个处理节点所对应的节点函数；执行模块，用于根据流水线信息，执行任一流水线，输出任一流水线中所有处理节点的处理结果。

进一步地，本实施例的云平台日志处理系统中还包括：流水线变更模块和处理节点变更模块。其中，流水线变更模块，用于根据所获取的微服务日志处理命令，添加相应的流水线，以及，在添加的流水线上添加相应的处理节点；处理节点变更模块，用于根据所获取的组件日志的处理方式，添加、删除或修改相应的处理节点。

进一步地，执行模块包括：处理节点定义单元、封装单元、节点管理单元和输出单元。其中，处理节点定义单元，用于定义任一流水线上的多个处理节点包括：第一处理节点、第二处理节点……直到第N处理节点，其中，N为处理节点的数量，且N≥2；封装单元，用于控制第一处理节点采集当前日志，并将当前日志封装为一个整体处理结构ELEMENT输出至第二处理节点，ELEMENT的元素包括：日志输出时间、当前流水线的流水线编号以及json格式的解析结果；节点管理单元，用于控制当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点；输出单元，用于控制第N处理节点输出第N-1节点的解析结果。

节点管理单元包括：筛选子单元、修改子单元和传输子单元。其中，筛选子单元，用于控制当前处理节点对所有流水线编号进行筛选，获取任一流水线的流水线编号；修改子单元，用于根据当前处理节点在任一流水线中对应的节点函数和任一流水线的流水线编号，修改上一个处理节点的解析结果内容，获取当前处理节点的解析结果；传输子单元，用于将日志输出时间、流水线编号以及当前处理节点的解析结果，输出至下一个处理节点。

该实施例中云平台日志处理系统的工作原理和工作方法，在图1所示的实施例中已经详细阐述，两个实施例之间可以互相参照，在此不再赘述。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种云平台日志处理方法，其特征在于，所述方法包括：

将云平台中任一微服务组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；

扫描云平台中的所有流水线，获取流水线信息，所述流水线信息包括：流水线总数量、流水线编号、任一流水线中处理节点的数量以及每个处理节点在所述任一流水线中对应的节点函数；

根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果。

2.根据权利要求1所述的一种云平台日志处理方法，其特征在于，根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果的方法，包括：

定义任一流水线上的多个处理节点包括：第一处理节点、第二处理节点……直到第N处理节点，其中，N为处理节点的数量，且N≥2；

所述第一处理节点采集当前日志，并将当前日志封装为一个整体处理结构ELEMENT输出至第二处理节点，所述ELEMENT的元素包括：日志输出时间、当前流水线的流水线编号以及json格式的解析结果；

当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点；

第N处理节点输出第N-1节点的解析结果。

3.根据权利要求2所述的一种云平台日志处理方法，其特征在于，所述当前处理节点对上一个处理节点输出的ELEMENT进行解析，获取解析结果并输出至下一个处理节点，包括：

当前处理节点对所有流水线编号进行筛选，获取所述任一流水线的流水线编号；

根据所述当前处理节点在所述任一流水线中对应的节点函数和所述任一流水线的流水线编号，修改上一个处理节点的解析结果内容，获取所述当前处理节点的解析结果；

将所述日志输出时间、流水线编号以及当前处理节点的解析结果，输出至下一个处理节点。

4.根据权利要求3所述的一种云平台日志处理方法，其特征在于，所述修改上一个处理节点的解析结果内容，包括：

对上一个处理节点的解析结果添加一个字段；或者，

对上一个处理节点解析结果中的任一字段进行正则匹配。

5.根据权利要求1所述的一种云平台日志处理方法，其特征在于，多个所述处理节点至少包括采集节点和输出节点，所述采集节点为所述任一流水线上的第一处理节点，所述输出节点为所述任一流水线上的第N处理节点。

6.根据权利要求5所述的一种云平台日志处理方法，其特征在于，所述采集节点还用于定义待采集日志的位置以及采集方式。

7.根据权利要求1所述的一种云平台日志处理方法，其特征在于，所述方法还包括：

根据所获取的组件日志的处理方式，添加、删除或修改相应的处理节点。

8.根据权利要求1所述的一种云平台日志处理方法，其特征在于，所述方法还包括：

根据所获取的微服务日志处理命令，添加相应的流水线；

在添加的流水线上添加相应的处理节点。

9.一种云平台日志处理系统，其特征在于，所述系统包括：

流水线和处理节点定义模块，用于将云平台中任一组件的日志处理过程定义为一条流水线，并在任一流水线上按照日志处理过程添加多个处理节点，且任一处理节点可设置于不同的流水线中；

扫描模块，用于扫描云平台中的所有流水线，获取流水线信息，所述流水线信息包括：流水线总数量、流水线编号、任一流水线中处理节点的数量、每个处理节点所对应的节点函数；

执行模块，用于根据所述流水线信息，执行任一流水线，输出所述任一流水线中所有处理节点的处理结果。

10.根据权利要求9所述的一种云平台日志处理系统，其特征在于，所述系统中还包括：

流水线变更模块，用于根据所获取的微服务日志处理命令，添加相应的流水线，以及，在添加的流水线上添加相应的处理节点；

处理节点变更模块，用于根据所获取的组件日志的处理方式，添加、删除或修改相应的处理节点。

Images