CN111026613A - 日志处理方法及装置 - Google Patents

Abstract

本申请公开了一种日志处理方法及装置，该方法包括：获取原始日志，依据预设的数据划分方式，对原始日志进行划分，获得原始日志对应的多个日志块，针对每个日志块，确定与日志块对应的多个预设指标，从日志块中提取与每个预设指标对应的日志数据，将提取出的各个日志数据对应写入预设日志模板中，得到目标日志。应用本发明提供的日志处理方法，针对不同的原始日志，从原始日志中提取出相应的日志数据写入预设日志模板中，实现对原始日志进行规范化处理，得到规范化的日志，从而实现采用统一的链路可识别不同的日志，降低开发成本。

Description

日志处理方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种日志处理方法及装置。

背景技术

目前大数据成为当前业界的技术热点，特别是随着云计算业务的部署，大数据作为其最重要的业务应用，其发展前景被寄予厚望。

大数据的业务往往涉及多个产品项目，不同产品项目，其所产生的原始日志是不同的，而不同原始日志中的日志字段和表达也是不同的。现有技术中，日志接入系统只能对原有的产品项目的原始日志进行识别处理，当有新的产品项目的原始日志接入时，需要重新开发一套能识别该原始日志的日志字段和表达的链路，导致开发成本较大。

发明内容

本发明所要解决的技术问题是提供一种日志处理方法，以实现当新的产品项目的原始日志接入时，可以复用原有的链路，无需重新开发识别该原始日志的链路，从而降低开发成本。

本发明还提供了一种日志处理装置，用于保证上述方法在实际中的实现及应用。

一种日志处理方法，包括：

获取原始日志；

依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块；

针对每个所述日志块，确定与所述日志块对应的多个预设指标，从所述日志块中提取与每个所述预设指标对应的日志数据；

将提取出的各个所述日志数据对应写入预设日志模板中，得到目标日志。

上述的方法，可选的，所述依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块，包括：

获取预设的多个要素信息；

依据各个所述要素信息，对所述原始日志进行划分，得到所述原始日志对应的多个日志块，其中，每个所述要素信息对应一个所述日志块。

上述的方法，可选的，所述确定与所述日志块对应的多个预设指标，包括：

依据所述日志块对应的要素信息，获取与所述要素信息对应的多个预设指标；

将与所述要素信息对应的多个预设指标，确定为所述日志块对应的多个预设指标。

上述的方法，可选的，所述将提取的各个所述日志数据对应写入预设日志模板中，得到目标日志，包括：

依据每个所述日志数据对应的预设指标，在预设日志模板中，确定与所述预设指标对应的写入位置；

将每个所述日志数据写入与其对应的写入位置中，得到目标日志。

上述的方法，可选的，所述将提取的各个日志数据对应写入预设日志模板中，得到目标日志之后，还包括：

将所述目标日志进行存储。

一种日志处理装置，包括：

获取单元，用于获取原始日志；

划分单元，用于依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块；

提取单元，用于针对每个所述日志块，确定与所述日志块对应的多个预设指标，从所述日志块中提取与每个所述预设指标对应的日志数据；

写入单元，用于将提取出的各个所述日志数据对应写入预设日志模板中，得到目标日志。

上述的装置，可选的，所述划分单元，包括：

获取子单元，用于获取预设的多个要素信息；

划分子单元，用于依据各个所述要素信息，对所述原始日志进行划分，得到所述原始日志对应的多个日志块，其中，每个所述要素信息对应一个所述日志块。

上述的装置，可选的，所述提取单元执行确定与所述日志块对应的多个预设指标，用于：

依据所述日志块对应的要素信息，获取与所述要素信息对应的多个预设指标；

将与所述要素信息对应的多个预设指标，确定为所述日志块对应的多个预设指标。

上述的装置，可选的，所述写入单元，包括：

确定子单元，用于依据每个所述日志数据对应的预设指标，在预设日志模板中，确定与所述预设指标对应的写入位置；

写入子单元，用于将每个所述日志数据写入与其对应的写入位置中，得到目标日志。

上述的装置，可选的，还包括：

存储单元，用于将所述目标日志进行存储。

一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的日志处理方法。

一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的日志处理方法。

与现有技术相比，本发明包括以下优点：

本发明提供了一种日志处理方法，包括：获取原始日志，依据预设的数据划分方式，对原始日志进行划分，获得原始日志对应的多个日志块，针对每个日志块，确定与日志块对应的多个预设指标，从日志块中提取与每个预设指标对应的日志数据，将提取出的各个日志数据对应写入预设日志模板中，得到目标日志。应用本发明提供的日志处理方法，针对不同的原始日志，从原始日志中提取出相应的日志数据写入预设日志模板中，实现对原始日志进行规范化处理，得到规范化的日志，从而实现采用统一的链路可识别不同的日志，降低开发成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种日志处理方法的方法流程图；

图2为本发明提供的一种日志处理方法的又一方法流程图；

图3为本发明提供的一种日志处理装置的结构示意图；

图4为本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供了一种日志处理方法，该方法可以应用在多种系统平台，其执行主体可以为运行在计算机上的处理器，所述日志处理方法的流程图如图1所示，具体包括：

S101、获取原始日志。

获取原始日志，可选的，原始日志包括但不限于错误日志、业务日志、行为日志和流水日志。

S102、依据预设的数据划分方式，对原始日志进行划分，获得原始日志对应的多个日志块。

依据预设的数据划分方式，对原始日志进行划分，可选的，可以依据时间、地点、人物、起因、经过和结果等维度，对原始日志进行划分，以使原始日志划分为时间维度对应的日志块、地点维度对应的日志块、人物维度对应的日志块、起因维度对应的日志块、经过维度对应的日志块和结果维度对应的日志块。

可选的，对原始日志进行划分，获得原始日志对应的多个日志块，可以通过将原始日志进行维度映射，使原始日志中相应的日志数据映射至与其对应的维度，从而获得每个维度对应的日志块，即获得时间维度对应的日志块、地点维度对应的日志块、人物维度对应的日志块、起因维度对应的日志块、经过维度对应的日志块和结果维度对应的日志块。

需要说明的是，本发明实施例所涉及的预设的数据划分方式，包括但不依据时间、地点、人物、起因、经过和结果这六个维度进行划分。

S103、针对每个日志块，确定与日志块对应的多个预设指标，从日志块中提取与每个预设指标对应的日志数据。

确定与每个日志块对应的多个预设指标，从日志块中提取与每个预设指标对应的日志数据，可选的，基于时间维度对应的日志块，可以从该日志块中提取事件起始时间、事件结束时间和日志上传时间各自对应的日志数据；基于地点维度对应的日志块，可以从该日志块中提取地区码或IP地址对应的日志数据、产品或模块标识对应的日志数据、硬件标识对应的日志数据、操作系统标识对应的日志数据和软件标识对应的日志；基于人物维度对应的日志块，可以从该日志块中提取主动方人物标识、主动方机构标识、主动方类型、被动方实体和被动方类型各自对应的日志数据；基于起因维度对应的日志块，可以从该日志块中提取模块标识、位置标识和合作方标识各自对应的日志数据；基于经过维度对应的日志块，可以从该日志块中提取事件名、事件类型、请求地址、调用方法名称、请求参数、动作组类型和批次编号各自对应的日志数据；基于结果维度对应的日志块，可以从该日志块中提取结果标识和结果内容各自对应的日志数据。

需要说明的是，本发明实施例所提及的时间、地点、人物、起因、经过和结果这六个维度各自对应的预设指标，包括但不限于上述提及的预设指标，也就是说，时间维度对应的预设指标包括但不限于起始时间、结束时间和日志上传时间；地点对应的预设指标包括但不限于地区码或IP地址、产品或模块标识、硬件标识、操作系统标识和软件标识；人物维度对应的预设指标包括但不限于主动方人物标识、主动方机构标识、主动方类型、被动方实体和被动方类型；起因维度对应的预设指标包括但不限于模块标识、位置标识和合作方标识；经过维度对应的预设指标包括但不限于事件名、事件类型、请求地址、调用方法名称、请求参数、动作组类型和批次编号；结果维度对应的预设指标包括但不限于结果标识和结果内容。

S104、将提取出的各个日志数据对应写入预设日志模板中，得到目标日志。

依据每个日志数据对应的预设指标，将各个日志数据对应写入预设日志模板中，得到目标日志。

需要说明的是，预设日志模板中预先设置每个预设指标对应的写入位置，将每个日志数据写入预设日志模板中与该日志数据的预设指标对应的写入位置中。

需要说明的是，针对各个预设指标，若从日志块中未提取到与该预设指标对应的日志数据，则预设日志模板中相应的写入位置中的字段为空字段。也就是说，日志模板中的所有写入位置并不都需要填满，可存在部分为空字段的情况。

本发明实施例提供的日志处理方法中，获取原始日志，依据预设的数据划分方式，对原始日志进行划分，获得原始日志对应的多个日志块，针对每个日志块，确定与日志块对应的多个预设指标，从日志块中提取与每个预设指标对应的日志数据，将提取出的各个日志数据对应写入预设日志模板中，得到目标日志。应用本发明实施例提供的日志处理方法，针对不同的原始日志，从原始日志中提取出相应的日志数据写入预设日志模板中，实现对原始日志进行规范化处理，得到规范化的日志，从而实现采用统一的链路可识别不同的日志，降低开发成本。

在本发明实施例提供的方法中，对日志处理方法的实现过程进行具体说明，如图2所示，包括以下步骤：

S201、获取原始日志。

可选的，步骤S201的具体实现过程如步骤S101所述，此处不再赘述。

S202、获取预设的多个要素信息，并依据各个要素信息，对原始日志进行划分，得到原始日志对应的多个日志块。

获取预设的多个要素信息，可选的，要素信息包括但不限于时间维度、地点维度、人物维度、起因维度、经过维度和结果维度，预先设置每个要素信息对应的策略，基于每个要素信息对应的策略，从原始日志中提取每个要素信息对应的一个日志数据，并将所提取出来的每个要素信息对应的日志数据作为该要素信息对应的日志块，以实现将原始日志划分成多个日志块。

可选的，可以将原始日志划分为时间维度对应的日志块、地点维度对应的日志块、人物维度对应的日志块、起因维度对应的日志块、经过维度对应的日志块和结果维度对应的日志块。

S203、针对每个日志块，依据日志块对应的要素信息，获取与要素信息对应的多个预设指标，从日志块中提取与每个预设指标对应的日志数据。

可选的，预先为每个要素信息设置多个预设指标，针对每个日志块，依据日志块的要素信息，可获得与要素信息对应的各个预设指标，将要素信息对应的多个预设指标确定为日志块对应的多个预设指标，即获得日志块对应的多个预设指标，基于每个预设指标的数据提取策略，从日志块中提取与每个预设指标对应的日志数据。可选的，基于时间维度对应的日志块，可以从该日志块中提取事件起始时间、事件结束时间和日志上传时间各自对应的日志数据；基于地点维度对应的日志块，可以从该日志块中提取地区码或IP地址对应的日志数据、产品或模块标识对应的日志数据、硬件标识对应的日志数据、操作系统标识对应的日志数据和软件标识对应的日志；基于人物维度对应的日志块，可以从该日志块中提取主动方人物标识、主动方机构标识、主动方类型、被动方实体和被动方类型各自对应的日志数据；基于起因维度对应的日志块，可以从该日志块中提取模块标识、位置标识和合作方标识各自对应的日志数据；基于经过维度对应的日志块，可以从该日志块中提取事件名、事件类型、请求地址、调用方法名称、请求参数、动作组类型和批次编号各自对应的日志数据；基于结果维度对应的日志块，可以从该日志块中提取结果标识和结果内容各自对应的日志数据。

S204、依据每个日志数据对应的预设指标，在预设日志模板中，确定与预设指标对应的写入位置。

预设日志模板中预先设置每个预设指标对应的写入位置，即预设日志模板中为每个预设指标预留出空字段，以便于将提取出的每个预设指标的日志数据写入该空字段中。

针对每个日志数据，依据该日志数据对应的预设指标，在预设日志模板中，确定与预设指标对应的写入位置，所确定的写入位置即为日志数据对应的写入位置。

S205、将每个日志数据写入与其对应的写入位置中，得到目标日志。

针对每个日志数据，将该日志数据写入预设日志模板中与该日志数据对应的写入位置。也就是说，针对每个预设指标，将所提取出的日志数据写入日志模板中与预设指标对应的写入位置中。

需要说明的是，针对每个预设指标，若在日志块中未提取出与该预设指标对应的日志数据，则将预设日志模板中与该预设指标对应的写入位置置空，即无需填入任务内容，可选的，也可以在该写入位置中写入表征未提取到相应日志数据的预设字段，该预设字段为人为设定的字段，本发明实施例对预设字段的具体内容不做限定。

可选的，还可以对目标日志进行存储，以便于后续进行查看。

本发明实施例提供的日志处理方法中，依据预设的多个要素信息，对原始日志进行划分，得到每个要素信息对应的日志块，针对每个日志块，依据该日志块的要素信息，获得多个预设指标，从日志块中提取与每个预设指标对应的日志数据，在预设日志模板中确定每个日志数据对应的写入位置，将各个日志数据写入其对应的写入位置中，得到目标日志。应用本发明实施例提供的日志处理方法，针对不同的原始日志，从原始日志中提取出相应的日志数据写入预设日志模板中，实现对原始日志进行规范化处理，得到规范化的日志，从而实现采用统一的链路可识别不同的日志，降低开发成本。

与图1所述的方法相对应，本发明实施例还提供了一种日志处理装置，用于对图1中方法的具体实现，其结构示意图如图3所示，具体包括：

获取单元301，用于获取原始日志；

划分单元302，用于依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块；

提取单元303，用于针对每个所述日志块，确定与所述日志块对应的多个预设指标，从所述日志块中提取与每个所述预设指标对应的日志数据；

写入单元304，用于将提取出的各个所述日志数据对应写入预设日志模板中，得到目标日志。

本申请实施例提供的日志处理装置，获取原始日志，依据预设的数据划分方式，对原始日志进行划分，获得原始日志对应的多个日志块，针对每个日志块，确定与日志块对应的多个预设指标，从日志块中提取与每个预设指标对应的日志数据，将提取出的各个日志数据对应写入预设日志模板中，得到目标日志。应用本发明实施例提供的日志处理装置，针对不同的原始日志，从原始日志中提取出相应的日志数据写入预设日志模板中，实现对原始日志进行规范化处理，得到规范化的日志，从而实现采用统一的链路可识别不同的日志，降低开发成本。

在本申请的一个实施例中，基于前述方案，划分单元302配置为：

获取子单元，用于获取预设的多个要素信息；

划分子单元，用于依据各个所述要素信息，对所述原始日志进行划分，得到所述原始日志对应的多个日志块，其中，每个所述要素信息对应一个所述日志块。

在本发明的一个实施例中，基于前述方案，提取单元303执行确定与所述日志块对应的多个预设指标，用于：

依据所述日志块对应的要素信息，获取与所述要素信息对应的多个预设指标；

将与所述要素信息对应的多个预设指标，确定为所述日志块对应的多个预设指标。

在本发明的一个实施例中，基于前述方案，写入单元304配置为：

确定子单元，用于依据每个所述日志数据对应的预设指标，在预设日志模板中，确定与所述预设指标对应的写入位置；

写入子单元，用于将每个所述日志数据写入与其对应的写入位置中，得到目标日志。

在本发明的一个实施例中，基于前述方案，还可以配置为：

存储单元，用于将所述目标日志进行存储。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述日志处理方法。

本发明实施例还提供了一种电子设备，其结构示意图如图4所示，具体包括存储器401，以及一个或者一个以上的指令402，其中一个或者一个以上指令402存储于存储器401中，且经配置以由一个或者一个以上处理器403执行所述一个或者一个以上指令402进行以下操作：

获取原始日志；

依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块；

针对每个所述日志块，确定与所述日志块对应的多个预设指标，从所述日志块中提取与每个所述预设指标对应的日志数据；

将提取出的各个所述日志数据对应写入预设日志模板中，得到目标日志。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种日志处理方法，其特征在于，包括：

获取原始日志；

依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块；

针对每个所述日志块，确定与所述日志块对应的多个预设指标，从所述日志块中提取与每个所述预设指标对应的日志数据；

将提取出的各个所述日志数据对应写入预设日志模板中，得到目标日志。

2.根据权利要求1所述的方法，其特征在于，所述依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块，包括：

获取预设的多个要素信息；

依据各个所述要素信息，对所述原始日志进行划分，得到所述原始日志对应的多个日志块，其中，每个所述要素信息对应一个所述日志块。

3.根据权利要求2所述的方法，其特征在于，所述确定与所述日志块对应的多个预设指标，包括：

依据所述日志块对应的要素信息，获取与所述要素信息对应的多个预设指标；

将与所述要素信息对应的多个预设指标，确定为所述日志块对应的多个预设指标。

4.根据权利要求1所述的方法，其特征在于，所述将提取的各个所述日志数据对应写入预设日志模板中，得到目标日志，包括：

依据每个所述日志数据对应的预设指标，在预设日志模板中，确定与所述预设指标对应的写入位置；

将每个所述日志数据写入与其对应的写入位置中，得到目标日志。

5.根据权利要求1所述的方法，其特征在于，所述将提取的各个日志数据对应写入预设日志模板中，得到目标日志之后，还包括：

将所述目标日志进行存储。

6.一种日志处理装置，其特征在于，包括：

获取单元，用于获取原始日志；

划分单元，用于依据预设的数据划分方式，对所述原始日志进行划分，获得所述原始日志对应的多个日志块；

提取单元，用于针对每个所述日志块，确定与所述日志块对应的多个预设指标，从所述日志块中提取与每个所述预设指标对应的日志数据；

写入单元，用于将提取出的各个所述日志数据对应写入预设日志模板中，得到目标日志。

7.根据权利要求6所述的装置，其特征在于，所述划分单元，包括：

获取子单元，用于获取预设的多个要素信息；

划分子单元，用于依据各个所述要素信息，对所述原始日志进行划分，得到所述原始日志对应的多个日志块，其中，每个所述要素信息对应一个所述日志块。

8.根据权利要求7所述的装置，其特征在于，所述提取单元执行确定与所述日志块对应的多个预设指标，用于：

依据所述日志块对应的要素信息，获取与所述要素信息对应的多个预设指标；

将与所述要素信息对应的多个预设指标，确定为所述日志块对应的多个预设指标。

9.根据权利要求6所述的装置，其特征在于，所述写入单元，包括：

确定子单元，用于依据每个所述日志数据对应的预设指标，在预设日志模板中，确定与所述预设指标对应的写入位置；

写入子单元，用于将每个所述日志数据写入与其对应的写入位置中，得到目标日志。

10.根据权利要求6所述的装置，其特征在于，还包括：

存储单元，用于将所述目标日志进行存储。

Images