CN106815306A - 日志解析方法及装置 - Google Patents

Abstract

本发明实施例提供一种日志解析方法及装置。本发明实施例提供的日志解析方法，包括：从各异构数据源采集待处理日志，按照日志模板，将已采集到的待处理日志转化为符合所述日志模板的标准日志，将转化得到的所述标准日志输入到相应的工作流进行调度与解析，输出解析结果。本发明的技术方案有利于对日志进行统一的分析、调度以及管理，同时，由于采用统一的格式对日志进行解析，简化了解析过程，弱化了不同日志源的日志之间的异构性。

Description

日志解析方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志解析方法及装置。

背景技术

分布式系统中不同应用产生日志的方式存在多样性，这些日志异构性突出，独立性较强，数据量较大，且分布较为分散。例如，有些日志会根据时间定时生成，有些日志根据大小定量生成，还有些会不定时地进行日志截取。

分布式系统中每个应用自身产生的若干个日志之间存在逻辑关系，但是多个应用产生的若干个日志之间的逻辑关系却不明显，针对多个应用产生的若干个日志，利用现有技术中的经常采用的分别独立解析方式则无法体现出若干个日志之间的关系，且解析过程复杂。

发明内容

本发明实施例提供一种日志解析方法及装置，通过将多个应用产生的异构数据源中若干个日志进行解析，使其形成统一的格式，简化解析过程，使得解析结果可以用于统一的分析、调度以及管理。

本发明实施例提供一种日志解析方法，包括：

将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志；

将转化得到的所有所述标准日志输入到相应的工作流进行调度与解析；

输出解析结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志，包括：

从所述日志模板中获取关键字段；

按照所述日志模板中的所述关键字段，在所述待处理日志中查找与所述关键字段相匹配的信息；

根据查找到的信息，对所述日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若所述待处理日志中包含有所述日志模板中未出现的其他关键字段，整合所述待处理日志的所述其他字段添加至所述日志模板中，并对相应的所述其他关键字段进行重构；

生成所述标准日志。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述工作流包括开始节点、结束节点、中断节点以及任务节点。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。

本发明实施例还提供一种日志解析装置，所述装置包括：

采集模块，用于从各异构数据源采集待处理日志；

转化模块，将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志；

解析模块，用于将转化得到的所有所述标准日志输入到相应的工作流进行调度与解析；

输出模块，用于输出解析结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述转化模块，具体用于：

从所述日志模板中获取关键字段；

按照所述日志模板中的所述关键字段，在所述待处理日志中查找与所述关键字段相匹配的信息；

根据查找到的信息，对所述日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若所述待处理日志中包含有所述日志模板中未出现的其他关键字段，整合所述待处理日志的所述其他字段添加至所述日志模板中，并对相应的所述其他关键字段进行重构；

生成所述标准日志。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述工作流包括开始节点、结束节点、中断节点以及任务节点。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。

本发明实施例提供的日志解析方法及装置，通过从各异构数据源中采集待处理日志，然后根据日志模板，将已采集到的待处理日志转化为符合日志模板的标准日志，用于对日志中的内容进行解析，接下来将转化得到的标准日志输入到相应的工作流中进行解析，得到相应的解析结果，输出解析的结果可以显示出各异构数据源中待处理日志中记录的内容之间的逻辑关系，有利于对日志进行统一的分析、调度以及管理，同时，由于采用统一的格式对日志进行解析，简化了解析的过程，弱化了不同日志源日志之间的异构性，且能体现出各个日志之间的关系，解决了现有日志独立解析过程复杂的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的日志解析方法实施例一的流程图；

图2为本发明实施例提供的日志解析方法实施例一的整体流程图；

图3为本发明实施例提供的日志解析装置实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

实施例一

图1为本发明实施例提供的日志解析方法实施例一的流程图，图2为本发明实施例提供的日志解析方法实施例一的整体流程图，如图1和图2所示，本发明实施例提供的日志解析方法，具体可以包括如下步骤：

101、从各异构数据源采集待处理日志。

分布式系统中多具有多级网络结构，相应的每一个级别网络中具有至少一个应用，每一个应用中都会产生相应的数据，以日志的形式存在于应用中。例如，铁路客票系统可以包括网页购票平台、终端安装的应用、后台数据库等，相应的网页购票平台产生网页购票平台日志、每一个被终端安装的应用均会产生相应的应用日志、后台数据库产生数据库日志。

可以理解的是，本发明实施例中提及的异构数据源指代的是一个应用中产生的数据，包括日志数据、存储数据等，各异构数据源指代的是每一个应用产生的数据。

因此，在本发明实施例中，需要从各异构数据源中采集待处理的日志，可以理解的是，采集的日志的种类可以根据不同的分析需求进行设定，不同种类的日志之间可以通过其内容中的数据产生结构进行区分。

102、将每个异构数据源中的待处理日志按照每个异构数据源对应的日志模板，将每个异构数据源中的待处理日志转化为标准日志。

在本发明实施例中，日志模板可以预先设置的，也可以是动态生成的。由于异构数据源不同，相应的可以对日志模板的内容进行调整，例如，应用名称、关键字段等。可以理解的是，由于不同的数据源其日志具有不同的格式，因此，每个异构数据源对应一个日志模板，关键字段可以包括应用版本号、时间、IP地址等信息。

为了将至少一个格式不同的日志转化为格式统一的日志，按照每个数据源相应的日志模板，将每个异构数据源中的已经采集到的待处理日志，按照每个异构数据源对应的日志模板，转化为符合日志模板的标准日志。在一个具体的实现过程中，转化过程可以包括：

从日志模板中获取关键字段；

按照日志模板中的关键字段，在待处理日志中查找与关键字段相匹配的信息；

根据查找到的信息，对日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若待处理日志中包含有日志模板中未出现的其他关键字段，整合待处理日志的其他字段添加至日志模板中，并对相应的其他关键字段进行重构；

生成标准日志。

具体地，模板中设置有关键字段，关键字段可以只有一个，也可以有多个。例如，应用软件名称、使用时间、软件版本号、访问日期等。按照一一对应的关系，在待处理日志中查找与日志模板中的关键字段相匹配的信息，然后，将从待处理日志中查找到的信息，对日志模板中与查找到的信息对饮的关键字段进行赋值或者重构，可以理解的是，将待处理日志中的关键字段中的内容添加至日志模板中，生成标准日志。

需要说明的是，在本发明实施例中，每个待处理的日志均对应一个标准日志。

因不同应用产生的日志内容是不用的，若每个待处理的日志中含有与日志模板中规定的关键字段不相关的内容时，既可以选择忽略该内容，也可以在日志模板中作为默认字段处理，或者根据日志源对日志模板中的关键字段进行重构。可以理解的是，若待处理日志中包含有日志模板中未出现的其他关键字段，且该其他关键字段是需要处理的字段，则将其他关键字段添加至日志模板中，并从待处理日志中查找到与其他关键字段对应的信息，对其他关键字段进行重构。

103、将转化得到的所有标准日志输入到相应的工作流进行解析。

在本发明实施例中，日志解析过程中利用控制器或者调度器作为执行主体，在控制器或者调度器中设置有至少一个工作流，根据不用名字的工作流执行不同的工作流程。具体地，每个工作流中均包括开始节点、结束节点、中断节点以及任务节点。其中，在每个工作流中，开始节点、结束节点、中断节点均有一个，任务节点为整个工作流的核心，包含了业务数据之间的逻辑处理关系，因此，任务节点可以设置有一个或者多个。例如，在一个具体的实现过程中，任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

其中，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。

可以理解的是，正确执行跳转进程是指任务处理完毕后将要进行的下一个流程。错误执行跳转进程是对错误进行中断，用于后续的错误查询。任务必要性确认进程该任务是否必须执行，相应的结果有两种，分别是可执行或者不执行。描述进程指的是对任务节点的描述。错误报警进程指的是任务执行过程中出现错误或者失败时的流程，是否进行报警提示，报警提示可以采用短信或者邮件的方式进行提示。

需要说明的是，在本发明实施例中，当节点任务执行完毕后，通过回调的方式触发下一个任务的执行或计算。

104、输出解析结果。

待处理日志经过转化变成标准日志后，在工作流中进行解析，获得相应的结果，在本发明实施例中，输出的解析结果可以进行存储，例如，存储在只读存储器中。

输出解析结果的设备可以是显示器、处理器等能够将解析的结果进行呈现的任意一种设备。

可以理解的是，应用可以是安装在终端上的应用程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本发明实施例对此不进行限定。

需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(Personal Computer，PC)、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3播放器、MP4播放器等。

本发明实施例提供的日志解析方法，通过从各异构数据源中采集待处理日志，然后根据日志模板，将已采集到的待处理日志转化为符合日志模板的标准日志，用于对日志中的内容进行解析，接下来将转化得到的标准日志输入到相应的工作流中进行调度与解析，得到相应的解析结果，输出解析的结果可以显示出各异构数据源中待处理日志中记录的内容之间的逻辑关系，有利于对日志进行统一的分析、调度以及管理，同时，由于采用统一的格式对日志进行解析，简化的解析过程，弱化了不同日志源的日志之间的异构性，解决了现有技术中采用的分别独立解析方式则无法体现出若干个日志之间的关系，且解析过程复杂的问题。

实施例二

图3为本发明实施例提供的日志解析装置实施例一的结构示意图，如图3所示，本实施例的日志解析装置可以包括：采集模块11、转化模块12、解析模块13和输出模块14。

采集模块11，用于从各异构数据源采集待处理日志。

转化模块12，将每个异构数据源中的待处理日志按照每个异构数据源对应的日志模板，将每个异构数据源中的待处理日志转化为标准日志。

解析模块13，用于将转化模块12转化得到的所有标准日志输入到相应的工作流进行调度与解析。

输出模块14，用于输出解析模块13解析的结果。

在一个具体的实现过程中，转化模块12，具体用于：

从日志模板中获取关键字段；

按照日志模板中的关键字段，在待处理日志中查找与关键字段相匹配的信息；

根据查找到的信息，对日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若待处理日志中包含有日志模板中未出现的其他关键字段，整合待处理日志的其他字段添加至日志模板中，并对相应的其他关键字段进行重构；

生成标准日志。

在一个具体的实现过程中，工作流包括开始节点、结束节点、中断节点以及任务节点。

在一个具体的实现过程中，任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

在一个具体的实现过程中，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种日志解析方法，其特征在于，所述方法包括：

从各异构数据源采集待处理日志；

将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志；

将转化得到的所有所述标准日志输入到相应的工作流进行调度与解析；

输出解析结果。

2.根据权利要求1所述的方法，其特征在于，所述将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志，包括：

从所述日志模板中获取关键字段；

按照所述日志模板中的所述关键字段，在所述待处理日志中查找与所述关键字段相匹配的信息；

根据查找到的信息，对所述日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若所述待处理日志中包含有所述日志模板中未出现的其他关键字段，整合所述待处理日志的所述其他字段添加至所述日志模板中，并对相应的所述其他关键字段进行重构；生成所述标准日志。

3.根据权利要求2所述的方法，其特征在于，所述工作流包括开始节点、结束节点、中断节点以及任务节点。

4.根据权利要求3所述的方法，其特征在于，所述任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

5.根据权利要求4所述的方法，其特征在于，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。

6.一种日志解析装置，其特征在于，所述装置包括：

采集模块，用于从各异构数据源采集待处理日志；

转化模块，将每个所述异构数据源中的所述待处理日志按照每个所述异构数据源对应的日志模板，将每个所述异构数据源中的所述待处理日志转化为标准日志；

解析模块，用于将转化得到的所有所述标准日志输入到相应的工作流进行调度与解析；

输出模块，用于输出解析结果。

7.根据权利要求6所述的装置，其特征在于，所述转化模块，具体用于：

从所述日志模板中获取关键字段；

按照所述日志模板中的所述关键字段，在所述待处理日志中查找与所述关键字段相匹配的信息；

根据查找到的信息，对所述日志模板中与查找到的信息对应的关键字段进行赋值或者重构；

若所述待处理日志中包含有所述日志模板中未出现的其他关键字段，整合所述待处理日志的所述其他字段添加至所述日志模板中，并对相应的所述其他关键字段进行重构；

生成所述标准日志。

8.根据权利要求7所述的装置，其特征在于，所述工作流包括开始节点、结束节点、中断节点以及任务节点。

9.根据权利要求8所述的装置，其特征在于，所述任务节点包括认证进程、加载进程、去重进程、事件计数进程、逻辑梳理进程以及重处理进程六类任务节点中的至少一个或多个。

10.根据权利要求9所述的装置，其特征在于，每个任务节点包括正确执行跳转进程、错误执行跳转进程、任务必要性确认进程、描述进程、错误报警进程五种进程中的一个或多个。