CN113239007B - 多层次异构日志事务分析方法、系统、设备和存储介质 - Google Patents

Abstract

本发明公开了一种多层次异构日志事务分析方法、系统、设备和存储介质，方法包括录入日志文件配置数据表、日志格式化提取配置表、事务识别配置表、错误告警与修复建议关联配置表的信息，启动日志收集，日志过滤及格式化，启动预警及错误与修复建议关联，启动格式化结果输出服务，将事务信息输出给用户；系统包括数据仓库、分析配置数据库和各服务模块。本发明能够解决多层次调用的业务系统运行过程中，根据所产生的多个层次应用接口大量冗杂的日志中进行快速事务分析提取，明确各个层次调用关系的开发人员进行错误定位。方便外派人员到现场处理故障人员拷贝分析日志和排查问题。具有可配置的扩展性，能够最大程度适应各个厂商的日志分析。

Description

多层次异构日志事务分析方法、系统、设备和存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种多层次异构日志事务分析方法、系统、设备和存储介质。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术或先有技术。

对于事务应用系统，首先，目前基于日志分析的故障定位方法及装置，如专利CN105930348A，存在不足的地方有：1.主要用于分析故障定位，缺少事务流程的分析，且没有相关的故障修复建议。主要面向对象单一厂商系统的软件。2.缺乏灵活性，分析故障基于固定位置的日志数据信息。提取的信息都是程序事先编写好的。3.分析过程中没有涉及到上层应用及最底层的硬件日志信息。

其次，目前事务应用系统绝大部分涉及到各个不同厂商的软硬件部件，例如ATM应用系统中，参见图6，ATMC来自厂商A、金融服务扩展接口来自厂商B、SP(服务提供者)来自厂商C、硬件来自厂商D。各个部件运行过程中都会产生日志，这个日志的格式与存放位置都不同。整个系统的正常工作来源于各个部件的正常运行。

若其中任何一个系统处故障必然会导致系统无法提供服务。对于系统故障的排查分析也涉及到各个厂商，需要通过人工拷贝收集各个厂商的部件日志，日志数据面临分散、量大、格式不一致等问题导致繁琐且容易出错，收集后需要自上而下进行分析，厂商A分析处故障点位置需要进一步提交厂商B分析，厂商B分析到故障点后有提交给厂商C分析处理，如此分析过程冗长且消耗时间长。从而大大降低系统维护的处理效率，降低客户对故障处理的满意度。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种多层次异构日志事务分析方法、系统、设备和存储介质，其能解决上述问题。技术方案如下。

一种可配置的多层次异构日志事务分析方法，方法包括：

录入日志文件配置数据表、日志格式化提取配置表、事务识别配置表、错误告警与修复建议关联配置表的信息；

启动日志收集，服务读入日志文件配置数据表，并根据其配置逐级收集日志数据文件放入数据仓库；

日志过滤及格式化，将提取的日志自上而下进行过滤清洗，再按照时间的先后顺序排序，格式化后存入数据仓库；

启动预警及错误与修复建议关联，读入错误与修复关联表，根据关联表配置识别出异常事务流程，并且给出相应的修复建议；

启动格式化结果输出服务，将事务信息输出给用户。

本发明还提供了一种可配置的多层次异构日志事务分析系统，系统包括：

数据仓库，数据仓库存放各个服务模块输入及输出的日志数据，日志数据包括各层级的原始日志数据、过滤及格式化的日志数据、以及分析提取事务数据；

分析配置数据库，分析配置数据库负责为日志收集服务、过滤及格式化服务、事务分析提取服务、预警及错误与修复建议关联服务建立相应配置表以提供分析依据；

日志收集服务模块，该服务模块收集各个调用层级输出的原始日志数据并汇集到数据仓库中；

过滤及格式化服务模块，该服务模块将数据仓库中的日志按层次自上而下逐级过滤提取，然后自上而下按照时间戳的先后顺序形成记录并放入格式化的数据仓库；

事务分析提取服务模块，该服务模块从日志数据格式化的数据仓库中分析提取交易事务，形成交易事务数据；

预警及错误与修复建议管理服务模块，该服务模块分析带有异常错误的交易事务并对该类信息插入相关的错误及建议描述；

输出服务模块，该服务模块负责将结果输出。

本发明还提供了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条计算机指令，所述计算机指令适于由处理器加载并执行前述多层次异构日志事务分析方法。

本发明还提供了一种计算机可读存储介质，其中存储有计算机指令，所述计算机指令适于由终端设备的处理器加载并执行前述的多层次异构日志事务分析方法。

相比现有技术，本发明的有益效果在于：本发明能够解决多层次调用的业务系统运行过程中，根据所产生的多个层次应用接口大量冗杂的日志中进行快速事务分析提取，明确各个层次调用关系的开发人员进行错误定位。方便外派人员到现场处理故障人员拷贝分析日志和排查问题。具有可配置的扩展性，能够最大程度适应各个厂商的日志分析。

附图说明

图1为本发明多层次异构日志事务分析方法流程示意图；

图2为分析方法及系统中的数据流示意图；

图3为本发明多层次异构日志事务分析系统各组成单元的示意图；

图4为数据仓库的日志处理流程示意图；

图5为分析配置数据库的示意图；

图6为现有事务应用系统示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

第一实施例

一种可配置的多层次异构日志事务分析方法，参见图1，方法的分析主要流程包括：

步骤S1、录入日志文件配置数据表、日志格式化提取配置表、事务识别配置表、错误告警与修复建议关联配置表的信息；

步骤S2、启动日志收集，服务读入日志文件配置数据表，并根据其配置逐级收集日志数据文件放入数据仓库；

步骤S3、日志过滤及格式化，将提取的日志自上而下进行过滤清洗，再按照时间的先后顺序排序，格式化后存入数据仓库；

步骤S4、启动预警及错误与修复建议关联，读入错误与修复关联表，根据关联表配置识别出异常事务流程，并且给出相应的修复建议；

步骤S5、启动格式化结果输出服务，将事务信息输出给用户。

其中，步骤S5的输出服务中提供包含错误和修复建议的可视化和/或报告给用户。

参见图2的数据流示意图，日志收集服务读取日志文件复制配置表然后根据配置表去获取日志配置文件，将日志文件按层次放入数据仓库。下一步过滤及格式化服务读取日志格式化提取配置表，然后根据配置表将提取的日志自上而下进行过滤清洗后按照时间的先后顺序排序并格式化存入数据仓库，下一步事务分析提取模块服务读取分析数据库根据配置信息从格式化的日志数据仓库中分析提取其交易事务，形成交易事务数据。下一步预警及错误与修复建议管理服务读取分析数据库根据配置信息分析其中的带有异常错误的交易事务并对该类信息插入相关的错误及建议描述。最后交给输出服务将结果输出。

第二实施例

一种可配置的多层次异构日志事务分析系统，参见图3系统各组成单元的示意图，系统包括：数据仓库、分析配置数据库、日志收集服务模块、过滤及格式化服务模块、事务分析提取服务模块、预警及错误与修复建议管理服务模块、和输出服务模块，具体如下。

数据仓库，数据仓库存放各个服务模块输入及输出的日志数据，日志数据包括各层级的原始日志数据、过滤及格式化的日志数据、以及分析提取事务数据。

分析配置数据库，分析配置数据库负责为日志收集服务、过滤及格式化服务、事务分析提取服务、预警及错误与修复建议关联服务建立相应配置表以提供分析依据。

日志收集服务模块，该服务模块收集各个调用层级输出的原始日志数据并汇集到数据仓库中。

过滤及格式化服务模块，该服务模块将数据仓库中的日志按层次自上而下逐级过滤提取，然后自上而下按照时间戳的先后顺序形成记录并放入格式化的数据仓库。

事务分析提取服务模块，该服务模块从日志数据格式化的数据仓库中分析提取交易事务，形成交易事务数据。

预警及错误与修复建议管理服务模块，该服务模块分析带有异常错误的交易事务并对该类信息插入相关的错误及建议描述。

输出服务模块，该服务模块负责将结果输出。

参见图4，其中，各服务模块将数据分析过程中会产生相关数据输入所述数据仓库，下一层级的服务模块调取数据仓库中存储的上一层级服务模块的数据作为输入进行数据处理和分析，最后一层级的输出服务模块提供可视化数据和/或报告作为输出结果。具体的，系统中各服务模块与数据仓库的关系如下。

日志收集服务模块将收集到的原始日志数据按层次放入数据仓库中；过滤及格式化服务模块将日志数据作为输入处理后产生格式化数据放入数据仓库中，事务分析提取模块服务将格式化数据作为输入处理后产生事务数据并放入数据仓库。预警及错误与修复建立关联服务将事务数据作为输入处理后生成关联事务数据并放入数据仓库。最后输出服务将关联事务数据作为输入然后产生输出报告。

参见图5，所述分析配置数据库，用于建立的配置表包括日志收集配置数据表、日志格式化提取配置表、事务识别配置表和错误与修复关联表；各表内容具体如下。

所述日志收集配置数据表记录了日志收集的方式、收集的目录和日志的层级。

所述日志格式化提取配置表记录了日志时间错、内容的格式及需捕获的各个格式内容。

所述事务识别配置表记录了从提取的日志数据中获取其中事务交易的流程。

所述错误与修复关联表记录了异常交易记录中关联的错误及建议描述。

第三实施例

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条计算机指令，所述计算机指令适于由处理器加载并执行第一实施例所述的多层次异构日志事务分析方法。其中，所述方法请参见前述部分的详细介绍，此处不再赘述。

第四实施例

一种计算机可读存储介质，其中存储有计算机指令，所述计算机指令适于由终端设备的处理器加载并执第一实施例的多层次异构日志事务分析方法。其中，所述方法请参见前述部分的详细介绍，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种可配置的多层次异构日志事务分析方法，其特征在于，方法包括：

录入日志文件配置数据表、日志格式化提取配置表、事务识别配置表、错误告警与修复建议关联配置表的信息；

启动日志收集，服务读入日志文件配置数据表，并根据其配置逐级收集日志数据文件放入数据仓库；

日志过滤及格式化，将提取的日志自上而下进行过滤清洗，再按照时间的先后顺序排序，格式化后存入数据仓库；

启动预警及错误与修复建议关联，读入错误与修复关联表，根据关联表配置识别出异常事务流程，并且给出相应的修复建议；

启动格式化结果输出服务，将事务信息输出给用户。

2.根据权利要求1所述的方法，其特征在于：输出服务中提供包含错误和修复建议的可视化和/或报告给用户。

3.一种可配置的多层次异构日志事务分析系统，其特征在于，系统包括：

数据仓库，数据仓库存放各个服务模块输入及输出的日志数据，日志数据包括各层级的原始日志数据、过滤及格式化的日志数据、以及分析提取事务数据；

分析配置数据库，分析配置数据库负责为日志收集服务、过滤及格式化服务、事务分析提取服务、预警及错误与修复建议关联服务建立相应配置表以提供分析依据；

日志收集服务模块，该服务模块收集各个调用层级输出的原始日志数据并汇集到数据仓库中；

过滤及格式化服务模块，该服务模块将数据仓库中的日志按层次自上而下逐级过滤提取，然后自上而下按照时间戳的先后顺序形成记录并放入格式化的数据仓库；

事务分析提取服务模块，该服务模块从日志数据格式化的数据仓库中分析提取交易事务，形成交易事务数据；

预警及错误与修复建议管理服务模块，该服务模块分析带有异常错误的交易事务并对该类信息插入相关的错误及建议描述；

输出服务模块，该服务模块负责将结果输出。

4.根据权利要求3所述的系统，其特征在于：各服务模块将数据分析过程中会产生相关数据输入所述数据仓库，下一层级的服务模块调取数据仓库中存储的上一层级服务模块的数据作为输入进行数据处理和分析，最后一层级的输出服务模块提供可视化数据和/或报告作为输出结果。

5.根据权利要求4所述的系统，其特征在于：系统中各服务模块与数据仓库的关系为：日志收集服务模块将收集到的原始日志数据按层次放入数据仓库中；过滤及格式化服务模块将日志数据作为输入处理后产生格式化数据放入数据仓库中，事务分析提取模块服务将格式化数据作为输入处理后产生事务数据并放入数据仓库；预警及错误与修复建立关联服务将事务数据作为输入处理后生成关联事务数据并放入数据仓库；最后输出服务将关联事务数据作为输入然后产生输出报告。

6.根据权利要求3所述的系统，其特征在于：对于所述分析配置数据库建立配置表包括日志收集配置数据表、日志格式化提取配置表、事务识别配置表和错误与修复关联表；

所述日志收集配置数据表记录了日志收集的方式、收集的目录和日志的层级；

所述日志格式化提取配置表记录了日志时间错、内容的格式及需捕获的各个格式内容；

所述事务识别配置表记录了从提取的日志数据中获取其中事务交易的流程；

所述错误与修复关联表记录了异常交易记录中关联的错误及建议描述。

7.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条计算机指令，其特征在于：所述计算机指令适于由处理器加载并执行权利要求1或2所述的多层次异构日志事务分析方法。

8.一种计算机可读存储介质，其中存储有计算机指令，其特征在于，所述计算机指令适于由终端设备的处理器加载并执行权利要求1或2所述的多层次异构日志事务分析方法。