CN113485891A - 业务日志监控方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明提供了一种业务日志监控方法、装置、存储介质及电子设备，该方法包括：当业务采集组件向消息队列上传业务日志时，对其进行分片处理获取各个分片数据；读取每个分片数据中业务数据的交易ID，以获得每个业务数据的业务请求来源及业务请求目的；基于监控指标，去除无效的业务数据获得有效业务数据；基于每个有效业务数据的业务请求来源以及业务请求目的，确定各个有效业务数据间的调用关系，生成业务日志对应的回环数据；分析回环数据，获得业务核心指标；判断业务日志是否符合业务日志监控规则；若不符合，则进行报警处理。应用该方法，可以对应用服务器中每次新增的业务日志进行分析和处理，及时发现发现应用服务器发现异常的业务日志。

Description

业务日志监控方法、装置、存储介质及电子设备

技术领域

本发明涉及数据处理技术领域，特别是涉及一种业务日志监控方法、装置、存储介质及电子设备。

背景技术

在各种应用设备和系统的运行过程中，为提高系统性能以及用户体验，需要对系统中的关键业务进行监控、测试以及优化等一系列操作。随着民航信息系统的快速发展，民航信息系统主要是应用分布式开放式系统执行大量的核心交易业务，因此对分布式开放系统中的应用进行监控也尤为重要。

现有技术中的监控方式通常都是针对单一的服务或部署，针对服务器整体进行监控，以确定服务器在执行交易业务时过程中是否发生异常。但是在庞大的分布式开放系统中，某个服务器该发生异常时，很难定位到该服务器中哪个业务导致异常的发生，因此无法故障的来源，需要维护人员逐一排查服务器内产生的每个业务日志，导致对故障进行定位的效率十分低下。

发明内容

有鉴于此，本发明提供一种业务日志监控方法，通过该方法，可以对应用服务器中每次新增的业务日志进行分析和处理，及时发现发现应用服务器发现异常的业务日志。技术方案如下：

一种业务日志监控方法，包括：

当检测到预先设置的业务采集组件向预先设置的消息队列上传业务日志时，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据；所述业务日志中包含多个业务数据，每个所述分片数据包含至少一个业务数据；

读取每个所述分片数据中每个业务数据的交易ID，并基于每个所述业务数据的交易ID，识别每个所述业务数据的业务请求来源以及业务请求目的；

基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据；

基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，并基于所述各个所述有效业务数据之间的调用关系，生成所述业务日志对应的回环数据；

分析所述回环数据，获得所述业务日志对应的业务核心指标；

基于所述业务核心指标，判断所述业务日志是否符合预设的业务日志监控规则；

若所述业务日志不符合所述业务监控规则，则对所述业务日志进行报警处理。

上述的方法，可选的，所述对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据，包括：

识别所述消息队列中已设定的各个读取通道；

确定所述消息队列中各个所述读取通道的个数，并以各个所述读取通道的个数作为分片的个数，对所述业务日志中进行分片处理，获得所述业务日志对应的各个分片数据；其中，每个所述读取通道对应一个分片数据；

经由所述消息队列中的各个读取通道，读取每个所述读取通道对应的分片数据。

上述的方法，可选的，所述基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据，包括：

获取所述监控指标中已设定的标准业务请求来源以及标准业务请求目的；

对于每个所述分片数据中的每个业务数据，判断所述业务数据的业务请求来源及业务请求目的，是否符合所述标准业务请求来源及标准业务请求目的；若所述业务数据的业务请求来源及业务请求目的，符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为有效业务数据；若存在任意的业务数据的请求来源及业务请求目的，不符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为无效业务数据；

去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据。

上述的方法，可选的，所述基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，包括：

对于所述业务日志中每个所述有效业务数据，确定所述有效业务数据的业务请求目的为目标业务请求目的；在所述业务日志中，查找业务请求来源与所述目标业务请求目的一致的所有有效业务数据，并将所述目标业务请求目的与其一致的各个业务请求来源进行关联，形成所述目标业务请求目的对应的有效业务数据与其他已关联的有效业务数据之间的调用关系。

上述的方法，可选的，还包括：

基于所述回环数据，生成各个所述有效业务数据对应的调用链；

在预先设置的展示界面上展示所述调用链，所述调用链包含多个节点，各个所述节点与各个所述有效业务节点一一对应。

一种业务日志监控装置，包括：

分片单元，用于当检测到预先设置的业务采集组件向预先设置的消息队列上传业务日志时，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据；所述业务日志中包含多个业务数据，每个所述分片数据包含至少一个业务数据；

识别单元，用于读取每个所述分片数据中每个业务数据的交易ID，并基于每个所述业务数据的交易ID，识别每个所述业务数据的业务请求来源以及业务请求目的；

处理单元，用于基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据；

确定单元，用于基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，并基于所述各个所述有效业务数据之间的调用关系，生成所述业务日志对应的回环数据；

分析单元，用于分析所述回环数据，获得所述业务日志对应的业务核心指标；

判断单元，用于基于所述业务核心指标，判断所述业务日志是否符合预设的业务日志监控规则；

报警单元，用于若所述业务日志不符合所述业务监控规则，则对所述业务日志进行报警处理。

上述的装置，可选的，所述分片单元，包括：

识别子单元，用于识别所述消息队列中已设定的各个读取通道；

第一处理子单元，用于确定所述消息队列中各个所述读取通道的个数，并以各个所述读取通道的个数作为分片的个数，对所述业务日志中进行分片处理，获得所述业务日志对应的各个分片数据；其中，每个所述读取通道对应一个分片数据；

读取子单元，用于经由所述消息队列中的各个读取通道，读取每个所述读取通道对应的分片数据。

上述的装置，可选的，所述处理单元，包括：

获取子单元，用于获取所述监控指标中已设定的标准业务请求来源以及标准业务请求目的；

第二处理子单元，用于对于每个所述分片数据中的每个业务数据，判断所述业务数据的业务请求来源及业务请求目的，是否符合所述标准业务请求来源及标准业务请求目的；若所述业务数据的业务请求来源及业务请求目的，符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为有效业务数据；若存在任意的业务数据的请求来源及业务请求目的，不符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为无效业务数据；

过滤子单元，用于去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据。

一种存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本发明第一方面任意一项公开的业务日志监控方法。

一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如上述本发明第一方面任意一项公开的业务日志监控方法。

与现有技术相比，本发明包括以下优点：

本发明提供了一种业务日志监控方法，包括：当检测到业务采集组件向消息队列上传业务日志时，对业务日志进行分片处理，获取各个分片数据；读取每个业务数据的交易ID，并基于各个交易ID，识别每个业务数据的业务请求来源以及业务请求目的；基于监控指标，进行数据清洗，去除各个无效的业务数据，获得各个有效业务数据；基于每个有效业务数据的业务请求来源以及业务请求目的，确定各个有效业务数据之间的调用关系，并生成业务日志对应的回环数据；分析回环数据，获得业务日志对应的业务核心指标；基于业务核心指标，判断业务日志是否符合业务日志监控规则；若不符合，则对业务日志进行报警处理。应用本发明提供的方法，可以对应用服务器中每次新增的业务日志进行分析和处理，及时发现发现应用服务器发现异常的业务日志。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明式实施例提供的一种业务日志监控方法的方法流程图；

图2为本发明式实施例提供的一种业务日志监控方法的又一方法流程图；

图3为本发明式实施例提供的一种业务日志监控方法的再一方法流程图；

图4为本发明式实施例提供的一种业务日志监控方法的一示例图；

图5为本发明式实施例提供的一种业务日志监控系统的系统结构图；

图6为本发明式实施例提供的一种业务日志监控装置的装置结构图；

图7为本发明式实施例提供的一种电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本发明实施例提供了一种业务日志监控方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：

S101：当检测到预先设置的业务采集组件向预先设置的消息队列上传业务日志时，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据。

其中，所述业务日志中包含多个业务数据，每个所述分片数据包含至少一个业务数据。每个业务数据对应在应用服务器中的一次业务请求以及对请求的响应过程。

在本发明实施例中，业务采集组件部署于应用服务器中，用于对应用服务器进行实时的监控，并在监控到应用服务器上新增业务日志时，采集新增的业务日志，并上传至消息队列中。该消息队列可以是Kafka内部的消息管理队列、分布式应用程序协调服务Zookeeper或高性能的key-value数据库Redis等，本发明中主要以Kafka作为管理业务日志的消息队列。

需要说明的是，业务日志中的每个业务数据分为三个部分：控制头、扩展区、内容区。每部分都以字符“0x0A”结尾。控制头和扩展区均不得含有字符“0x0A”和字符串“[#％&*^]”。如果扩展区或内容区缺失，仍然需要保留字符“0x0A”。控制头中包括了时间、机器信息、业务信息、交易流水号等。扩展区是一组(Key，Value)的集合，采用“Key＝Value；”形式，以“；”分隔，Key和Value成对出现的。其中关键必填Key值为Protocol，值为1-7的数字。每个数字代表了内容区记录文本的协议类型。内容区是传输的数据流。比如各个业务系统之间交互时使用某种特定协议的报文等。

还需要说明的是，在对业务日志进行分片的过程中，各个业务数据可以是随机分配到不同的分片数据中。

S102：读取每个所述分片数据中每个业务数据的交易ID，并基于每个所述业务数据的交易ID，识别每个所述业务数据的业务请求来源以及业务请求目的。

在本发明实施例中，在业务日志中包含了多个请求对应的业务数据，例如访问请求、查询请求以及状态请求等。每一个请求对应的ID均为每个业务数据对应的交易ID。同时，每个业务数据中均包含每个请求对应的业务请求来源和业务请求目的，通过业务数据的交易ID，识别出业务数据内的协议信息，并通过协议信息识别出业务数据的业务请求来源和业务请求目的。

S103：基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据。

在本发明实施例中，该监控指标是对业务数据进行过滤的过滤条件。根据该过滤条件对分别对每个分片数据中的各个业务数据进行过滤，筛选出不符合过滤条件的业务数据作为无效的业务数据剔除，剩下的各个业务数据则为有效业务数据。

S104：基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，并基于所述各个所述有效业务数据之间的调用关系，生成所述业务日志对应的回环数据。

在本发明实施例中，通过每个有效业务数据的业务请求来源以及业务请求目的，对各个业务数据进行上下文匹配，确定每个业务数据之间的调用关系，以此生成该业务日志对应的回环数据。

S105：分析所述回环数据，获得所述业务日志对应的业务核心指标。

在本发明实施例中，分析该回环数据，确定业务日志对应的上下文之间每个业务请求之间的请求成功率或者对应每个请求进行响应的响应时间。

具体的，该业务核心指标指的是各个业务数据对应的业务请求的请求成功率或者请求响应时间。

S106：基于所述业务核心指标，判断所述业务日志是否符合预设的业务日志监控规则。

可以理解的是，本发明实施例的业务日志监控规则是业务日志对应的业务核心指标满足设定的监控指标。通过判断业务核心指标是否满足监控指标，以确定该业务日志是否符合该业务日志监控规则。

具体的，当该业务核心指标是请求成功率时，监控指标则为成功率阈值；若请求成功率超出成功率阈值，则判定业务日志符合业务日志监控规则，反之则不符合。当业务核心指标是请求响应时间时，监控指标则为允许响应最大时间；若业务日志中任意一个业务数据对应的请求响应时间小于该允许响应最大时间，则判定业务日志符合业务日志监控规则，反之则不符合。

S107：若所述业务日志不符合所述业务监控规则，则对所述业务日志进行报警处理。

在本发明实施例中，在确定业务日志不符合业务监控规则时，可以直接确定当前发现异常的业务日志为当前监控的业务日志，并对该业务日志进行报警处理。

本发明实施例提供的业务日志监控方法中，在检测到业务采集组件向消息队列上传业务日志时，对业务日志进行分片处理后从该消息队列中获取该业务日志对应的各个分片数据。由于业务日志中包含多个业务数据，对业务日志进行分片处理后，每个分片数据中包含至少一个业务数据。读取每个业务数据的交易ID，并通过交易ID识别业务数据的业务请求来源以及业务请求目的，再根据监控指标去除各个业务数据中的无效业务数据，获得各个有效业务数据。应用每个有效业务数据的业务请求来源以及业务请求目的，确定每个有效业务数据之间的调用关系，形成该业务日志对应的回环数据。分析该回环数据，判断该业务日志是否符合业务日志监控规则，若不符合则进行报警处理。

应用本发明实施例提供的方法，对业务日志进行分片，可以快速读取消息队列中的各个业务数据。同时，通过确定各个业务数据之间的调用关系，以形成该业务日志对应的上下文关系，并根据该上下文的业务核心指标，确定该业务日志是否会造成服务器发生异常，提前对业务日志进行处理后能够进行及时的报警处理。

本发明实施例提供的方法中，基于上述S101的内容，在业务采集组件将业务日志上传至消息队列中后，对该消息队列中的业务日志进行分片处理，具体的，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据的过程如图2所示，可以包括：

S201：识别所述消息队列中已设定的各个读取通道。

在本发明实施例中，该消息队列中的读取通道可以根据实际应用场景进行设置。对于业务数据量大的业务日志，该消息队列中读取通道设置的数量越多，对分片数据的读取就越快。

S202：确定所述消息队列中各个所述读取通道的个数，并以各个所述读取通道的个数作为分片的个数，对所述业务日志中进行分片处理，获得所述业务日志对应的各个分片数据。

其中，每个所述读取通道对应一个分片数据。

在本发明实施例中，以读取通道的通道个数作为对业务日志进行分片的个数，并按照该分片个数，随机对业务日志进行分片处理，使得每个分片数据中包含至少一个业务数据。

S203：经由所述消息队列中的各个读取通道，读取每个所述读取通道对应的分片数据。

在本发明实施例中，当需要对业务日志进行处理时，需要获取消息队列中的各个分片数据，以获得完整的业务日志。其中，可以设置多个数据读取线程，每个数据读取线程分别对应该消息队列中的一个读取通道，同时读取每个读取通道对应的分片数据。

本发明实施例提供的业务日志监控方法中，业务采集组将业务日志上传至该消息队列后，识别该消息队列内已设置的各个读取通道，并确定读取通道的个数，以消息队列中读取通道的个数作为对业务日志进行分片处理后分片数据的个数，按照该读取通道的个数对业务日志进行分片处理，获得各个分片数据。该消息队列中的各个分片数据与各个读取通道一一对应。当需要对业务日志进行处理时，从各个读取通道中读取该消息队列中的各个分片数据。

应用本发明实施例提供的方法，通过对业务日志进行分片处理，加快对业务日志的读取过程。

进一步地，在本发明中，读取消息队列中各个分片数据的过程，具体还可以包括：

确定各个分片数据的读取顺序，并按照读取顺序依次读取各个分片数据。其中，在读取当前的分片数据时，获取当前的分片数据对应的起始偏移量和结束偏移量。判断当前的分片数据是否首个分片数据，若是首个分片数据，则将该结束偏移量作为下一个分片数据的起始偏移量。若非首个分片数据，则判断是否为业务日志的最后一个分片数据；若是最后一个分片数据，则记录结束偏移量，并将该结束偏移量作为历史偏移量存入临时存储单元中，以该历史偏移量作为下一个业务日志的首个分片数据的初始偏移量。本发明实施例通过同时读取偏移量的方式读取分片数据，以保证分片数据之间的连续性。

本发明实施例提供的方法中，基于上述S103的内容，在对业务日志内的各个业务数据进行处理的过程中，需要应用监控指标对各个业务数据进行数据清洗。其中，所述基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据的过程如图3所示，具体可以包括：

S301：获取所述监控指标中已设定的标准业务请求来源以及标准业务请求目的。

本发明中，标准业务请求来源和标准业务请求目的可以是用户按照实际工作条件进行设置。

例如，若设定标准业务请求来源的为仅处理系统A的业务，则在对业务数据进行过滤时，过滤除业务请求来源是系统A之外的其他系统的业务数据。若设定标准业务请求来源为仅处理出系统A之外的所有系统的业务，则对业务数据进行过滤时，仅过滤业务请求来源为系统A的业务数据。

S302：对于每个业务数据，判断所述业务数据的业务请求来源及业务请求目的，是否符合所述标准业务请求来源及标准业务请求目的；若是，则执行S303；若否，则执行S304。

在本发明中，对于每个分片数据中的每个业务数据，均执行S302的过程。

S303：确定所述分片数据中的各个业务数据均为有效业务数据。

S304：确定所述业务数据为无效业务数据，并执行S305。

S305：去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据。

本发明实施例提供的业务日志监控方法中，监控指标中已设定标准请求来源以及标准业务请求目的，将每个分片数据中的每个业务数据的业务请求来源与标准业务请求来源进行匹配，以及将每个业务数据的业务请求目的与标准业务请求目的进行匹配。若业务数据的业务请求来源符合标准业务请求来源，且业务数据的业务请求目的符合标准业务请求目的，则该业务数据为有效业务数据。反之，若业务数据的业务请求来源不符合标准业务请求来源，或业务数据的业务请求目的不符合标准业务请求目的，则该业务数据为无效的业务数据。在确定每个分片数据中的各个无效的业务数据后，将所有无效的业务数据进行删除。

可选的，上述S301至S305的过程可以作为对无效的业务数据进行过滤的一种设定条件，对业务数据进行过滤的监控指标除了标准业务请求来源以及标准业务请求目的之外，还可以根据具体的应用环境设置对应的过滤条件，此处将不做限定。

本发明实施例提供的方法中，基于上述S104的内容，所述基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，具体可以包括：

对于所述业务日志中每个所述有效业务数据，确定所述有效业务数据的业务请求目的为目标业务请求目的；在所述业务日志中，查找业务请求来源与所述目标业务请求目的一致的所有有效业务数据，并将所述目标业务请求目的与其一致的各个业务请求来源进行关联，形成所述目标业务请求目的对应的有效业务数据与其他已关联的有效业务数据之间的调用关系。

可以理解的是，基于每个有效业务数据的业务请求来源和业务请求目的，确定各个有效业务数据之间的调用关系，对于一个业务数据，在查找与该业务数据存在调用关系的其他业务数据的过程中，可以根据该业务数据业务请求目的查找与该业务数据存在调用关系的其他业务数据。例如，有效业务数据A的业务请求目的为目标业务请求目的，在业务日志中查找业务请求来源与该目标业务请求目的一致的有效业务数据B，以此将该有效业务数据A的目标业务请求目的与该有效业务数据B的业务请求来源关联，确定有效业务数据A与有效业务数据B之间的调用关系为有效业务数据A调用有效业务数据B。

参考图4，以上述有效业务数据A和有效业务数据B为例，有效业务数据A的一组调用信息为：请求的来源业务为MCSS_AVE_NEW，请求的目的业务为AVE_TODE2_C。有效业务数据B的一组调用信息为：请求的来源业务为AVE_TODE2_C，请求的目的业务为SEA。因此，两个有效业务数据之间的调用关系为：MCSS_AVE_NEW-->AVE_TODE2_C-->SEA-->AVE_TODE2_C-->

MCSS_AVE_NEW。图4为该调用关系的关系图。

进一步地，在每个分片数据中还可以包括每个分片数据对应的冗余数据，每个分片数据对应的冗余数据用于存储除该分片数据中的各个业务数据之外的其他业务数据。在确定各个有效业务数据之间的调用关系时，可以通过结合冗余数据实现业务日志中上下文的匹配过程。

需要说明的是，若获取到各个分片数据及其对应的冗余数据后，可以将分片数据及各个冗余数据临时存放在Spark集群的内部缓存中。

应用本发明实施例提供的方法，通过确定业务日志中各个业务数据之间的调用关系，以确定在各个业务数据之间对应的业务请求的请求成功率以及响应时间，以此判定业务日志是否为异常。

在本发明中，在确定各个有效业务数据之间的调用关系并获得回环数据后，具体还可以包括：

基于所述回环数据，生成各个所述有效业务数据对应的调用链；

在预先设置的展示界面上展示所述调用链，所述调用链包含多个节点，各个所述节点与各个所述有效业务节点一一对应。

可以理解的，将回环数据转换成调用链的形式进行展示，用户可以通过展示界面读取各个业务数据间的调用关系和业务监控指标值，该展示界面以固定的时间间隔刷新进行，准确展示业务数据的运行调用情况。

参考图5，基于上述各个实施例提供的方法，本发明提供了一种业务日志监控系统，用以实现上述的各个过程。其中，业务日志监控系统包括：

业务日志采集组件501，用于在应用服务器上部署采集程序，获取标准格式的业务日志。该组件为部署在各个业务应用服务器上的单独进程，监控应用服务器上的业务日志变化，按照预先配置的业务规则，从应用服务器上采集标准格式的业务日志，并存入消息队列。其中，该业务日志采集组件为上述S101中的日志采集组件。

业务日志分析组件502包括消息管理器、业务逻辑器和临时存储器。其中消息管理单元内部署上基于原生Hadoop或者CDH平台的Spark环境。其中，消息管理器用于管理消息队列并读取消息队列中的分片数据和偏移量，将本次读取的分片数据对应的数据偏移量作为下一次读取的开始位置。业务逻辑器，用于在消费到分片数据后，根据监控指标去除无效的数据，并按照规则对各个有效业务数据进行分析处理，梳理各个有效业务数据间的调用关系形成回环数据，并分析回环数据的业务核心指标。分析处理后的结果统一存入临时存储器。临时存储器中的数据供业务关系展示组件503和业务监控报警组件504实时调用。

业务关系展示组件503，用于实时从业务日志分析组件502的临时存储器，读取各个业务数据间的调用关系和业务核心指标，以固定的时间间隔刷新页面展示。将业务日志的运行调用情况，准确的展示在自主开发的页面大屏上。

业务监控报警组件504，用于根据业务监控规则，实时从业务日志分析组件502的临时存储器监控业务日志的分析结果，对结果进行汇总计算，判断计算结果是否满足业务监控规则。如果满足预设业务监控规则规则，则调用外部报警接口进行报警。

上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。

与图1所述的方法相对应，本发明实施例还提供了一种业务日志监控装置，用于对图1中方法的具体实现，本发明实施例提供的业务日志监控装置可以应用计算机终端或各种移动设备中，其结构示意图如图6所示，具体包括：

分片单元601，用于当检测到预先设置的业务采集组件向预先设置的消息队列上传业务日志时，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据；所述业务日志中包含多个业务数据，每个所述分片数据包含至少一个业务数据；

识别单元602，用于读取每个所述分片数据中每个业务数据的交易ID，并基于每个所述业务数据的交易ID，识别每个所述业务数据的业务请求来源以及业务请求目的；

处理单元603，用于基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据；

确定单元604，用于基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，并基于所述各个所述有效业务数据之间的调用关系，生成所述业务日志对应的回环数据；

分析单元605，用于分析所述回环数据，获得所述业务日志对应的业务核心指标；

判断单元606，用于基于所述业务核心指标，判断所述业务日志是否符合预设的业务日志监控规则；

报警单元607，用于若所述业务日志不符合所述业务监控规则，则对所述业务日志进行报警处理。

本发明实施例提供的业务日志监控装置中，在检测到业务采集组件向消息队列上传业务日志时，对业务日志进行分片处理后从该消息队列中获取该业务日志对应的各个分片数据。由于业务日志中包含多个业务数据，对业务日志进行分片处理后，每个分片数据中包含至少一个业务数据。读取每个业务数据的交易ID，并通过交易ID识别业务数据的业务请求来源以及业务请求目的，再根据监控指标去除各个业务数据中的无效业务数据，获得各个有效业务数据。应用每个有效业务数据的业务请求来源以及业务请求目的，确定每个有效业务数据之间的调用关系，形成该业务日志对应的回环数据。分析该回环数据，判断该业务日志是否符合业务日志监控规则，若不符合则进行报警处理。

应用本发明实施例提供的装置，可以对应用服务器中每次新增的业务日志进行分析和处理，及时发现发现应用服务器发现异常的业务日志。

本发明实施例提供的装置中，所述分片单元601，包括：

识别子单元，用于识别所述消息队列中已设定的各个读取通道；

第一处理子单元，用于确定所述消息队列中各个所述读取通道的个数，并以各个所述读取通道的个数作为分片的个数，对所述业务日志中进行分片处理，获得所述业务日志对应的各个分片数据；其中，每个所述读取通道对应一个分片数据；

读取子单元，用于经由所述消息队列中的各个读取通道，读取每个所述读取通道对应的分片数据。

本发明实施例提供的装置中，所述处理单元603，包括：

获取子单元，用于获取所述监控指标中已设定的标准业务请求来源以及标准业务请求目的；

第二处理子单元，用于对于每个所述分片数据中的每个业务数据，判断所述业务数据的业务请求来源及业务请求目的，是否符合所述标准业务请求来源及标准业务请求目的；若所述业务数据的业务请求来源及业务请求目的，符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为有效业务数据；若存在任意的业务数据的请求来源及业务请求目的，不符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为无效业务数据；

过滤子单元，用于去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据。

本发明实施例提供的装置中，所述确定单元604，包括：

确定子单元，用于对于所述业务日志中每个所述有效业务数据，确定所述有效业务数据的业务请求目的为目标业务请求目的；在所述业务日志中，查找业务请求来源与所述目标业务请求目的一致的所有有效业务数据，并将所述目标业务请求目的与其一致的各个业务请求来源进行关联，形成所述目标业务请求目的对应的有效业务数据与其他已关联的有效业务数据之间的调用关系。

本发明实施例提供的装置中，还包括：

展示单元，用于基于所述回环数据，生成各个所述有效业务数据对应的调用链；在预先设置的展示界面上展示所述调用链，所述调用链包含多个节点，各个所述节点与各个所述有效业务节点一一对应。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上本发明实施例公开的业务日志监控装置中各个单元及子单元的具体工作过程，可参见本发明上述实施例公开的业务日志监控方法中的对应内容，这里不再进行赘述。

本申请实施例中，该电子设备可以为服务器。

如图7所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有电子设备操作所需的各种程序和数据。处理装置701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

进一步的，本申请实施例还提供一种存储介质，该存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行上述航班销售控制方法。上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：当检测到预先设置的业务采集组件向预先设置的消息队列上传业务日志时，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据；所述业务日志中包含多个业务数据，每个所述分片数据包含至少一个业务数据；读取每个所述分片数据中每个业务数据的交易ID，并基于每个所述业务数据的交易ID，识别每个所述业务数据的业务请求来源以及业务请求目的；基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据；基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，并基于所述各个所述有效业务数据之间的调用关系，生成所述业务日志对应的回环数据；分析所述回环数据，获得所述业务日志对应的业务核心指标；基于所述业务核心指标，判断所述业务日志是否符合预设的业务日志监控规则；若所述业务日志不符合所述业务监控规则，则对所述业务日志进行报警处理。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

以上描述仅为本发明公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。

为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种业务日志监控方法，其特征在于，包括：

当检测到预先设置的业务采集组件向预先设置的消息队列上传业务日志时，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据；所述业务日志中包含多个业务数据，每个所述分片数据包含至少一个业务数据；

读取每个所述分片数据中每个业务数据的交易ID，并基于每个所述业务数据的交易ID，识别每个所述业务数据的业务请求来源以及业务请求目的；

基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据；

基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，并基于所述各个所述有效业务数据之间的调用关系，生成所述业务日志对应的回环数据；

分析所述回环数据，获得所述业务日志对应的业务核心指标；

基于所述业务核心指标，判断所述业务日志是否符合预设的业务日志监控规则；

若所述业务日志不符合所述业务监控规则，则对所述业务日志进行报警处理。

2.根据权利要求1所述的方法，其特征在于，所述对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据，包括：

识别所述消息队列中已设定的各个读取通道；

确定所述消息队列中各个所述读取通道的个数，并以各个所述读取通道的个数作为分片的个数，对所述业务日志中进行分片处理，获得所述业务日志对应的各个分片数据；其中，每个所述读取通道对应一个分片数据；

经由所述消息队列中的各个读取通道，读取每个所述读取通道对应的分片数据。

3.根据权利要求1所述的方法，其特征在于，所述基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据，包括：

获取所述监控指标中已设定的标准业务请求来源以及标准业务请求目的；

对于每个所述分片数据中的每个业务数据，判断所述业务数据的业务请求来源及业务请求目的，是否符合所述标准业务请求来源及标准业务请求目的；若所述业务数据的业务请求来源及业务请求目的，符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为有效业务数据；若存在任意的业务数据的请求来源及业务请求目的，不符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为无效业务数据；

去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据。

4.根据权利要求1所述的方法，其特征在于，所述基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，包括：

对于所述业务日志中每个所述有效业务数据，确定所述有效业务数据的业务请求目的为目标业务请求目的；在所述业务日志中，查找业务请求来源与所述目标业务请求目的一致的所有有效业务数据，并将所述目标业务请求目的与其一致的各个业务请求来源进行关联，形成所述目标业务请求目的对应的有效业务数据与其他已关联的有效业务数据之间的调用关系。

5.根据权利要求1所述的方法，其特征在于，还包括：

基于所述回环数据，生成各个所述有效业务数据对应的调用链；

在预先设置的展示界面上展示所述调用链，所述调用链包含多个节点，各个所述节点与各个所述有效业务节点一一对应。

6.一种业务日志监控装置，其特征在于，包括：

分片单元，用于当检测到预先设置的业务采集组件向预先设置的消息队列上传业务日志时，对所述业务日志进行分片处理，以从所述消息队列中获取所述业务日志对应的各个分片数据；所述业务日志中包含多个业务数据，每个所述分片数据包含至少一个业务数据；

识别单元，用于读取每个所述分片数据中每个业务数据的交易ID，并基于每个所述业务数据的交易ID，识别每个所述业务数据的业务请求来源以及业务请求目的；

处理单元，用于基于预先设置的监控指标，对所述每个所述分片数据中的各个业务数据进行数据清洗，去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据；

确定单元，用于基于每个所述有效业务数据的业务请求来源以及业务请求目的，确定所述业务日志中各个有效业务数据之间的调用关系，并基于所述各个所述有效业务数据之间的调用关系，生成所述业务日志对应的回环数据；

分析单元，用于分析所述回环数据，获得所述业务日志对应的业务核心指标；

判断单元，用于基于所述业务核心指标，判断所述业务日志是否符合预设的业务日志监控规则；

报警单元，用于若所述业务日志不符合所述业务监控规则，则对所述业务日志进行报警处理。

7.根据权利要求6所述的装置，其特征在于，所述分片单元，包括：

识别子单元，用于识别所述消息队列中已设定的各个读取通道；

第一处理子单元，用于确定所述消息队列中各个所述读取通道的个数，并以各个所述读取通道的个数作为分片的个数，对所述业务日志中进行分片处理，获得所述业务日志对应的各个分片数据；其中，每个所述读取通道对应一个分片数据；

读取子单元，用于经由所述消息队列中的各个读取通道，读取每个所述读取通道对应的分片数据。

8.根据权利要求6所述的装置，其特征在于，所述处理单元，包括：

获取子单元，用于获取所述监控指标中已设定的标准业务请求来源以及标准业务请求目的；

第二处理子单元，用于对于每个所述分片数据中的每个业务数据，判断所述业务数据的业务请求来源及业务请求目的，是否符合所述标准业务请求来源及标准业务请求目的；若所述业务数据的业务请求来源及业务请求目的，符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为有效业务数据；若存在任意的业务数据的请求来源及业务请求目的，不符合所述标准业务请求来源及标准业务请求目的，则确定所述业务数据为无效业务数据；

过滤子单元，用于去除每个所述分片数据中各个无效的业务数据，获得各个有效业务数据。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-5任意一项所述的业务日志监控方法。

10.一种电子设备，所述电子设备包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-5任意一项所述的业务日志监控方法。

Images