CN110990246A - 大规模集群部署交付日志的跟踪处理方法及装置 - Google Patents

Abstract

本发明提供了一种大规模集群部署交付日志的跟踪处理方法及装置，其中方法应用于后台服务器，按行读取底层日志文件；对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型；对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。实现了对大规模集群部署交付日志的自动跟踪处理，便于技术人员及时了解部署进度，并当日志类型为错误或警告时使技术人员及时发现并解决问题，提高了集群部署效率。

Description

大规模集群部署交付日志的跟踪处理方法及装置

技术领域

本发明涉及计算机技术领域，更具体的，涉及一种大规模集群部署交付日志的跟踪处理方法及装置。

背景技术

在大规模集群部署过程中，技术人员需要通过查看日志文件了解集群部署状态，如是否出现错误，部署进度等。

目前，有两种日志查看方式，一种方式为通过下载底层日志文件然后进行手动分析，另一种方式为通过页面端查看底层日志信息。这两种方式都需要技术人员人工分析底层日志，底层日志不易理解，对技术人员的专业性要求较高，且对日志文件进行分析需要一定的时间，影响集群部署进度。

发明内容

有鉴于此，本发明提供了一种大规模集群部署交付日志的跟踪处理方法及装置，实现了日志的自动化处理，定位部署进度和显示错误或报警日志类型。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种大规模集群部署交付日志的跟踪处理方法，应用于后台服务器，所述方法包括：

按行读取底层日志文件；

对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；

对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。

可选的，在所述按行读取底层日志文件之前，所述方法还包括：

触发执行部署脚本；

获取所述部署脚本在执行过程中产生的日志；

将获取的日志存储到所述底层日志文件中。

可选的，所述按行读取底层日志文件，包括：

调用后台服务进程，通过识别所述底层日志文件中的系统换行标识符按行读取所述底层日志文件。

可选的，在所述对日志行数据进行过滤检索之前，所述方法还包括：

对读取的日志行数据进行格式校验和完整性校验；

若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索。

可选的，所述对日志行数据进行过滤检索，得到关键信息，包括：

将通过格式校验和完整性校验的日志行数据写入管道中，并根据管道中日志行数据的顺序，按照预设规则对管道中的当前日志行数据进行过滤检索，得到表示部署进度信息的任务信息和当前日志行数据的日志类型，其中，任务信息包括任务名称和任务标识。

可选的，所述方法还包括：

建立与所述前端页面之间的长链接，通过长链接将日志行数据和所述关键信息发送至所述前端页面。

可选的，所述方法还包括：

当接收到用户的日志下载指令时，按照预设存储路径对所述底层日志文件进行下载。

可选的，所述方法还包括：

当接收到用户的重新部署指令时，重新触发执行所述部署脚本。

可选的，所述方法还包括：

当接收到用户的退出部署指令时，停止执行所述部署脚本。

一种大规模集群部署交付日志的跟踪处理装置，包括：

日志读取单元，用于按行读取底层日志文件；

过滤检索单元，用于对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；

封装发送单元，用于对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。

可选的，所述装置还包括：

部署脚本触发单元，用于触发执行部署脚本；

日志获取单元，用于获取所述部署脚本在执行过程中产生的日志，并将获取的日志存储到所述底层日志文件中。

可选的，所述日志读取单元，具体用于调用后台服务进程，通过识别所述底层日志文件中的系统换行标识符按行读取所述底层日志文件。

可选的，所述装置还包括：

数据校验单元，用于对读取的日志行数据进行格式校验和完整性校验；若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索。

可选的，所述过滤检索单元，具体用于将通过格式校验和完整性校验的日志行数据写入管道中，并根据管道中日志行数据的顺序，按照预设规则对管道中的当前日志行数据进行过滤检索，得到表示部署进度信息的任务信息和当前日志行数据的日志类型，其中，任务信息包括任务名称和任务标识。

可选的，所述装置还包括：

长链接建立单元，用于建立与所述前端页面之间的长链接，通过长链接将日志行数据和所述关键信息发送至所述前端页面。

可选的，所述装置还包括：

日志下载单元，用于当接收到用户的日志下载指令时，按照预设存储路径对所述底层日志文件进行下载。

可选的，所述部署脚本触发单元，还用于当接收到用户的重新部署指令时，重新触发执行所述部署脚本。

可选的，所述部署脚本触发单元，还用于当接收到用户的退出部署指令时，停止执行所述部署脚本。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种大规模集群交付日志的跟踪处理方法，自动读取底层日志文件，通过对日志行数据进行过滤检索，得到包括部署进度信息和日志类型的关键信息，并通过将日志行数据和关键信息进行封装后发送至前端页面，使前端页面可以显示部署进度信息和日志类型，便于技术人员及时了解部署进度，并当日志类型为错误或警告时使技术人员及时发现并解决问题，提高了集群部署效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种大规模集群部署交付日志的跟踪处理方法的流程示意图；

图2为本发明实施例公开的一种大规模集群部署交付日志的跟踪处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例公开了一种大规模集群部署交付日志的跟踪处理方法，应用于后台服务器，请参阅图1，该方法具体包括如下步骤：

S101：按行读取底层日志文件；

其中，在集群部署过程中需要触发执行部署脚本，部署脚本在运行过程中产生日志，为了便于后续查看处理日志，将部署脚本产生的日志存储到底层日志文件中。

具体的，调用后台服务进程，通过识别底层日志文件中的系统换行标识符识别日志行数据，并按行读取底层日志文件。

进一步，为了确保后续处理的日志行数据为正常文本类型文件数据，对读取的日志行数据进行格式校验和完整性校验，若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索，若日志行数据通过格式校验和完整性校验时，对日志行数据进行后续的过滤检索操作。

其中，格式校验可以通过判断日志行数据的格式是否为预先设定的格式，如判断日志行数据是否为正常的文本类型数据，若为正常的文本类型数据，则判定日志行数据通过格式校验。

完整性校验可以判断日志行数据是否包括预先设定的多个类型的数据，若日志行数据包括预先设定的多个类型数据，则判定日志行数据通过完整性校验。

S102：对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型；

将通过格式校验和完整性校验的日志行数据写入管道(PIPE)中，遵循管道先进先出，后进后出的原理，先进入管道的日志行数据先进行处理，保证日志行数据的处理顺序，避免出现混乱。

根据管道中日志行数据的顺序，按照预设规则对管道中的当前日志行数据进行过滤检索，得到表示部署进度信息的任务信息和当前日志行数据的日志类型，其中，预设规则为预先设定的日志行数据的过滤检索规则，如需要通过过滤检索提取哪些类型的数据，任务信息包括任务名称和任务标识。

日志类型包括：

调试(DEBUG)：此级别的消息包含大量上下文信息。它们主要用于问题诊断。此级别的信息适用于开发人员，而不适用于用户。

信息(INFO)：这些消息包含一些上下文信息，以帮助跟踪生产环境中的执行(粗粒度级别)。

警告(WARNING)：警告消息表示系统中存在潜在问题，如系统能够自己处理的问题或者无论如何都要解决的问题。

错误(ERROR)：错误消息表示系统中存在严重问题。该类问题通常是不可恢复的，需要人工干预。

S103：对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。

可以将日志行数据和关键信息封装成JSON格式，便于发送至前端页面。

前端页面实时动态UI展示日志行数据和/或关键信息，通过显示任务名称和任务标识，使技术人员了解集群部署进度，通过显示告警、错误等日志类型，便于技术人员及时发现集群部署中的问题，通过告警或错误日志类型对应的任务信息定位问题位置。

为了便于后台服务器与前端页面实时通信，也可以建立后台服务器与前端页面之间的长链接，通过长链接将日志行数据和关键信息发送至前端页面。

为了为用户提供多样化功能，本实施例公开的大规模集群部署交付日志的跟踪处理方法，还提供了日志下载功能、重新部署功能和停止部署功能。

具体的，在接收到用户的日志下载指令时，按照预设存储路径对所述底层日志文件进行下载。

当接收到用户的重新部署指令时，重新触发执行所述部署脚本。

当接收到用户的退出部署指令时，停止执行所述部署脚本。

可见，本实施例公开的一种大规模集群交付日志的跟踪处理方法，自动读取底层日志文件，通过对日志行数据进行过滤检索，得到包括部署进度信息和日志类型的关键信息，并通过将日志行数据和关键信息进行封装后发送至前端页面，使前端页面可以显示部署进度信息和日志类型，便于技术人员及时了解部署进度，并当日志类型为错误或警告时使技术人员及时发现并解决问题，提高了集群部署效率。

基于上述实施例公开的一种大规模集群部署交付日志的跟踪处理方法，本实施例对应公开了一种大规模集群部署交付日志的跟踪处理装置，设置于后台服务器，请参阅图2，该装置包括：

日志读取单元201，用于按行读取底层日志文件；

过滤检索单元202，用于对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；

封装发送单元203，用于对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。

可选的，所述装置还包括：

部署脚本触发单元，用于触发执行部署脚本；

日志获取单元，用于获取所述部署脚本在执行过程中产生的日志，并将获取的日志存储到所述底层日志文件中。

可选的，所述日志读取单元201，具体用于调用后台服务进程，通过识别所述底层日志文件中的系统换行标识符按行读取所述底层日志文件。

可选的，所述装置还包括：

数据校验单元，用于对读取的日志行数据进行格式校验和完整性校验；若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索。

可选的，所述过滤检索单元202，具体用于将通过格式校验和完整性校验的日志行数据写入管道中，并根据管道中日志行数据的顺序，按照预设规则对管道中的当前日志行数据进行过滤检索，得到表示部署进度信息的任务信息和当前日志行数据的日志类型，其中，任务信息包括任务名称和任务标识。

可选的，所述装置还包括：

长链接建立单元，用于建立与所述前端页面之间的长链接，通过长链接将日志行数据和所述关键信息发送至所述前端页面。

可选的，所述装置还包括：

日志下载单元，用于当接收到用户的日志下载指令时，按照预设存储路径对所述底层日志文件进行下载。

可选的，所述部署脚本触发单元，还用于当接收到用户的重新部署指令时，重新触发执行所述部署脚本。

可选的，所述部署脚本触发单元，还用于当接收到用户的退出部署指令时，停止执行所述部署脚本。

本实施例公开的一种大规模集群交付日志的跟踪处理装置，自动读取底层日志文件，通过对日志行数据进行过滤检索，得到包括部署进度信息和日志类型的关键信息，并通过将日志行数据和关键信息进行封装后发送至前端页面，使前端页面可以显示部署进度信息和日志类型，便于技术人员及时了解部署进度，并当日志类型为错误或警告时使技术人员及时发现并解决问题，提高了集群部署效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种大规模集群部署交付日志的跟踪处理方法，其特征在于，应用于后台服务器，所述方法包括：

按行读取底层日志文件；

对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；

对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。

2.根据权利要求1所述的方法，其特征在于，在所述按行读取底层日志文件之前，所述方法还包括：

触发执行部署脚本；

获取所述部署脚本在执行过程中产生的日志；

将获取的日志存储到所述底层日志文件中。

3.根据权利要求1所述的方法，其特征在于，所述按行读取底层日志文件，包括：

调用后台服务进程，通过识别所述底层日志文件中的系统换行标识符按行读取所述底层日志文件。

4.根据权利要求1所述的方法，其特征在于，在所述对日志行数据进行过滤检索之前，所述方法还包括：

对读取的日志行数据进行格式校验和完整性校验；

若日志行数据未通过格式校验或完整性校验时，放弃对日志行数据的过滤检索。

5.根据权利要求4所述的方法，其特征在于，所述对日志行数据进行过滤检索，得到关键信息，包括：

将通过格式校验和完整性校验的日志行数据写入管道中，并根据管道中日志行数据的顺序，按照预设规则对管道中的当前日志行数据进行过滤检索，得到表示部署进度信息的任务信息和当前日志行数据的日志类型，其中，任务信息包括任务名称和任务标识。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

建立与所述前端页面之间的长链接，通过长链接将日志行数据和所述关键信息发送至所述前端页面。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当接收到用户的日志下载指令时，按照预设存储路径对所述底层日志文件进行下载。

8.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当接收到用户的重新部署指令时，重新触发执行所述部署脚本。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当接收到用户的退出部署指令时，停止执行所述部署脚本。

10.一种大规模集群部署交付日志的跟踪处理装置，其特征在于，包括：

日志读取单元，用于按行读取底层日志文件；

过滤检索单元，用于对日志行数据进行过滤检索，得到关键信息，所述关键信息包括部署进度信息和日志类型，日志类型包括调试、信息、警告和错误；

封装发送单元，用于对日志行数据和所述关键信息进行封装，并将封装后的数据包发送至前端页面进行显示。

Images