CN112988511A - 一种日志信息收集方法、系统、存储介质及设备 - Google Patents

Abstract

本发明提供了一种日志信息收集方法、系统、存储介质及设备，方法包括：响应于系统启动，获取策略配置信息；识别单活实例且获取其标识号，并基于标识号和策略配置信息进行懒模式或驱动模式的日志信息收集；对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装；将封装后的日志信息进行缓存并定期监测日志信息的缓存容量；响应于日志信息的缓存容量达到预设阈值，将相应缓存容量的日志信息发送到服务端。本发明在日志要求不及时的场景下采用懒模式进行日志信息的收集；在日志要求及时且实时刷新场景下采用驱动模式进行日志信息的收集；通过对日志信息进行验证，可以保证业务日志的完整性，便于管理人员在运维或者调试时查看日志。

Description

一种日志信息收集方法、系统、存储介质及设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志信息收集方法、系统、存储介质及设备。

背景技术

在当前业务场景下，针对日志收集的开源工具有很多，有针对容器进行日志收集的，也有对现有操作系统进行日志收集的工具。但是当前所有的日志收集工具都有两个问题：一个是性能占用问题，小规模的集群对于日志收集会占用很高性能，影响当前业务的运行；另一个是针对单活实例如何保证日志完整和统一性上没有很好的解决方法。

对于占用管理服务器性能的问题，是大部分日志收集工具所面临的问题，主要包括三方面：

A.考虑到这类日志收集工具的扩展性，其支持比较多的数据输出接口，但是代码量和维护工作量也随之增加；

B.对日志采集客户端采用分布汇集方式以提高效率，但是如果遇到单个节点输出的日志信息量很大时，就会造成单个节点的IO资源占用特别高；

C.为了缓解IO资源瞬时比较高的问题，又加上了分布式缓存机制，这样无形中增加了部署难度以及维护难度，而且缓存机制直接把日志信息进行分发，会带来功能重复问题。

对于单活实例如何保证日志完整性的问题，在当前容器实例作为微服务的情况下，是亟待解决的问题，其主要包括两方面：

A.由于单活实例只有一个实例提供服务，这样就会在请求的服务上产生日志，没有提供服务的实例就不会产生日志，导致增加了日志的维护难度，如果有10个管理节点，很有可能在每个服务器上都会有一份日志，而且还有可能覆盖之前的日志；

B.由于实例分散到多台服务器上，所以一个实例的完整业务日志如何保证是一个问题，目前也有采用消息机制来完善功能设计上的不足，但是消息机制很浪费资源，又导致产生了性能占用问题。

发明内容

有鉴于此，本发明的目的在于提出一种日志信息收集方法、系统、存储介质及设备，用以解决现有技术中日志收集工具占用资源多影响系统性能的问题以及日志收集不完整的问题。

基于上述目的，本发明提供了一种日志信息收集方法，包括如下步骤：

响应于系统启动，获取策略配置信息；

识别单活实例且获取其标识号，并基于标识号和策略配置信息进行懒模式或驱动模式的日志信息收集；

对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装；

将封装后的日志信息进行缓存并定期监测日志信息的缓存容量；

响应于日志信息的缓存容量达到预设阈值，将相应缓存容量的日志信息发送到服务端。

在一些实施例中，识别单活实例且获取其标识号包括：

通过调用节点接口对节点上的多个实例进行探测，以识别到单活实例并获取其标识号。

在一些实施例中，基于标识号和策略配置信息进行懒模式的日志信息收集包括：

基于配置策略信息启动懒模式；

获取日志信息采集频率，且基于日志信息采集频率启动单线程，并将标识号传给单线程而使其调用对应的单活实例日志接口以进行日志信息收集；

记录进行日志信息收集的起始时间。

在一些实施例中，基于标识号和策略配置信息进行驱动模式的日志信息收集包括：

基于配置策略信息启动驱动模式；

启动监听器进行标识号对应的单活实例的日志信息的监测，并响应于监测到日志信息产生，将产生的日志信息进行收集；

记录进行日志信息收集的起始时间。

在一些实施例中，对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装包括：

验证是否已存在与收集到的日志信息相同的日志信息记录；

响应于不存在与收集到的日志信息相同的日志信息记录，将收集到的日志信息添加到上一日志信息记录的末端。

在一些实施例中，将封装后的日志信息进行缓存并定期监测日志信息的缓存容量包括：将封装后的日志信息进行压缩以及缓存，并定期监测缓存容量。

在一些实施例中，方法还包括：在将相应缓存容量的日志信息发送到服务端后将其从系统内存中清理。

本发明的另一方面，还提供了一种日志信息收集系统，包括：

策略配置信息获取模块，配置用于响应于系统启动，获取策略配置信息；

日志信息收集模块，配置用于识别单活实例且获取其标识号，并基于标识号和策略配置信息进行懒模式或驱动模式的日志信息收集；

日志信息验证模块，配置用于对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装；

日志信息缓存模块，配置用于将封装后的日志信息进行缓存并定期监测日志信息的缓存容量；以及

日志信息发送模块，配置用于响应于日志信息的缓存容量达到预设阈值，将相应缓存容量的日志信息发送到服务端。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果：

1.通过基于策略配置信息进行懒模式和驱动模式的日志信息收集，可以满足不同场景下对日志收集的需求：对于日志要求不及时的场景，可以采用懒模式进行日志信息的收集；在日志要求及时且实时刷新场景下，采用驱动模式进行日志信息的收集；

2.通过对收集的日志信息进行验证，可以保证业务日志的完整性，便于管理人员在运维或者调试时候查看日志。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的日志信息收集方法的示意图；

图2为根据本发明实施例提供的日志信息收集系统的示意图；

图3为本发明提供的执行日志信息收集方法的计算机设备的一个实施例的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种日志信息收集方法的实施例。图1示出的是本发明提供的日志信息收集方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、响应于系统启动，获取策略配置信息；

步骤S20、识别单活实例且获取其标识号，并基于标识号和策略配置信息进行懒模式或驱动模式的日志信息收集；

步骤S30、对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装；

步骤S40、将封装后的日志信息进行缓存并定期监测日志信息的缓存容量；

步骤S50、响应于日志信息的缓存容量达到预设阈值，将相应缓存容量的日志信息发送到服务端。

本实施例中，实例是指容器实例，即容器产生后会自动对应的应用实例，会提供应用的各种服务功能。单活是针对实例来说的，一般实例可以有多个，单活实例特指实例只有一个是活跃的，即只有一个实例提供服务；其他实例都是启动状态，但不提供服务，所以也不会收到对应的业务。

本发明实施例通过基于策略配置信息进行懒模式和驱动模式的日志信息收集，可以满足不同场景下对日志收集的需求：对于日志要求不及时的场景，可以采用懒模式进行日志信息的收集；在日志要求及时且实时刷新场景下，采用驱动模式进行日志信息的收集；通过对收集的日志信息进行验证，可以保证业务日志的完整性，便于管理人员在运维或者调试时候查看日志。

在一些实施例中，识别单活实例且获取其标识号包括：通过调用节点接口对节点上的多个实例进行探测，以识别到单活实例并获取其标识号。本实施例中，通过节点的api接口进行探测，只有探测信号发出后，才能够得到当前实例的初始化序列化ID(即标识号)，表示该实例是提供服务的，因为每次实例激活后，都会进行序列化操作，生成一个唯一的序列化ID。该探测获取ID的方法是通过url地址进行请求。

在一些实施例中，基于标识号和策略配置信息进行懒模式的日志信息收集包括：基于配置策略信息启动懒模式；获取日志信息采集频率，且基于日志信息采集频率启动单线程，并将标识号传给单线程而使其调用对应的单活实例日志接口以进行日志信息收集；记录进行日志信息收集的起始时间。懒模式是在消耗资源最小的情况下的一种日志收集方式，是在一定的时间内进行一次日志收集，而且收集也采用单核心去收集，不采用多核心收集，所以这种模式的使用场景是对日志信息要求不及时的情况。本实施例中，如果配置策略信息缺失，会默认启动懒模式。

在一些实施例中，基于标识号和策略配置信息进行驱动模式的日志信息收集包括：基于配置策略信息启动驱动模式；启动监听器进行标识号对应的单活实例的日志信息的监测，并响应于监测到日志信息产生，将产生的日志信息进行收集；记录进行日志信息收集的起始时间。本实施例中，通过采用驱动模式，可以对所有的日志信息进行收集，由于监测到日志信息便收集，所以一般情况下，该模式比懒模式的日志信息采集频率高。

在一些实施例中，对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装包括：验证是否已存在与收集到的日志信息相同的日志信息记录；响应于不存在与收集到的日志信息相同的日志信息记录，将收集到的日志信息添加到上一日志信息记录的末端。通过对收集到的日志信息进行验证，使得日志信息不会缺失，也不会因为切换而丢掉部分数据，即使实例宕了也不会出现日志丢失的问题，且可以保证日志的顺序记录。通过本发明实施例，达到了在业务场景下方便进行日志查看的目的，便于业务平台的管理，也使得管理员或者运维人员无需进行不同日志文件的对比和查看，提高系统的整体运维和管理能力。

在一些实施例中，将封装后的日志信息进行缓存并定期监测日志信息的缓存容量包括：将封装后的日志信息进行压缩以及缓存，并定期监测缓存容量。在一些实施例中，方法还包括：在将相应缓存容量的日志信息发送到服务端后将其从系统内存中清理。本实施例中，通过对日志信息进行压缩，可以减少缓存容量；通过对日志信息进行缓存并发送到服务端，可以将日志信息进行暂时留存，并将暂时留存的日志信息发送到服务端后即进行相应的系统内存中的日志信息的清理，以减少资源占用，提高系统性能。

本发明实施例的第二个方面，还提供了一种日志信息收集系统。图2示出的是本发明提供的日志信息收集系统的实施例的示意图。一种日志信息收集系统包括：策略配置信息获取模块10，配置用于响应于系统启动，获取策略配置信息；日志信息收集模块20，配置用于识别单活实例且获取其标识号，并基于标识号和策略配置信息进行懒模式或驱动模式的日志信息收集；日志信息验证模块30，配置用于对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装；日志信息缓存模块40，配置用于将封装后的日志信息进行缓存并定期监测日志信息的缓存容量；以及日志信息发送模块50，配置用于响应于日志信息的缓存容量达到预设阈值，将相应缓存容量的日志信息发送到服务端。

本发明实施例的日志信息收集系统，通过基于策略配置信息进行懒模式和驱动模式的日志信息收集，可以满足不同场景下对日志收集的需求：对于日志要求不及时的场景，可以采用懒模式进行日志信息的收集；在日志要求及时且实时刷新场景下，采用驱动模式进行日志信息的收集；通过对收集的日志信息进行验证，可以保证业务日志的完整性，便于管理人员在运维或者调试时候查看日志。

本发明实施例的第三个方面，还提供了一种计算机存储介质，存储介质存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项实施例方法。

应当理解，在相互不冲突的情况下，以上针对根据本发明的日志信息收集方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的日志信息收集系统和存储介质。也就是说，上面所述的应用于日志信息收集方法的所有实施例及其变化都可以直接移转应用于根据本发明的系统和存储介质，并直接结合于此。为了本公开的简洁起见，在此不再重复阐述。

本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器302和处理器301，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例方法。

如图3所示，为本发明提供的执行日志信息收集方法的计算机设备的一个实施例的硬件结构示意图。以如图3所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与日志信息收集系统的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的日志信息收集方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种日志信息收集方法，其特征在于，包括以下步骤：

响应于系统启动，获取策略配置信息；

识别单活实例且获取其标识号，并基于所述标识号和所述策略配置信息进行懒模式或驱动模式的日志信息收集；

对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装；

将封装后的日志信息进行缓存并定期监测日志信息的缓存容量；

响应于日志信息的缓存容量达到预设阈值，将相应缓存容量的日志信息发送到服务端。

2.根据权利要求1所述的方法，其特征在于，识别单活实例且获取其标识号包括：

通过调用节点接口对节点上的多个实例进行探测，以识别到单活实例并获取其标识号。

3.根据权利要求1所述的方法，其特征在于，基于所述标识号和所述策略配置信息进行懒模式的日志信息收集包括：

基于所述配置策略信息启动懒模式；

获取日志信息采集频率，且基于所述日志信息采集频率启动单线程，并将所述标识号传给所述单线程而使其调用对应的单活实例日志接口以进行日志信息收集；

记录进行日志信息收集的起始时间。

4.根据权利要求1所述的方法，其特征在于，基于所述标识号和所述策略配置信息进行驱动模式的日志信息收集包括：

基于所述配置策略信息启动驱动模式；

启动监听器进行所述标识号对应的单活实例的日志信息的监测，并响应于监测到日志信息产生，将产生的日志信息进行收集；

记录进行日志信息收集的起始时间。

5.根据权利要求1所述的方法，其特征在于，对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装包括：

验证是否已存在与收集到的日志信息相同的日志信息记录；

响应于不存在与收集到的日志信息相同的日志信息记录，将收集到的日志信息添加到上一日志信息记录的末端。

6.根据权利要求1所述的方法，其特征在于，将封装后的日志信息进行缓存并定期监测日志信息的缓存容量包括：

将封装后的日志信息进行压缩以及缓存，并定期监测缓存容量。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将相应缓存容量的日志信息发送到服务端后将其从系统内存中清理。

8.一种日志信息收集系统，其特征在于，包括：

策略配置信息获取模块，配置用于响应于系统启动，获取策略配置信息；

日志信息收集模块，配置用于识别单活实例且获取其标识号，并基于所述标识号和所述策略配置信息进行懒模式或驱动模式的日志信息收集；

日志信息验证模块，配置用于对收集到的日志信息进行验证，且基于验证结果对日志信息进行封装；

日志信息缓存模块，配置用于将封装后的日志信息进行缓存并定期监测日志信息的缓存容量；以及

日志信息发送模块，配置用于响应于日志信息的缓存容量达到预设阈值，将相应缓存容量的日志信息发送到服务端。

9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的方法。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。

Images