CN116701402A - 一种基于循环归档表的日志记录方法、系统、设备及介质 - Google Patents

Abstract

本申请公开了一种基于循环归档表的日志记录方法、系统、设备及介质，其中方法包括：获取目标业务的业务信息，并根据业务信息定义目标业务的日志模板表结构；基于日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；获取业务日志的时间序列，并根据时间序列将业务日志写入到对应目标业务的日志实体表中；根据预设时间间隔以及过期策略，清理日志实体表中的过期历史数据。根据业务需要自定义归档表，具体功能按照业务规则对原表进行增删改查操作，而循环归档表策略动态处理实际落盘目标及历史清理策略的自动化运维，降低开发与运维成本，适用于不同技术平台、语言。

Description

一种基于循环归档表的日志记录方法、系统、设备及介质

技术领域

本申请涉及应用系统日志优化领域，具体涉及一种基于循环归档表的日志记录方法、系统、设备及介质。

背景技术

近年来，随着软件系统的复杂度增加，为了排查问题或明确问题责任，软件系统中各种各样的日志数据也越来越多，这些日志表仅在表结构、记录日志内容方面稍有不同。

由于这些日志数据量非常大，如果不进行细致的设计与实现，随着系统运行时间越长，往往会导致新的非常严重的问题，比如并发写入问题、磁盘空间占用问题等等。各业务如果分别处理，又会导致工作量大、效率较低，而实现各异，难以统一维护。

发明内容

为了解决上述问题，本申请提出了一种方法、设备及介质，其中方法包括：

获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

在一个示例中，所述根据所述业务信息定义所述目标业务的日志模板表结构，具体包括：根据所述业务信息，确定所述目标业务的业务逻辑、所需参数个数、参数类型；基于所述业务逻辑、所需参数个数、参数类型，通过元模型方式描述所述日志模板表结构；将所述日志模板表结构存储至数据库中。

在一个示例中，所述基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表之前，所述方法还包括：基于所述业务逻辑，确定所述日志实体表的过期策略。

在一个示例中，所述基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表之后，所述方法还包括：根据所述日志实体表，创建所述日志实体表对应的合并全量查询视图；将所述全量查询视图与所述日志实体表绑定，存储至数据库中。

在一个示例中，所述获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中，具体包括：根据所述日志实体表的日志规则，获取所述日志实体表对应的配置策略；所述配置策略包括日志保留单位以及日志保留数量；所述日志保留单位为所述日志实体表的保留时间间隔所对应的时间单位，所述日志保留数量为保留的所述日志实体表的数量；通过当前系统时间，以及所述日志实体表的建立时间，按所述日志保留单位计算所述时间差值；根据所述时间差值以及所述日志保留数量，确定需要持久的目标日志实体表；根据所述时间序列，将所述业务日志写入到对应目标业务的所述目标日志实体表中。

在一个示例中，所述获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中，具体包括：将所述日志模板表结构持续动态替换为日志模板表，以使所述日志模板表数量始终等于所述日志保留数量。

在一个示例中，所述根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据，具体包括：根据所述日志实体表的日志规则，判断所述日志实体表是否存在配置策略；所述配置策略包括过期数据的处理方式；若存在，则按照所述配置策略，对所述过期历史数据进行处理；若不存在，则对所述过期历史数据所在的日志实体表执行删除表中所有行操作。

本申请还提供了一种基于循环归档表的日志记录系统，包括：

模板定义模块，获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；表格生成模块，基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；日志写入模块，获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；数据清理模块，根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

本申请还提供了一种基于循环归档表的日志记录设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

本申请还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

通过本申请提出的方法能够带来如下有益效果：可以根据业务需要自定义归档表，具体功能按照业务规则对原表进行增删改查操作，而循环归档表策略动态处理实际落盘目标及历史清理策略的自动化运维，降低开发与运维成本，适用于不同技术平台、语言。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种基于循环归档表的日志记录方法的流程示意图；

图2为本申请实施例中一种基于循环归档表的日志记录系统的模块示意图；

图3为本申请实施例中一种基于循环归档表的日志记录设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书一个或多个实施例提供的一种基于循环归档表的日志记录方法的流程示意图。该方法可以应用于记录不同的日志数据，比如，互联网金融业务日志、电商业务日志、即时通讯业务日志、游戏业务日志、公务业务日志等。该流程可以由相应领域的计算设备执行，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。

本申请实施例涉及的分析方法的实现可以为终端设备，也可以为服务器，本申请对此不作特殊限制。为了方便理解和描述，以下实施例均以服务器为例进行详细描述。

需要说明的是，该服务器可以是单独的一台设备，可以是由多台设备组成的系统，即，分布式服务器，本申请对此不做具体限定。

如图1所示，本申请实施例提供一种基于循环归档表的日志记录方法，包括：

S101：获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构。

首先，获取目标业务的业务信息，如目标业务的业务类型等信息，并且根据业务信息定义目标业务的日志模板表结构。这里的日志模板表结构指的是不同业务类型的日志实体表的模板。

在一个实施例中，在定义日志模板表结构时，要根据业务信息，确定目标业务的业务逻辑、所需参数个数、参数类型，然后基于业务逻辑、所需参数个数、参数类型，通过元模型方式描述所述日志模板表结构，并将日志模板表结构存储至数据库中。元模型是关于模型的模型。这是特定领域的模型，定义概念并提供用于创建该领域中的模型的构建元素。

S102：基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表。

在一个实施例中，在生成日志实体表之前，需要确定目标业务的过期策略，在确认过期策略时，需要根据目标业务的业务逻辑，来确定目标业务的过期策略。这里的过期策略指的是日志实体表的过期时间，如N天、周、月、年等。

进一步地，在生成日志实体表时，首先需要通过元模型方式描述模板表结构，然后根据模板表结构及过期策略动态生成多个目标业务分别对应的日志实体表。

更进一步地，在生成多个日志实体表之后，可以根据多个日志实体表分别创建union all的全量查询视图。并将全量查询视图与所述日志实体表绑定，存储至数据库中。

S103：获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中。

在一个实施例中，在将业务日志进行写入时，需要根据日志实体表的日志规则，获取日志实体表对应的配置策略，这里的配置策略包括日志保留单位以及日志保留数量。需要说明的是，日志保留单位为日志实体表的保留时间间隔所对应的时间单位，日志保留数量为保留的所述日志实体表的数量。然后通过当前系统时间，以及日志实体表的建立时间，按日志保留单位计算时间差值，这里的时间差值指的是当前系统时间与建立时间之间的时间差。根据时间差值以及日志保留数量，确定需要持久的目标日志实体表，然后根据时间序列，将业务日志写入到对应目标业务的目标日志实体表中。在选择日志表时，需要选择建立时间最早，且时间差未超过过期策略中过期时间的日志实体表。

进一步地，在进行日志写入时，还需要不断地将日志模板表结构持续动态替换为日志模板表，以使日志模板表数量始终等于日志保留数量。

S104：根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

在一个实施例中，在进行清理数据时，首先需要根据日志实体表的日志规则，判断日志实体表是否存在配置策略，这里的配置策略包括过期数据的处理方式。若存在，则按照配置策略，对过期历史数据进行处理，比如扩展逻辑将过期日志表内容转储到ES等非结构化DB。若不存在，则对所述过期历史数据所在的日志实体表执行删除表中所有行操作。即过期的历史日志表执行truncate table操作。

如图2所示，本申请实施例还提供了一种基于循环归档表的日志记录系统，包括：

模板定义模块201，获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；

表格生成模块202，基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；

日志写入模块203，获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；

数据清理模块204，根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

如图3所示，本申请实施例还提供了一种基于循环归档表的日志记录设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于循环归档表的日志记录方法，其特征在于，包括：

获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；

基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；

获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；

根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述业务信息定义所述目标业务的日志模板表结构，具体包括：

根据所述业务信息，确定所述目标业务的业务逻辑、所需参数个数、参数类型；

基于所述业务逻辑、所需参数个数、参数类型，通过元模型方式描述所述日志模板表结构；

将所述日志模板表结构存储至数据库中。

3.根据权利要求2所述的方法，其特征在于，所述基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表之前，所述方法还包括：

基于所述业务逻辑，确定所述日志实体表的过期策略。

4.根据权利要求1所述的方法，其特征在于，所述基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表之后，所述方法还包括：

根据所述日志实体表，创建所述日志实体表对应的合并全量查询视图；

将所述全量查询视图与所述日志实体表绑定，存储至数据库中。

5.根据权利要求1所述的方法，其特征在于，所述获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中，具体包括：

根据所述日志实体表的日志规则，获取所述日志实体表对应的配置策略；所述配置策略包括日志保留单位以及日志保留数量；所述日志保留单位为所述日志实体表的保留时间间隔所对应的时间单位，所述日志保留数量为保留的所述日志实体表的数量；

通过当前系统时间，以及所述日志实体表的建立时间，按所述日志保留单位计算所述时间差值；

根据所述时间差值以及所述日志保留数量，确定需要持久的目标日志实体表；

根据所述时间序列，将所述业务日志写入到对应目标业务的所述目标日志实体表中。

6.根据权利要求5所述的方法，其特征在于，所述获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中，具体包括：

将所述日志模板表结构持续动态替换为日志模板表，以使所述日志模板表数量始终等于所述日志保留数量。

7.根据权利要求1所述的方法，其特征在于，所述根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据，具体包括：

根据所述日志实体表的日志规则，判断所述日志实体表是否存在配置策略；所述配置策略包括过期数据的处理方式；

若存在，则按照所述配置策略，对所述过期历史数据进行处理；

若不存在，则对所述过期历史数据所在的日志实体表执行删除表中所有行操作。

8.一种基于循环归档表的日志记录系统，其特征在于，包括：

模板定义模块，获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；

表格生成模块，基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；

日志写入模块，获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；

数据清理模块，根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

9.一种基于循环归档表的日志记录设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：

获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；

基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；

获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；

根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

获取目标业务的业务信息，并根据所述业务信息定义所述目标业务的日志模板表结构；

基于所述日志模板表结构以及过期策略，动态生成多个目标业务分别对应的日志实体表；

获取业务日志的时间序列，并根据所述时间序列将所述业务日志写入到对应目标业务的所述日志实体表中；

根据预设时间间隔以及所述过期策略，清理所述日志实体表中的过期历史数据。