CN117201293A - 日志处理方法、装置、系统、计算机设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种日志处理方法、装置、系统、计算机设备、存储介质和计算机程序产品。该方法包括：响应于针对待处理流量日志的处理请求，获取待处理流量日志的日志信息；基于预先设定的日志处理模板，利用日志信息，生成包含待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；利用维表配置信息，获取待处理流量日志的关联日志维表；将待处理流量日志转换为键值对格式，和将关联日志维表转换为键值对格式；利用关联键值对维表关联键值对维表，以及日志处理配置信息对待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。该方法中，提高了日志处理的简便性，更加智能化，同时也降低了成本。

Description

日志处理方法、装置、系统、计算机设备和存储介质

技术领域

本申请涉及数据传输技术领域，特别是涉及一种日志处理方法、装置、系统、计算机设备、存储介质和计算机程序产品。

背景技术

目前，在大数据的网络流量日志数据处理中，网络流量日志经常以抽取、转换、重构、分流、持久化的流程被处理。在很多业务场景下，需要根据业务任务需求引入新的网络流量日志数据类型，例如https、sftp、tcp和udp等，或对已有流量日志进行新的字段抽取或其他处理以供下游业务进行分析。当需要引入新的网络流量日志类型或需要进行新的流量日志处理操作时，需要重新开发配套的大数据应用程序。这种方式会产生大量的代码开发、测试、部署、运维工作，整体流程十分耗时，且人力成本极大，存在繁琐、智能化低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种日志处理方法、装置、系统、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种日志处理方法。所述方法包括：

响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

利用所述关联键值对维表关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。

在其中一个实施例中，所述待处理流量日志包含多个日志字段；所述将所述待处理流量日志转换为键值对格式，得到待处理键值对日志，包括：将各所述日志字段转换为键值对格式，得到所述待处理流量日志的待处理键值对日志。

在其中一个实施例中，所述关联日志维表包含多个维表字段；所述将所述关联日志维表转换为键值对格式，得到关联键值对维表，包括：获取所述关联日志维表的维表配置三元组，并获取所述维表配置三元组中包含的所述关联日志维表的索引字段；获取各维表字段的键值对的映射；根据所述索引字段和各维表字段的键值对的映射，获取所述关联日志维表对应的关联键值对维表。

在其中一个实施例中，所述日志处理配置信息包含数据重命名信息；所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志，包括：获取多个日志字段中满足预设条件的目标日志字段；对所述目标日志字段中的字段名进行数据重命名，得到所述目标日志字段对应的更新日志字段；将所述待处理键值对日志中的所述目标日志字段替换为所述更新日志字段，得到所述处理后的流量日志。

在其中一个实施例中，所述关联键值对维表包含第一维表；所述处理后的流量日志包含第一更新流量日志；所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志，包括：在所述关联键值对维表为所述第一维表的情况下，在所述多个日志字段中获取当前日志字段；所述当前日志字段为所述多个日志字段中的任意一个；在所述第一维表包含的多个维表字段中包含所述当前日志字段的情况下，将所述当前日志字段从所述待处理键值对日志中移除，得到所述第一更新流量日志。

在其中一个实施例中，所述关联键值对维表包含第二维表；所述处理后的流量日志包含第二更新流量日志和/或第三更新流量日志；所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志，包括：在所述关联键值对维表为所述第二维表的情况下，在所述多个日志字段中获取当前日志字段；所述当前日志字段为所述多个日志字段中的任意一个；在所述第二维表包含的多个维表字段中包含所述当前日志字段的情况下，将所述第二维表包含的多个维表字段中的其余字段补充至所述待处理键值对日志中，得到所述第二更新流量日志；所述其余字段为所述多个维表字段中除所述当前日志字段之外的字段；在所述第二维表包含的多个维表字段中不包含所述当前日志字段的情况下，将所述当前日志字段从所述待处理键值对日志中移除，得到所述第三更新流量日志。

在其中一个实施例中，所述响应于针对待处理流量日志的处理请求，获取所述待处理流量日志之前，还包括：获取针对目标网卡的多个流量日志，并根据各所述流量日志的日志类型，将各所述流量日志分发至所述日志类型对应的消息队列；所述多个流量日志包含所述待处理流量日志；所述获取所述待处理流量日志，包括：在所述处理请求中获取所述待处理流量日志的队列标识和日志标识；根据所述队列标识和日志标识，在所述队列标识对应的所述消息队列中获取所述日志标识对应的待处理流量日志。

在其中一个实施例中，所述任务配置信息还包含持久化配置信息；所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志之后，还包括：根据所述持久化配置信息，获取所述处理后的流量日志的标记标识位；在所述标记标识位表示为过滤标记的情况下，将所述处理后的流量日志移除。

第二方面，本申请提供了一种日志处理装置。所述装置包括：

获取模块，用于响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

配置设置模块，用于基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

维表调用模块，用于利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

转换模块，用于将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

处理模块，用于利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

利用所述关联键值对维表关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

利用所述关联键值对维表关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

利用所述关联键值对维表关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。

上述一种日志处理方法、装置、系统、计算机设备、存储介质和计算机程序产品中，响应于针对待处理流量日志的处理请求，获取待处理流量日志，以及待处理流量日志的日志信息；基于预先设定的日志处理模板，利用日志信息，生成包含待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；利用维表配置信息，从维表数据库获取待处理流量日志的关联日志维表；利用维表配置信息，从维表数据库获取待处理流量日志的关联日志维表；将待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将关联日志维表转换为键值对格式，得到关联键值对维表；利用关联键值对维表关联键值对维表，以及日志处理配置信息对待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。本申请提供的该方法，可以基于预先设定的日志处理模板，生成用户的处理请求中包含的待处理流量日志对应的任务配置信息，基于该任务配置信息对该待处理流量日志进行处理，有利于使用通用日志处理模板处理各种流量日志，不需要针对不同的流量日志以及日志处理需求重新开发配套的大数据应用程序，提高了日志处理的简便性，更加智能化，同时也降低了成本。

附图说明

图1为一个实施例提供的一种日志处理方法的流程示意图；

图2为一个实施例提供的数据转换的流程示意图；

图3为一个实施例提供的日志处理的流程示意图；

图4为另一个实施例提供的日志处理的流程示意图；

图5为一个实施例提供的日志处理装置的结构示意图；

图6为另一个实施例提供的一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在一个实施例中，如图1所示，提供了一种日志处理方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤S101，响应于针对待处理流量日志的处理请求，获取待处理流量日志，以及待处理流量日志的日志信息。

其中，该待处理流量日志可以是用户待进行处理的流量日志。通常，该流量日志可以是记录网络通信的数据包信息，包括源IP地址、目标IP地址、端口号、协议类型等。通过对流量日志的处理，可以获取有关网络流量的关键信息，用于网络安全监控、故障排查、性能优化等方面。针对流量日志的处理可以是指对网络流量数据进行分析、处理和管理的过程。一般情况下，流量日志处理可以包含以下步骤：1、收集日志：网络设备、防火墙、入侵检测系统等可以生成流量日志。首先需要确保流量日志被正确配置和启用，并将其收集到中央日志服务器或日志收集工具中。2、解析日志：流量日志通常以特定的格式存储，如CSV、JSON等。解析日志是将原始日志数据转换为可读性更强的格式，以便后续处理和分析。3、数据清洗：在解析日志后，可能需要对数据进行清洗和过滤，以去除无效或冗余的信息。这可以通过筛选特定的字段、删除重复记录、处理异常数据等方式实现。4、分析和可视化：对清洗后的数据进行分析和可视化，以获得有关网络流量的洞察和识别潜在的问题。这可以包括统计流量、分析流量模式、检测异常行为等。5、威胁检测和安全监控：通过分析流量日志，可以检测和识别潜在的网络威胁和攻击行为。这可以帮助网络管理员及时采取措施来保护网络安全6、存储和归档：流量日志通常是庞大的数据集，需要进行有效的存储和归档。这可以包括使用数据库、日志管理系统或云存储等方式进行长期存储和备份。流量日志处理是网络运维和安全管理中的重要环节，它可以帮助组织监控和保护其网络资源，及时发现和应对潜在的风险和问题。

在用户在具有针对待处理流量日志的处理需求的情况下，可以在相应的日志处理终端上触发针对该待处理流量日志的处理请求，该处理请求可以包含该待处理流量日志的日志信息，该日志信息可以包含该待处理流量日志的一些日志基础信息，以及用户针对该待处理流量日志的处理需求，例如，待处理流量日志的日志标识、日志类型、队列标识，以及数据清洗、数据分析等。由此。可以根据用户触发的针对待处理流量日志的处理请求，确定该待处理流量日志，以及该待处理流量日志的日志信息。

步骤S102，基于预先设定的日志处理模板，利用日志信息，生成包含待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息。

通常，一些流量日志生成模块可以产生大量的流量日志，例如，网络设备、防火墙和入侵检测系统等。如果针对不同的流量日志均开发该流量日志对应的用于日志处理的大数据应用程序，会导致日志处理配置过程非常繁琐、耗时，成本较大。为了避免上述问题，可以预先设定一个针对各流量日志的日志处理模板，该日志处理模板可以应用于不同的流量日志的处理，该日志处理模板可以写入该各流量日志的日志信息，以及与各流量日志相匹配的日志处理配置。在一些可能的实现方式中，可以将该待处理流量日志的日志信息，以及针对该待处理流量日志的处理需求导入该日志处理模板中，即可以生成与该待处理流量日志相匹配的任务配置信息，该任务配置信息可以包含待处理流量日志对应的维表配置信息和日志处理配置信息，可以基于该维表配置信息获取该待处理流量日志的关联日志维表，可以基于该日志处理配置信息获取该待处理流量日志的日志处理方案，该日志处理方案可以包含至少一个日志处理项。

步骤S103，利用维表配置信息，从维表数据库获取待处理流量日志的关联日志维表。

其中，该维表数据库可以包含针对日志处理的多个维表，日志维表(LogDimension Table)是一种用于存储和管理日志数据的表格结构。它通常用于数据仓库或数据湖中，用于记录和描述日志事件的相关信息。日志维表的设计可以根据具体的业务需求和日志类型而有所不同，但通常包括以下常见字段：日志ID(Log ID)：用于唯一标识每条日志事件的ID；时间戳(Timestamp)：记录日志事件发生的时间；日志级别(Log Level)：表示日志的重要程度，如DEBUG、INFO、WARN、ERROR等；日志内容(Log Message)：记录日志事件的详细描述信息；模块(Module)：标识产生日志的系统或模块；主机(Host)：记录产生日志的主机或服务器名称；用户(User)：记录产生日志的用户或操作者；IP地址(IP Address)：记录产生日志的IP地址；请求URL(Request URL)：记录产生日志的请求URL；异常信息(Exception)：记录产生日志的异常信息；除了上述基本字段外，根据具体的业务需求，还可以添加其他自定义字段，如业务类型、地理位置、设备信息等。通常，日志维表的作用是将日志数据进行结构化和标准化，方便后续的查询、分析和报表生成。通过使用日志维表，可以更加方便地对日志数据进行筛选、聚合和关联分析，帮助用户理解和分析日志事件的发生情况，并支持故障排查、性能优化和安全监控等工作。在一些可能的实现方式中，可以在该任务配置信息中的维表配置信息中获取该待处理流量日志的关联日志维表标识，之后，可以根据该关联日志维表标识在该维表数据库中调用该关联日志维表标识对应的关联日志维表，从而，可以基于该关联日志维表对该待处理流量日志进行处理，该关联日志维表可以包含至少一个日志维表，例如维表白名单和维表黑名单等。

步骤S104，将待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将关联日志维表转换为键值对格式，得到关联键值对维表。

该维表配置信息中定义了该关联日志维表的关联日志维表标识、数据内容信息以及维表配置三元组，该维表配置三元组可以包含维表对象名、关联日志维表标识和索引字段。该关联日志维表可以包含多个维表字段。该数据内容信息可以为嵌套的map结构，即key->value结构，其中，key为维表配置三元组中指定的需要被索引的字段，即索引字段。value为子map对象，存储了该关联日志维表中各维表字段的字段名->字段值的映射。也可以将该待处理流量日志转换为嵌套的map结构，该待处理键值对日志的结构可以是key->value结构，存储了该待处理键值对日志中所有字段名->字段值的映射；该待处理流量日志可以包含多个日志字段，各日志字段均是以键值对格式存储，各日志字段对应的待处理键值对日志字段包含各日志字段的字段名和字段值。

步骤S105，利用关联键值对维表，以及日志处理配置信息对待处理键值对日志进行处理，得到处理后的流量日志。

可以基于该待处理流量日志对应的关联键值对维表和该日志处理配置信息获取该待处理流量日志的日志处理方案，该日志处理方案可以包含至少一个日志处理项。

在日志处理过程中，日志处理配置信息中定义了待处理键值对日志的处理代码。在这里，待处理键值对日志对应的日志对象和关联键值对维表对应的维表对象的对象名和数据结构都已预先定义好。

例如，在具体实现中，对于日志处理模块将需要处理的日志对象名定义为in，结构为map对象，而维表对象的定义则在维表配置信息中定义好了，该维表配置信息中定义了该关联日志维表的关联日志维表标识、数据内容信息以及维表配置三元组，该维表配置三元组可以包含维表对象名、关联日志维表标识和索引字段。该关联日志维表可以包含多个维表字段。该数据内容信息可以为嵌套的map结构，即key->value结构，其中，key为维表配置三元组中指定的需要被索引的字段，即索引字段。value为子map对象，存储了该关联日志维表中各维表字段的字段名->字段值的映射。由此，可以直接配置对日志对象的处理代码。例如，在一些可能的实现方式中，可以对in对象中的key-value字段进行增加、删除、修改、重命名、日期转换、编解码等等操作；或根据in对象中某个key对应的value值进行逻辑判断、根据不同的条件进行不同的处理，如过滤处理、或字段修改等处理；或根据in对象中某个key对应的value值在维表对象中进行查询，从而将日志中的某个字段和数据库中的维表进行关联、并根据查询结果进行不同的处理等等如日志字段补全，或日志的黑白名单维表过滤，或基于网络攻击规则维表生成网络攻击的相关事件等。而对于日志处理模块，获取了上述的日志对象和维表对象的处理代码后，日志处理模块便可生成完整的日志处理代码文件，利用动态编译的方法进行编译运行，从而将用户定义的对象操作完整的应用到实际的日志对象处理上。最后，将处理完成且未被过滤的日志对象输入到下一个模块即日志持久化模块。

本实施例的方法中，响应于针对待处理流量日志的处理请求，获取待处理流量日志，以及待处理流量日志的日志信息；基于预先设定的日志处理模板，利用日志信息，生成包含待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；利用维表配置信息，从维表数据库获取待处理流量日志的关联日志维表；利用维表配置信息，从维表数据库获取待处理流量日志的关联日志维表；将待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将关联日志维表转换为键值对格式，得到关联键值对维表；利用关联键值对维表关联键值对维表，以及日志处理配置信息对待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。本申请提供的该方法，可以基于预先设定的日志处理模板，生成用户的处理请求中包含的待处理流量日志对应的任务配置信息，基于该任务配置信息对该待处理流量日志进行处理，有利于使用通用日志处理模板处理各种流量日志，不需要针对不同的流量日志以及日志处理需求重新开发配套的大数据应用程序，提高了日志处理的简便性，更加智能化，同时也降低了成本。

在一个实施例中，步骤S104，可以包括：

将待处理流量日志转换为键值对格式，得到待处理键值对日志，包括：将各日志字段转换为键值对格式，得到待处理流量日志的待处理键值对日志。

将该待处理流量日志转换为嵌套的map结构，该待处理键值对日志的结构可以是key->value结构，存储了该待处理键值对日志中所有字段名->字段值的映射；该待处理流量日志可以包含多个日志字段，各日志字段均是以键值对格式存储，各日志字段对应的待处理键值对日志字段包含各日志字段的字段名和字段值。

在另一个实施例中，步骤S104，可以包括：

将关联日志维表转换为键值对格式，得到关联键值对维表，包括：获取关联日志维表的维表配置三元组，并获取维表配置三元组中包含的关联日志维表的索引字段；获取各维表字段的键值对的映射；根据索引字段和各维表字段的键值对的映射，获取关联日志维表对应的关联键值对维表。

该维表配置信息中定义了该关联日志维表的关联日志维表标识、数据内容信息以及维表配置三元组，该维表配置三元组可以包含维表对象名、关联日志维表标识和索引字段。该关联日志维表可以包含多个维表字段。该数据内容信息可以为嵌套的map结构，即key->value结构，其中，key为维表配置三元组中指定的需要被索引的字段，即索引字段。value为子map对象，存储了该关联日志维表中各维表字段的字段名->字段值的映射。

在本实施例的方法中，可以将待处理流量日志包含的多个日志字段和关联日志维表包含的多个维表字段均转换为键值对格式，便于针对各日志字段和各维表字段的查询、检索，更便于后续利用关联键值对维表，以及日志处理配置信息对待处理键值对日志进行处理，得到处理后的流量日志。

在一个实施例中，如图2所示，步骤S104，可以包括：

步骤S201，获取多个日志字段中满足预设条件的目标日志字段。

其中，在一些可能的实现方式中，该日志处理配置信息可以包含数据重命名信息，基于该数据重命名信息，可以对多个日志字段中满足预设条件的目标日志字段进行重命名操作。该预设条件可以是待处理键值对日志中，可读性低于预设可读性阈值的字段和带特殊字符的字段。

步骤S202，对目标日志字段中的字段名进行数据重命名，得到目标日志字段对应的更新日志字段。

其中，针对目标日志字段，是以字段名和字段值的形式进行存储的，可以将目标日志字段的字段名进行更新替换，得到目标日志字段对应的更新日志字段。以该待处理键值对日志的日志类型为http日志进行举例说明：

id.orig_h重命名为source_ip；

id.orig_p重命名为source_port；

id.resp_h重命名为destination_ip；

id.resp_p重命名为destination_port；

新增一个事件日期字段event_data，将ts字段所代表的时间戳转换为日期格式存入event_time中。

该待处理键值对日志可以包含一个或多个目标日志字段，在该目标日志字段的字段名为id.orig_h的情况下，可以数据重命名为source_ip；在该目标日志字段的字段名为id.orig_p的情况下，可以数据重命名为source_port；在该目标日志字段的字段名为id.resp_h的情况下，可以数据重命名为destination_ip；在该目标日志字段的字段名为id.resp_p的情况下，可以数据重命名为destination_port。

步骤S203，将待处理键值对日志中的目标日志字段替换为更新日志字段，得到处理后的流量日志。

在本实施例的方法中，在待处理键值对日志中出现可读性低于预设可读性阈值的字段和带特殊字符的字段的情况下，可以对这些目标日志字段进行数据异常处理，即数据重命名处理，提高目标日志字段的可读性，更有利于后续针对该待处理键值对日志进行处理。

在另一个实施例中，如图3所示，步骤S104，可以包括：

步骤S301，在关联键值对维表为第一维表的情况下，在多个日志字段中获取当前日志字段。

其中，该关联键值对维表可以包含一个或多个维表，该第一维表可以是该一个或多个维表中的任意一个，例如，ip白名单。该ip白名单可以对应于日志类型为http日志中的待处理键值对日志中的source_ip字段，该ip白名单的配置可以由三元组组成(ipMap，ipWhiteList，ip)，其中，该三元组的第一个元素定义了该维表数据读取到内存后指向的对象名，第二个元素定义了该维表的表名，第三个元素定义了该维表中的数据读取到内存中后用什么字段进行索引以方便对维表中的数据进行检索。可以基于第一维表，在多个日志字段中获取该第一维表对应的当前日志字段，当前日志字段可以为多个日志字段中的任意一个。

步骤S302，在第一维表包含的多个维表字段中包含当前日志字段的情况下，将当前日志字段从待处理键值对日志中移除，得到第一更新流量日志。

以第一维表为ip白名单为例，该ip白名单可以用于对该source_ip字段进行数据过滤，该ip白名单可以包含多个维表字段，在第一维表包含的多个维表字段中包含当前日志字段的情况下，可以将当前日志字段从关联键值对维表中移除，得到第一更新流量日志；在第一维表包含的多个维表字段中不包含当前日志字段的情况下，则将当前日志字段继续存储至该待处理键值对日志中。

在本实施例的方法中，可以基于预先设定的日志处理模板，生成用户的处理请求中包含的待处理流量日志对应的任务配置信息，基于该任务配置信息对该待处理流量日志进行处理，有利于使用通用日志处理模板处理各种流量日志，不需要针对不同的流量日志以及日志处理需求重新开发配套的大数据应用程序，提高了日志处理的简便性，更加智能化，同时也降低了成本。

在又一个实施例中，如图4所示，步骤S104，可以包括：

步骤S401，在关联键值对维表为第二维表的情况下，在多个日志字段中获取当前日志字段。

其中，该关联键值对维表可以包含一个或多个维表，该第二维表可以是该一个或多个维表中的任意一个，例如，Md5黑名单。该Md5黑名单可以对应于日志类型为ftp日志中的待处理键值对日志中的md5字段，该Md5黑名单的配置可以由三元组组成(md5s，Md5BlackList，md5)，其中，该维表配置三元组的第一个元素定义了该维表数据读取到内存后指向的对象名，第二个元素定义了该维表的表名，即维表标识，第三个元素定义了该维表中的数据读取到内存中后用什么字段进行索引以方便对维表中的数据进行检索，即索引字段。可以基于第一维表，在多个日志字段中获取该第一维表对应的当前日志字段，当前日志字段可以为多个日志字段中的任意一个。

步骤S402，在第二维表包含的多个维表字段中包含当前日志字段的情况下，将第二维表包含的多个维表字段中的其余字段补充至待处理键值对日志中，得到第二更新流量日志。

其余字段为多个维表字段中除当前日志字段之外的字段。

以第二维表为Md5黑名单为例，该Md5黑名单可以用于对该md5字段进行数据过滤，该Md5黑名可以包含多个维表字段，在第二维表包含的多个维表字段中包含当前日志字段的情况下，可以将该日志类型为ftp日志的待处理键值对日志确定为恶意文件供给流量，在这种情况下，可以将该第二维表中的多个维表字段中除当前日志字段之外的其余字段，补充至该日志类型为ftp日志的待处理键值对日志中，进而，可以将该待处理键值对日志存储至ftp恶意文件攻击表中。

步骤S403，在第二维表包含的多个维表字段中不包含当前日志字段的情况下，将当前日志字段从待处理键值对日志中移除，得到第三更新流量日志。

在本实施例的方法中，可以基于预先设定的日志处理模板，生成用户的处理请求中包含的待处理流量日志对应的任务配置信息，基于该任务配置信息对该待处理流量日志进行处理，有利于使用通用日志处理模板处理各种流量日志，不需要针对不同的流量日志以及日志处理需求重新开发配套的大数据应用程序，提高了日志处理的简便性，更加智能化，同时也降低了成本。

在一个实施例中，获取待处理流量日志，可以包括：

获取针对目标网卡的多个流量日志，并根据各流量日志的日志类型，将各流量日志分发至日志类型对应的消息队列；多个流量日志包含待处理流量日志；

在处理请求中获取待处理流量日志的队列标识和日志标识；根据队列标识和日志标识，在队列标识对应的消息队列中获取日志标识对应的待处理流量日志。

可以基于流量探针从目标网卡采集多个流量日志，该流量日志可以是记录网络通信的数据包信息，包括源IP地址、目标IP地址、端口号、协议类型等。通过对流量日志的处理，可以获取有关网络流量的关键信息，用于网络安全监控、故障排查、性能优化等方面，也可以在网络设备、防火墙、入侵检测系统等装置采集流量日志。该多个流量日志可以划分为不同的日志类型，各日志类型对应一个消息队列，因此，可以根据各流量日志的日志类型，将各流量日志分发至日志类型对应的消息队列。

在用户在具有针对待处理流量日志的处理需求的情况下，可以在相应的日志处理终端上触发针对该待处理流量日志的处理请求，该处理请求可以包含该待处理流量日志的日志信息，该日志信息可以包含该待处理流量日志的一些日志基础信息，以及用户针对该待处理流量日志的处理需求，例如，待处理流量日志的日志标识、日志类型、队列标识，以及数据清洗、数据分析等。由此。可以根据用户触发的针对待处理流量日志的处理请求，确定该待处理流量日志，以及该待处理流量日志的日志信息。

在一个实施例中，针对处理后的流量日志的处理可以包括：

任务配置信息还包含持久化配置信息，根据持久化配置信息，获取处理后的流量日志的标记标识位；在标记标识位表示为过滤标记的情况下，将处理后的流量日志移除。

针对处理后的流量日志，可以基于该处理后的流量日志的标记标识位判断该处理后的流量日志是否进行持久化。每一个处理后的流量日志都有一个日志是否丢弃标识位isDiscard，即标记标识位，默认为false，若处理后的流量日志调用过discard()方法，则该isDiscard字段会被置为ture；在处理后的流量日志的isDiscard标志位值为false的情况下，则日志处理模块会这条处理后的流量日志发送给日志持久化模块；在处理后的流量日志的isDiscard标志位值为ture的情况下，则这条处理后的流量日志相当于被过滤掉。该日志持久化模块将处理后的流量日志写到对应的表中。这些表不局限于某个特定的存储介质，可以是发送到下一个消息队列的topic名供其他下游业务消费或另一个日志处理任务消费，也可以是一张sql表或es索引供前端查询展示。

在本实施例的方法中，可以基于预先设定的日志处理模板，生成用户的处理请求中包含的待处理流量日志对应的任务配置信息，基于该任务配置信息对该待处理流量日志进行处理，有利于使用通用日志处理模板处理各种流量日志，不需要针对不同的流量日志以及日志处理需求重新开发配套的大数据应用程序，提高了日志处理的简便性，更加智能化，同时也降低了成本。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的日志处理方法的日志处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个日志处理装置实施例中的具体限定可以参见上文中对于日志处理方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种日志处理装置，包括：获取模块501、配置设置模块502、维表调用模块503、转换模块504和处理模块505，其中：

获取模块501，用于响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

配置设置模块502，用于基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

维表调用模块503，用于利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

转换模块504，用于将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

处理模块505，用于利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志。

进一步，所述待处理流量日志包含多个日志字段；转换模块504，还用于：将各所述日志字段转换为键值对格式，得到所述待处理流量日志的待处理键值对日志。

在一个可能的实现方式中，所述关联日志维表包含多个维表字段；转换模块504，进一步用于：获取所述关联日志维表的维表配置三元组，并获取所述维表配置三元组中包含的所述关联日志维表的索引字段；获取各维表字段的键值对的映射；根据所述索引字段和各维表字段的键值对的映射，获取所述关联日志维表对应的关联键值对维表。

在一个可能的实现方式中，所述日志处理配置信息包含数据重命名信息；处理模块505，进一步用于：获取多个日志字段中满足预设条件的目标日志字段；对所述目标日志字段中的字段名进行数据重命名，得到所述目标日志字段对应的更新日志字段；将所述待处理键值对日志中的所述目标日志字段替换为所述更新日志字段，得到所述处理后的流量日志。

在另一个可能的实现方式中，所述关联键值对维表包含第一维表；所述处理后的流量日志包含第一更新流量日志；处理模块505，还用于：在所述关联键值对维表为所述第一维表的情况下，在所述多个日志字段中获取当前日志字段；所述当前日志字段为所述多个日志字段中的任意一个；在所述第一维表包含的多个维表字段中包含所述当前日志字段的情况下，将所述当前日志字段从所述关联键值对维表中移除，得到所述第一更新流量日志。

在又一个可能的实现方式中，所述关联键值对维表包含第二维表；所述处理后的流量日志包含第二更新流量日志和/或第三更新流量日志；处理模块505，还用于：在所述关联键值对维表为所述第二维表的情况下，在所述多个日志字段中获取当前日志字段；所述当前日志字段为所述多个日志字段中的任意一个；在所述第二维表包含的多个维表字段中包含所述当前日志字段的情况下，将所述第二维表包含的多个维表字段中的其余字段补充至所述待处理键值对日志中，得到所述第二更新流量日志；所述其余字段为所述多个维表字段中除所述当前日志字段之外的字段；在所述第二维表包含的多个维表字段中不包含所述当前日志字段的情况下，将所述当前日志字段从所述待处理键值对日志中移除，得到所述第三更新流量日志。

获取模块501，还用于：获取针对目标网卡的多个流量日志，并根据各所述流量日志的日志类型，将各所述流量日志分发至所述日志类型对应的消息队列；所述多个流量日志包含所述待处理流量日志；在所述处理请求中获取所述待处理流量日志的队列标识和日志标识；根据所述队列标识和日志标识，在所述队列标识对应的所述消息队列中获取所述日志标识对应的待处理流量日志。

在一个可能的实现方式中，所述任务配置信息还包含持久化配置信息；处理模块505，进一步用于：根据所述持久化配置信息，获取所述处理后的流量日志的标记标识位；在所述标记标识位表示为过滤标记的情况下，将所述处理后的流量日志移除。

上述日志处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储日志处理相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志处理方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (12)

1.一种日志处理方法，其特征在于，所述方法包括：

响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

利用所述关联键值对维表关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志待处理键值对日志进行处理，得到处理后的流量日志。

2.根据权利要求1所述的方法，其特征在于，所述待处理流量日志包含多个日志字段；

所述将所述待处理流量日志转换为键值对格式，得到待处理键值对日志，包括：

将各所述日志字段转换为键值对格式，得到所述待处理流量日志的待处理键值对日志。

3.根据权利要求1所述的方法，其特征在于，所述关联日志维表包含多个维表字段；

所述将所述关联日志维表转换为键值对格式，得到关联键值对维表，包括：

获取所述关联日志维表的维表配置三元组，并获取所述维表配置三元组中包含的所述关联日志维表的索引字段；

获取各维表字段的键值对的映射；

根据所述索引字段和各维表字段的键值对的映射，获取所述关联日志维表对应的关联键值对维表。

4.根据权利要求3所述的方法，其特征在于，所述日志处理配置信息包含数据重命名信息；

所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志关联键值对维表待处理键值对日志，包括：

获取多个日志字段中满足预设条件的目标日志字段；

对所述目标日志字段中的字段名进行数据重命名，得到所述目标日志字段对应的更新日志字段；

将所述待处理键值对日志待处理键值对日志中的所述目标日志字段替换为所述更新日志字段，得到所述处理后的流量日志。

5.根据权利要求3所述的方法，其特征在于，所述关联键值对维表包含第一维表；所述处理后的流量日志包含第一更新流量日志；

所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志关联键值对维表待处理键值对日志，包括：

在所述关联键值对维表为所述第一维表的情况下，在所述多个日志字段中获取当前日志字段；所述当前日志字段为所述多个日志字段中的任意一个；

在所述第一维表包含的多个维表字段中包含所述当前日志字段的情况下，将所述当前日志字段从所述待处理键值对日志中移除，得到所述第一更新流量日志。

6.根据权利要求3所述的方法，其特征在于，所述关联键值对维表包含第二维表；所述处理后的流量日志包含第二更新流量日志和/或第三更新流量日志；

所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志，包括：

在所述关联键值对维表为所述第二维表的情况下，在所述多个日志字段中获取当前日志字段；所述当前日志字段为所述多个日志字段中的任意一个；

在所述第二维表包含的多个维表字段中包含所述当前日志字段的情况下，将所述第二维表包含的多个维表字段中的其余字段补充至所述待处理键值对日志中，得到所述第二更新流量日志；所述其余字段为所述多个维表字段中除所述当前日志字段之外的字段；

在所述第二维表包含的多个维表字段中不包含所述当前日志字段的情况下，将所述当前日志字段从所述待处理键值对日志中移除，得到所述第三更新流量日志。

7.根据权利要求1所述的方法，其特征在于，所述响应于针对待处理流量日志的处理请求，获取所述待处理流量日志之前，还包括：

获取针对目标网卡的多个流量日志，并根据各所述流量日志的日志类型，将各所述流量日志分发至所述日志类型对应的消息队列；所述多个流量日志包含所述待处理流量日志；

所述获取所述待处理流量日志，包括：

在所述处理请求中获取所述待处理流量日志的队列标识和日志标识；

根据所述队列标识和日志标识，在所述队列标识对应的所述消息队列中获取所述日志标识对应的待处理流量日志。

8.根据权利要求1所述的方法，其特征在于，所述任务配置信息还包含持久化配置信息；

所述利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志之后，还包括：

根据所述持久化配置信息，获取所述处理后的流量日志的标记标识位；

在所述标记标识位表示为过滤标记的情况下，将所述处理后的流量日志移除。

9.一种日志处理装置，其特征在于，所述装置包括：

获取模块，用于响应于针对待处理流量日志的处理请求，获取所述待处理流量日志，以及所述待处理流量日志的日志信息；

配置设置模块，用于基于预先设定的日志处理模板，利用所述日志信息，生成包含所述待处理流量日志对应的维表配置信息和日志处理配置信息的任务配置信息；

维表调用模块，用于利用所述维表配置信息，从维表数据库获取所述待处理流量日志的关联日志维表；

转换模块，用于将所述待处理流量日志转换为键值对格式，得到待处理键值对日志；以及将所述关联日志维表转换为键值对格式，得到关联键值对维表；

处理模块，用于利用所述关联键值对维表，以及所述日志处理配置信息对所述待处理键值对日志进行处理，得到处理后的流量日志。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的方法的步骤。